上传文件大小的限制可以放宽一点吗?
Willitera_ 发布于2019-09-17 13:17 浏览:356 回复:28
0
收藏

上传文件限制30MB,想用一下RoBERTa都成为奢望了。

创建数据集功能虽然支持更大空间,但是会随心所欲的改变文件名,使用体验较差。

或者百度AI Studio上开个接口,可以直接下载百度网盘的资源?

收藏
点赞
0
个赞
共28条回复 最后由jjandnn4回复于2020-02-18 12:55
#29jjandnn4回复于2020-02-18 12:55:53
#27 choleraa回复
好, 那我们就按这个方向去升级 :)

谢兄弟!

0
#28189******30回复于2020-02-17 15:27:49
#23 choleraa回复
是jupyter notebook框架控制的. 也就是这个编程的界面下面用到的一个框架.
展开

哦,懂。

0
#27choleraa回复于2020-02-17 11:52:57
#25 jjandnn4回复
应该够。

好, 那我们就按这个方向去升级 :)

0
#26jjandnn4回复于2020-02-15 22:06:31
#24 choleraa回复
如果我没记错的话, github默认限制大小是100mb...

新人兄弟们别误会。我对管理员@choleraa说飞浆对其他框架的禁止和不支持,不是说pytorch,tensor在这个平台是不能使用的,是指飞浆在这个平台上所有的注意力都在自己的产品的适配上,对其他主流框架的适配不够,对新人而言就如同禁了一样。刚才有年轻小伙伴跟我说飞浆这里只能用飞浆,其他都不行,他只能放弃v100了……我这才上来一看社区,要命,不是一两个人没搞懂,我在这个贴说明一下:这里的主机,其他平台可以实现的,它都基本都可以实现,这一点,不要怀疑,对于搞模型的人来说,v100是致命诱惑,在免费世界里,现在是王,这点,你也不要怀疑。我对百度的看法是对它企业文化的不待见,但不是否定百度的一些不错的产品,更不是否定团队中的所有优秀的人!我今天测试了下cuda的10.2,还是很顺。辛苦管理员的反馈,祝好!

0
#25jjandnn4回复于2020-02-14 19:32:53
#24 choleraa回复
如果我没记错的话, github默认限制大小是100mb...

应该够。

0
#24choleraa回复于2020-02-14 15:37:57
#22 jjandnn4回复
刚刚看到你的回复,不好意思。我说一下我的看法,我说的100G不是指notebook的空间,这个歌空间谷歌刚刚压缩到40以内,为啥?因为谷歌云盘无限,大家做项目研究,尤其人工智能,一般都把项目程序包放在不会因为重启的而需要重来的空间内,因此,临时的空间35-50左右足够。这里的云端数据集空间和互动,是为了既方便存储又方便交流,本质就是百度云盘,空间大小就我现在看,如果不涉及视觉领域数据,那问题是不大的,但是涉及视觉领域,呵呵,望百度ai能考虑云盘互动。我是个常年付费百度的用户,说实话,主要是因为‘伟大’的FHQ,不是它,很多兄弟和我一样,绝对谷歌,甚至yandex。回到上传限制,我想楼主和我一样,说的是那个在book运行界面直接上传文件30M的限制,这个限制导致了用户效率下降,为啥,我得先线下打包,然后上传数据集,然后拉回work,unzip(呵呵,你看到上面的新人提出的问题没,新人是可能连linux都不了解的),在互联网体验中,2click就是死亡。社区热度上,一定是靠老人带新人,教学带研发,这么滚出来的。想让百度干掉对手,首先就是主流框架的同步支持,而不是禁止。谷歌不禁pytorch,为啥?因为,它要把人给占了。新的竞争靠的是人。(这个问题的答案,看看全国所有那些搞量化金融的线上quant服务的惨状就知道了,大学生模式不可能将来负荷你的成本)。飞浆的团队,其实是非常认真的,虽然我不太喜欢百度,尤其2014后,但每天看到你们在git更新维护飞浆,频次仅次于SS更新pac了,呵呵,觉得还是很有希望的。最后用图回答文件大小多少合适:[图片]
展开

如果我没记错的话, github默认限制大小是100mb...

0
#23choleraa回复于2020-02-14 15:09:45
#21 189******30回复
上传文件大小不是AI studio控制的?和paddle框架也有关系?
展开

是jupyter notebook框架控制的. 也就是这个编程的界面下面用到的一个框架.

0
#22jjandnn4回复于2020-02-14 12:23:38
#4 choleraa回复
我们的Notebook环境空间是100GB, 不是100MB.  大文件需要使用数据集功能进行上传, 单一文件目前上限是10GB. 因为数据集功能专门为大文件做了性能优化.  Notebook中的上传控件其实是用来同步代码文件的.  wget/git都是支持的, curl的确还没有安装.  云盘挂载是因为百度云盘暂时还没有API, 百度云存储有API但要求用户付费开通.  最关键的, 我们的定位的确就是给大学生学习使用的. 不是做正式开发的. 我们还有正式开发版本的产品哈. 
展开

刚刚看到你的回复,不好意思。我说一下我的看法,我说的100G不是指notebook的空间,这个歌空间谷歌刚刚压缩到40以内,为啥?因为谷歌云盘无限,大家做项目研究,尤其人工智能,一般都把项目程序包放在不会因为重启的而需要重来的空间内,因此,临时的空间35-50左右足够。这里的云端数据集空间和互动,是为了既方便存储又方便交流,本质就是百度云盘,空间大小就我现在看,如果不涉及视觉领域数据,那问题是不大的,但是涉及视觉领域,呵呵,望百度ai能考虑云盘互动。我是个常年付费百度的用户,说实话,主要是因为‘伟大’的FHQ,不是它,很多兄弟和我一样,绝对谷歌,甚至yandex。回到上传限制,我想楼主和我一样,说的是那个在book运行界面直接上传文件30M的限制,这个限制导致了用户效率下降,为啥,我得先线下打包,然后上传数据集,然后拉回work,unzip(呵呵,你看到上面的新人提出的问题没,新人是可能连linux都不了解的),在互联网体验中,2click就是死亡。社区热度上,一定是靠老人带新人,教学带研发,这么滚出来的。想让百度干掉对手,首先就是主流框架的同步支持,而不是禁止。谷歌不禁pytorch,为啥?因为,它要把人给占了。新的竞争靠的是人。(这个问题的答案,看看全国所有那些搞量化金融的线上quant服务的惨状就知道了,大学生模式不可能将来负荷你的成本)。飞浆的团队,其实是非常认真的,虽然我不太喜欢百度,尤其2014后,但每天看到你们在git更新维护飞浆,频次仅次于SS更新pac了,呵呵,觉得还是很有希望的。最后用图回答文件大小多少合适:

0
#21189******30回复于2020-02-14 11:27:44
#20 choleraa回复
现在不是说硬盘多值钱的问题, 是我们套了别人的一个框架当底层, 但这个底层框架的上传接口就是30MB最大.... 好在这个底层框架升级了已经.
展开

上传文件大小不是AI studio控制的?和paddle框架也有关系?

0
#20choleraa回复于2020-02-13 18:26:03
#16 189******30回复
我觉得怎么也得让我们把线下存储的模型上传回去。比如yolo的模型不到300M。 当然,有些文件我只是临时用,能不能给文件设定个自动删除时间?这样能减小存储消耗。
展开

现在不是说硬盘多值钱的问题, 是我们套了别人的一个框架当底层, 但这个底层框架的上传接口就是30MB最大.... 好在这个底层框架升级了已经.

0
#19杨凯kd回复于2020-02-13 17:51:55
#16 189******30回复
我觉得怎么也得让我们把线下存储的模型上传回去。比如yolo的模型不到300M。 当然,有些文件我只是临时用,能不能给文件设定个自动删除时间?这样能减小存储消耗。
展开

对,我觉得应该再建一个储存模型的地方,和数据集一样,大家可以上传自己训练的优秀模型,设置成公开,供大家参考

0
#18189******30回复于2020-02-13 08:37:42
#2 Wwsd3d回复
您觉得上传文件大小限制为多少比较合适呢? 数据集文件名改变随心所欲能否说的具体些?或者提供下截图 挂载百度云资源已经在内部商讨方案了哈~
展开

或者设置一个专门上传大文件的文件夹,这个文件夹强制到期自动删除。

0
#17189******30回复于2020-02-13 08:32:19
#16 189******30回复
我觉得怎么也得让我们把线下存储的模型上传回去。比如yolo的模型不到300M。 当然,有些文件我只是临时用,能不能给文件设定个自动删除时间?这样能减小存储消耗。
展开

文件自动删除要自选,别强制。

0
#16189******30回复于2020-02-13 08:29:06
#2 Wwsd3d回复
您觉得上传文件大小限制为多少比较合适呢? 数据集文件名改变随心所欲能否说的具体些?或者提供下截图 挂载百度云资源已经在内部商讨方案了哈~
展开

我觉得怎么也得让我们把线下存储的模型上传回去。比如yolo的模型不到300M。

当然,有些文件我只是临时用,能不能给文件设定个自动删除时间?这样能减小存储消耗。

0
#15189******30回复于2020-02-13 08:25:45

我觉得怎么也得让我们把线下存储的模型上传回去。比如yolo的模型不到300M

0
#14189******30回复于2020-02-13 08:23:02

同感

0
#13杨凯kd回复于2020-02-12 16:52:08

大文件不是可以通过数据集上传吗

0
#12choleraa回复于2020-01-21 16:55:54
#11 wanziz1998回复
请问数据集是上传压缩包吗?可是如何解压呢??跪求回答,感谢!!

找个空闲code cell, 输入 !unzip /xxxx/xxxx/filefullpath.zip

即可

0
#11wanziz1998回复于2020-01-21 09:53:52
#7 __________左手回复
数据集可以通过数据集的功能直接上传的, 10GB呢, 一般都够用了吧

请问数据集是上传压缩包吗?可是如何解压呢??跪求回答,感谢!!

0
#10才能我浪费99回复于2020-01-19 17:03:45
#9 choleraa回复
同步大家一个好消息, 就是底层的jupyter框架在6.0之后, 放宽了上传文件体积的限制.  意味着我们未来升级后, 也可以放宽在Notebook环境中上传文件的尺寸限制.  现在已经和RD在讨论升级Notebook 6.0的事宜. 
展开

期待

0
TOP
切换版块