EasyDL常见QA(20190220)
qshanshan26 发布于2019-02-20 13:56 浏览:2445 回复:8
1
收藏

EasyDL是百度AI开放平台在2017年11月14日正式上线推出的定制化训练和服务平台, 目前EasyDL支持图像分类、物体检测、声音分类三类识别模型的定制训练。通过可视化的便捷操作,并通过少量数据进行训练,即使零算法基础也可定制高精度的AI能力。支持发布为API,离线SDK,端云一体,灵活适配各种使用场景。欢迎访问EasyDL官网参与体验:ai.baidu.com/easydl 。下面就来介绍一下使用过程中的常见问题!

 

 

一、创建模型

Q:怎么判断应该创建哪种模型?

图像识别

图像分类:识别一张图中是否是某类物体/状态/场景。可以识别图片中主体单一的场景。

物体检测:在一张图包含多个物体的情况下,定制识别出每个物体的位置、数量、名称。可以识别图片中有多个主体的场景。

文本分类:自建分类体系实现文本自动分类,适用于留言、评论、投诉等短文本及新闻、文章、小说等长文本分类。

声音分类:定制识别当前音频是什么类型的声音。常见于生产或安防场景中监控异常声音等。

根据业务场景可根据自行选择,或组合使用,如果不确定实际场景到底应该训练什么样的模型,建议加入官方QQ群(群号:679517246)联系群管解决。

 

Q:一个账号最多可以创建多少模型?

A:目前单个用户最多可创建10个模型,每个模型均支持多次训练,若需要创建超过10个以上的模型,可以加入官方QQ群(群号:679517246)联系群管解决。

 

Q:在哪里可以看到我的模型?

A:模型创建成功后,可以在【我的模型】中看到刚刚创建的模型。

 

二、上传数据-图像分类

Q:训练图片有哪些格式要求?

A:目前支持图片类型为png、jpg、bmp、jpeg,图片大小限制在4M以内。长宽比在3:1以内,其中最长边需要小于4096px,最短边需要大于30px,一个模型的图片总量限制10万张图片。

 

Q:训练图片的采集有哪些注意事项?

A:①训练集图片需要和实际场景要识别的图片环境一致,举例:如果实际场景要识别的图片都是手机拍摄的,那训练的图片也需要同样的场景获得,而不要采用网上随便下载的图片;②考虑实际应用场景可能有的种种可能性,每个分类的图片需要覆盖实际场景里面可能有的可能性,如拍照角度、光线明暗的变化,训练集覆盖的场景越多,模型的泛化能力越强;③如果需要寻求第三方数据采集团队协助数据采集,可以在【数据集管理】页面右上角点击【百度众测】填写需求或在百度AI市场寻找合适服务商或加入官方QQ群(群号:679517246)联系群管咨询了解。

 

Q:图像分类单个模型分类上限是多少?

A:目前图像分类单个模型分类上限是1000个,若超出这个量级可以加入QQ群(群号:679517246)联系群管解决。

 

Q:做图像分类模型,应该准备多少图片?

A:基于设计好的分类准备图片数据,每个分类需要准备20张以上,如果想要较好的效果,建议100张起图片,如果某些分类的图片具有相似性,需要增加更多图片。

 

Q:训练图片场景无法全部覆盖实际场景要识别的图片怎么办?

A:本身模型算法会有一定的泛化能力,如果要识别的主体在图片中占比较大,应该效果上问题不大;如果识别的主体在图片中占比较小,且实际环境很复杂无法覆盖全部的场景时,推荐用物体检测的模型来解决问题。(物体检测可以支持将要识别的主体从训练图片中框出的方式来标注,所以能适应更泛化的场景和环境)。

 

Q:图像分类数据上传出错为什么?

A:图像分类的数据上传方式非常简单,只需要将所有准备好的图片对应的分类以单个文件夹整理,同时将所有文件夹压缩为**.zip格式**,直接上传即可。上传出错可能的原因有:①单个压缩包超限,目前单个压缩包限制大小为5G;②图片张数超限,目前图片张数上限10万张,若图片较多,建议分多个压缩包上传,若超出图片上限,请加入官方QQ群(群号:679517246)联系群管咨询解决;③文件夹/压缩包命名错误,分类的命名需要以数字、字母、下划线格式,目前不支持中文格式命名,同时注意不要存在空格。

 

Q:图像分类模型如何删除多余的标签?

A:图像分类在数据集管理点击查看数据集找到对应标签删除

 

Q:如何删除数据集中的图片?

A:请在数据集管理中操作

 

三、上传/标注数据-物体检测

Q:做物体检测模型,应该准备多少图片?

A:基于设计好的标签准备图片数据,每种要识别出的标签在所有图片数量加起来需要有20-100个,如果某些标签的图片具有相似性,需要增加更多图片。

 

Q:物体检测模型进行标注时,有什么注意事项?

A:每张训练图片的想要识别的标签需要全部标出,不要有遗漏。

 

Q:可以调用接口创建数据集吗?

A:请参考文档http://ai.baidu.com/docs#/EasyDL_DATA_API/top,调用数据集管理API接口创建数据集并管理数据。

 

Q:物体检测模型标签上限是多少?

A:标签上限为1000个,若超出这个量级可以加入QQ群(群号:679517246)联系群管解决。

 

Q:物体检测模型如何删除多余的标签?

A:物体检测在数据集管理中删除

 

Q:物体检测至少需要上传多少图片?

A:物体检测1个模型至少需要4张图片,若少于4张会提示训练失败。

 

Q:物体检测数据处理失败或者状态异常是怎么回事?

A:如果是上传处理失败,请先检查标签命名是否正确,是否存在中文命名、或者增加了空格;再检查图片中是否有损坏;标签对应的训练图片较少也会出现处理失败的可能

 

Q:如需人工标注服务如何联系?

A:您可以在AI市场查询相关服务或添加QQ群(群号:679517246)私信群管,具体沟通需求

 

四、上传数据-文本分类

Q:训练的文本有哪些格式要求?

A:目前支持文本文件类型为支持txt,文本文件大小限制长度最大4096 UTF-8字符。一个模型的文本总量限制10万个文本文件。

 

Q:文本分类单个模型标签上限是多少?

A:目前单个模型标签上限为1000个,若超出这个量级可以加入QQ群(群号:679517246)联系群管解决。

 

Q:做文本分类模型需要准备多少数据?

A:基于设计好的分类准备文本数据,建议每个分类至少需要准备50个文本文件以上,如果想要较好的效果,建议10000个起文本文件,如果某些分类的文本具有相似性,需要增加更多文本。

 

Q:文本分类模型上传数据需要注意什么?

A:文本分类的数据上传方式非常简单,只需要将所有准备好的文本对应的分类以单个文件夹整理,同时将所有文件夹压缩为**.zip格式**,直接上传即可。

①单个压缩包限制大小为5G,文本个数上限10万个,若文本量较多,建议分多个压缩包上传,若超出文本量上限,请加入官方QQ群(群号:679517246)联系群管咨询解决

②如果多次上传的压缩包里面分类命名存在一致,系统会自动合并

③数据分类的命名需要以数字、字母、下划线格式,目前不支持中文格式命名,同时注意不要存在空格

 

五、上传数据-声音分类

Q:训练的音频有哪些格式要求?

A:目前支持音频文件 类型为支持wav,mp3,m4a ,音频文件大小限制在4M以内。一个模型的音频总量限制10万个音频文件。

 

Q:声音分类单个模型标签上限是多少?

A:目前单个模型标签上限为1000个,若超出这个量级可以加入QQ群(群号:679517246)联系群管解决。

 

Q:做声音分类模型需要准备多少数据?

A:基于设计好的分类准备音频数据,每个分类需要准备50个音频文件以上,如果想要较好的效果,建议100个起音频文件,如果某些分类的声音具有相似性,需要增加更多音频。

 

Q:声音分类模型上传数据需要注意什么?
A:音频分类的数据上传方式非常简单,只需要将所有准备好的音频对应的分类以单个文件夹整理,同时将所有文件夹压缩为**.zip格式**,直接上传即可.

①单个压缩包限制大小为5G,音频个数上限10万个,若音频较多,建议分多个压缩包上传,若超出音频上限,请加入官方QQ群(群号:679517246)联系群管咨询解决②如果多次上传的压缩包里面分类命名存在一致,系统会自动合并③数据分类的命名需要以数字、字母、下划线格式,目前不支持中文格式命名,同时注意不要存在空格。

 

六、训练模型并校验效果

Q:云服务下,图像分类模型如何选择训练算法?

A:云服务下,图像分类模型可以进一步选择算法,包括通用算法和AutoDL Transfer。

AutoDL Transfer是百度研发的AutoDL技术之一,结合模型网络结构搜索、迁移学习技术、并针对用户数据进行自动优化的模型,与通用算法相比,训练时间较长,但更适用于细分类场景。例如,通用算法可用于区分猫和狗,但如果要区分不同品种的猫,则AutoDL效果会更好。

 

Q:云服务下,图像分类模型的两种训练方式有何区别?

A:云服务下,图像分类模型可以可以进一步选择训练方式,包括默认方式和快速训练。

使用默认训练方式,训练数据在1000张图片内,预计在20分钟内完成训练,准确效果更高。

相同数据量情况下,使用快速训练方式训练耗时比默认训练方式将缩短90%甚至更多,训练效率较高,但准确率效果平均比默认训练方式低3%-5%

 

Q:如有调参需求怎么办?

A:可在训练模型-应有类型-调参功能处填写需求,申请开通调参权限

 

Q:云服务下,物体检测模型如何选择训练算法?

A:云服务下,物体检测模型可以进一步选择算法,包括高精度标准算法和精度相对较低的算法。

高精度标准算法训练效果精度高,100张图片可能需要2小时以上

精度相对较低的算法效果低于常规算法,但服务性能更佳,预计上线后的接口时延是标准算法的1/3

 

Q:训练模型,勾选完分类为什么不能选择完成按钮

A:需要勾选之后点击添加分类再点击完成按钮

 

Q:模型训练失败怎么办?

A:如果遇到模型训练失败的情况,请直接加入官方QQ群(群号:679517246)咨询解决。

 

Q:训练模型大概都需要多长时间?

A:训练时间与数据量大小有关,图像分类模型训练时间较短,1000张图片以内可以在30min内训练完成;物体检测训练时间较久,可能需要几个小时;声音分类1000个音频大约需要30min;文本分类50000个文本文件大约可以在2小时左右,请耐心等待。

模型训练完毕后将会有短信告知。

 

Q:训练好的模型能够随切换的百度账号一同转移吗?

A:模型目前不支持账户之间的来回切换。

 

七、上线模型获取API或离线SDK

Q:希望加急上线怎么处理?

A:新用户训练模型或训练效果较差模型上线需人工审核,如需加急上线可加入官方QQ群(群号:679517246)咨询群管高优审核。

 

Q:接口上线后是否收费?调用量不够怎么办?

A:目前接口是限量免费使用的原则,上线模型后可以免费获得500次/天,qps=2的调用限额。超过这个量级可以加入官方QQ群(群号:679517246)联系群管扩容。

 

Q:申请发布模型审核不通过都是什么原因?

A:可能原因有:1、经过电话沟通当前模型存在一些问题或者不再使用,如训练数据异常、数据量不够、不想再继续使用等原因,沟通达成一致拒绝。2、电话未接通且模型效果较差,会直接拒绝。如果需要申诉,加入官方QQ群(群号:679517246)咨询群管解决

 

Q:能否支持设备端本地计算?

A:目前图像分类,物体检测功能可以,训练模型时注意勾选离线SDK,待模型训练成功,申请上线发布模型时即可申请发布离线SDK。经百度审核即可获取SDK包,以及SDK使用文档。

 

Q:目前都有哪些版本的离线SDK?对终端有什么要求?

A:目前图像分类和物体检测均可发布模型生成离线SDK,SDK支持IOS及ANDROID两种操作系统。

IOS目前支持IOS8.0以上系统,且硬件环境要求armv7、arm64(Starndard architectures)(暂不支持模拟器)

Android目前支持Android21以上系统,CPU架构仅支持armeabi-v7a arm-v8a,即绝大部分的手机和平板

如有windows及linux系统需求请加入官方QQ群(群号:679517246)联系群管具体沟通。

 

Q:定制化图像识别离线SDK的使用文档在哪里?

A:请将下载的SDK压缩包解压,找到DOC文件夹里的md文件

 

Q:模型能否支持私有化部署?

A:若有私有化部署需求请加入官方QQ群(群号:679517246)联系群管具体沟通。

 

Q:离线SDK的请求数量也是限制的吗?

A:离线SDK可以实现无网环境的识别,因此不限制数量。

 

Q:定制化图像识别同一数据集训练,为何云服务和离线SDK评估报告会有一定差异?

A:由于离线sdk和云服务的算法不同,同一数据集训练效果和评估报告会有一定差异

 

Q:定制化图像识别调用API接口返回报错336001是怎么回事?

A:请检查参数中的image的值是否进行了urlencode处理。

1.  定制化接口中。参数格式为JSON拼接。且image参数的值不需要urlencode

2.  请检查image参数是否完整。且不包含头信息

3.  请检查接口地址中是否拼接了access_token参数

 

Q:调用接口返回报错"error_code":100是怎么回事?

A:目前EasyDL接口,不支持HTTP协议

 

八、模型迭代

Q:模型效果怎么调优?

A:如果效果不满意先看下训练数据是否和实际场景要识别的数据一致,以及训练数据量是否太少。如果训练数据量已经达到一定丰富度,效果仍然不佳,可以加入官方QQ群(群号:679517246)咨询群管解决。

 

Q:定制化图像识别如何根据模型评估报告优化模型?

A:模型评估报告中将针对模型给出整体评估建议,并给出不同标签mAP值,开发者可以根据不同标签的错误检测结果示例,查看漏标、错标示例,并根据错标漏标样本进行专项优化。

 

Q:模型上线后还可以继续进行优化么?

A:已经上线的模型依然可以持续优化,操作上还是按照标准流程在训练模型中-选择要优化的模型和数据完成训练,然后在模型列表中更新线上服务,完成模型的优化。

同时图像分类、物体检测支持云服务调用数据管理,开通此功能后,用户可管理调用云服务接口时上传的数据,提高模型的迭代效率,实现训练数据的持续丰富和模型效果的持续优化。详情见文档http://ai.baidu.com/docs#/EasyDL_VIS_intro/6d621092

 

Q:模型迭代后,接口地址是否需要重新申请?

A:如果模型已经是上线状态,依然支持模型迭代,只是需要在训练完毕后更新下线上服务接口,在接口地址不变的情况下可以持续优化效果。

 

Q:离线后需要增加新的分类、标签怎么办?

A:重新训练,申请上线发布,下载最新版SDK即可。

 

九、其他

Q:top1,top5准确率分别是什么意思?

A:top1:即对一个图片,如果概率最大的是正确答案,才认为正确;top5:即对一个图片,如果概率前五中包含正确答案,则认为正确;

 

Q:有没有调用easydl的示例代码?

A:社区中有多种语言的示例代码可以参考,详见:http://ai.baidu.com/forum/topic/list/190

 

Q:模型申请发布后,是否意味着模型在EasyDL平台上是公开的

A:平台内上传的数据、模型及接口都是非公开保密的.

收藏
点赞
1
个赞
共8条回复 最后由rose20135188回复于2019-06-19 12:35
#9rose20135188回复于2019-06-19 12:35:14

谢谢楼主整理,以后方便查找。

0
#8daylsxcy回复于2019-05-26 22:25:10

群加了两天都没进去。。。

0
#7wangwei8638回复于2019-05-23 16:20:10
#6 爱零工回复
请问,图像识别的模型训练好了,如何获取相应的api接口?

申请上线会让填接口地址

0
#6爱零工回复于2019-05-23 15:45:41

请问,图像识别的模型训练好了,如何获取相应的api接口?

0
#5wangwei8638回复于2019-04-25 07:50:28

很详细

0
#4756665228回复于2019-02-28 11:51:20

Q: 调用添加数据API,同一张图片,相同的标注信息,不同的图片名称。是否是不能上传的?

A:相同的图片 不同的名称系统会自动进行去重

1
#3qshanshan26回复于2019-02-20 21:47:19

欢迎大家参与讨论交流!

0
#2付洋洋carrie回复于2019-02-20 15:08:38

0
TOP
切换版块