EasyDL是百度AI开放平台在2017年11月14日正式上线推出的定制化训练和服务平台, 目前EasyDL支持图像分类、物体检测、声音分类三类识别模型的定制训练。通过可视化的便捷操作,并通过少量数据进行训练,即使零算法基础也可定制高精度的AI能力。支持发布为API,离线SDK,端云一体,灵活适配各种使用场景。欢迎访问EasyDL官网参与体验:ai.baidu.com/easydl 。下面就来介绍一下使用过程中的常见问题!
一、创建模型
Q:怎么判断应该创建哪种模型?
图像识别
图像分类:识别一张图中是否是某类物体/状态/场景。可以识别图片中主体单一的场景。
物体检测:在一张图包含多个物体的情况下,定制识别出每个物体的位置、数量、名称。可以识别图片中有多个主体的场景。
文本分类:自建分类体系实现文本自动分类,适用于留言、评论、投诉等短文本及新闻、文章、小说等长文本分类。
声音分类:定制识别当前音频是什么类型的声音。常见于生产或安防场景中监控异常声音等。
根据业务场景可根据自行选择,或组合使用,如果不确定实际场景到底应该训练什么样的模型,建议加入官方QQ群(群号:679517246)联系群管解决。
Q:一个账号最多可以创建多少模型?
A:目前单个用户最多可创建10个模型,每个模型均支持多次训练,若需要创建超过10个以上的模型,可以加入官方QQ群(群号:679517246)联系群管解决。
Q:在哪里可以看到我的模型?
A:模型创建成功后,可以在【我的模型】中看到刚刚创建的模型。
二、上传数据-图像分类
Q:训练图片有哪些格式要求?
A:目前支持图片类型为png、jpg、bmp、jpeg,图片大小限制在4M以内。长宽比在3:1以内,其中最长边需要小于4096px,最短边需要大于30px,一个模型的图片总量限制10万张图片。
Q:训练图片的采集有哪些注意事项?
A:①训练集图片需要和实际场景要识别的图片环境一致,举例:如果实际场景要识别的图片都是手机拍摄的,那训练的图片也需要同样的场景获得,而不要采用网上随便下载的图片;②考虑实际应用场景可能有的种种可能性,每个分类的图片需要覆盖实际场景里面可能有的可能性,如拍照角度、光线明暗的变化,训练集覆盖的场景越多,模型的泛化能力越强;③如果需要寻求第三方数据采集团队协助数据采集,可以在【数据集管理】页面右上角点击【百度众测】填写需求或在百度AI市场寻找合适服务商或加入官方QQ群(群号:679517246)联系群管咨询了解。
Q:图像分类单个模型分类上限是多少?
A:目前图像分类单个模型分类上限是1000个,若超出这个量级可以加入QQ群(群号:679517246)联系群管解决。
Q:做图像分类模型,应该准备多少图片?
A:基于设计好的分类准备图片数据,每个分类需要准备20张以上,如果想要较好的效果,建议100张起图片,如果某些分类的图片具有相似性,需要增加更多图片。
Q:训练图片场景无法全部覆盖实际场景要识别的图片怎么办?
A:本身模型算法会有一定的泛化能力,如果要识别的主体在图片中占比较大,应该效果上问题不大;如果识别的主体在图片中占比较小,且实际环境很复杂无法覆盖全部的场景时,推荐用物体检测的模型来解决问题。(物体检测可以支持将要识别的主体从训练图片中框出的方式来标注,所以能适应更泛化的场景和环境)。
Q:图像分类数据上传出错为什么?
A:图像分类的数据上传方式非常简单,只需要将所有准备好的图片对应的分类以单个文件夹整理,同时将所有文件夹压缩为**.zip格式**,直接上传即可。上传出错可能的原因有:①单个压缩包超限,目前单个压缩包限制大小为5G;②图片张数超限,目前图片张数上限10万张,若图片较多,建议分多个压缩包上传,若超出图片上限,请加入官方QQ群(群号:679517246)联系群管咨询解决;③文件夹/压缩包命名错误,分类的命名需要以数字、字母、下划线格式,目前不支持中文格式命名,同时注意不要存在空格。
Q:图像分类模型如何删除多余的标签?
A:图像分类在数据集管理点击查看数据集找到对应标签删除
Q:如何删除数据集中的图片?
A:请在数据集管理中操作
三、上传/标注数据-物体检测
Q:做物体检测模型,应该准备多少图片?
A:基于设计好的标签准备图片数据,每种要识别出的标签在所有图片数量加起来需要有20-100个,如果某些标签的图片具有相似性,需要增加更多图片。
Q:物体检测模型进行标注时,有什么注意事项?
A:每张训练图片的想要识别的标签需要全部标出,不要有遗漏。
Q:可以调用接口创建数据集吗?
A:请参考文档http://ai.baidu.com/docs#/EasyDL_DATA_API/top,调用数据集管理API接口创建数据集并管理数据。
Q:物体检测模型标签上限是多少?
A:标签上限为1000个,若超出这个量级可以加入QQ群(群号:679517246)联系群管解决。
Q:物体检测模型如何删除多余的标签?
A:物体检测在数据集管理中删除
Q:物体检测至少需要上传多少图片?
A:物体检测1个模型至少需要4张图片,若少于4张会提示训练失败。
Q:物体检测数据处理失败或者状态异常是怎么回事?
A:如果是上传处理失败,请先检查标签命名是否正确,是否存在中文命名、或者增加了空格;再检查图片中是否有损坏;标签对应的训练图片较少也会出现处理失败的可能
Q:如需人工标注服务如何联系?
A:您可以在AI市场查询相关服务或添加QQ群(群号:679517246)私信群管,具体沟通需求
四、上传数据-文本分类
Q:训练的文本有哪些格式要求?
A:目前支持文本文件类型为支持txt,文本文件大小限制长度最大4096 UTF-8字符。一个模型的文本总量限制10万个文本文件。
Q:文本分类单个模型标签上限是多少?
A:目前单个模型标签上限为1000个,若超出这个量级可以加入QQ群(群号:679517246)联系群管解决。
Q:做文本分类模型需要准备多少数据?
A:基于设计好的分类准备文本数据,建议每个分类至少需要准备50个文本文件以上,如果想要较好的效果,建议10000个起文本文件,如果某些分类的文本具有相似性,需要增加更多文本。
Q:文本分类模型上传数据需要注意什么?
A:文本分类的数据上传方式非常简单,只需要将所有准备好的文本对应的分类以单个文件夹整理,同时将所有文件夹压缩为**.zip格式**,直接上传即可。
①单个压缩包限制大小为5G,文本个数上限10万个,若文本量较多,建议分多个压缩包上传,若超出文本量上限,请加入官方QQ群(群号:679517246)联系群管咨询解决
②如果多次上传的压缩包里面分类命名存在一致,系统会自动合并
③数据分类的命名需要以数字、字母、下划线格式,目前不支持中文格式命名,同时注意不要存在空格
五、上传数据-声音分类
Q:训练的音频有哪些格式要求?
A:目前支持音频文件 类型为支持wav,mp3,m4a ,音频文件大小限制在4M以内。一个模型的音频总量限制10万个音频文件。
Q:声音分类单个模型标签上限是多少?
A:目前单个模型标签上限为1000个,若超出这个量级可以加入QQ群(群号:679517246)联系群管解决。
Q:做声音分类模型需要准备多少数据?
A:基于设计好的分类准备音频数据,每个分类需要准备50个音频文件以上,如果想要较好的效果,建议100个起音频文件,如果某些分类的声音具有相似性,需要增加更多音频。
Q:声音分类模型上传数据需要注意什么?
A:音频分类的数据上传方式非常简单,只需要将所有准备好的音频对应的分类以单个文件夹整理,同时将所有文件夹压缩为**.zip格式**,直接上传即可.
①单个压缩包限制大小为5G,音频个数上限10万个,若音频较多,建议分多个压缩包上传,若超出音频上限,请加入官方QQ群(群号:679517246)联系群管咨询解决②如果多次上传的压缩包里面分类命名存在一致,系统会自动合并③数据分类的命名需要以数字、字母、下划线格式,目前不支持中文格式命名,同时注意不要存在空格。
六、训练模型并校验效果
Q:云服务下,图像分类模型如何选择训练算法?
A:云服务下,图像分类模型可以进一步选择算法,包括通用算法和AutoDL Transfer。
AutoDL Transfer是百度研发的AutoDL技术之一,结合模型网络结构搜索、迁移学习技术、并针对用户数据进行自动优化的模型,与通用算法相比,训练时间较长,但更适用于细分类场景。例如,通用算法可用于区分猫和狗,但如果要区分不同品种的猫,则AutoDL效果会更好。
Q:云服务下,图像分类模型的两种训练方式有何区别?
A:云服务下,图像分类模型可以可以进一步选择训练方式,包括默认方式和快速训练。
使用默认训练方式,训练数据在1000张图片内,预计在20分钟内完成训练,准确效果更高。
相同数据量情况下,使用快速训练方式训练耗时比默认训练方式将缩短90%甚至更多,训练效率较高,但准确率效果平均比默认训练方式低3%-5%
Q:如有调参需求怎么办?
A:可在训练模型-应有类型-调参功能处填写需求,申请开通调参权限
Q:云服务下,物体检测模型如何选择训练算法?
A:云服务下,物体检测模型可以进一步选择算法,包括高精度标准算法和精度相对较低的算法。
高精度标准算法训练效果精度高,100张图片可能需要2小时以上
精度相对较低的算法效果低于常规算法,但服务性能更佳,预计上线后的接口时延是标准算法的1/3
Q:训练模型,勾选完分类为什么不能选择完成按钮
A:需要勾选之后点击添加分类再点击完成按钮
Q:模型训练失败怎么办?
A:如果遇到模型训练失败的情况,请直接加入官方QQ群(群号:679517246)咨询解决。
Q:训练模型大概都需要多长时间?
A:训练时间与数据量大小有关,图像分类模型训练时间较短,1000张图片以内可以在30min内训练完成;物体检测训练时间较久,可能需要几个小时;声音分类1000个音频大约需要30min;文本分类50000个文本文件大约可以在2小时左右,请耐心等待。
模型训练完毕后将会有短信告知。
Q:训练好的模型能够随切换的百度账号一同转移吗?
A:模型目前不支持账户之间的来回切换。
七、上线模型获取API或离线SDK
Q:希望加急上线怎么处理?
A:新用户训练模型或训练效果较差模型上线需人工审核,如需加急上线可加入官方QQ群(群号:679517246)咨询群管高优审核。
Q:接口上线后是否收费?调用量不够怎么办?
A:目前接口是限量免费使用的原则,上线模型后可以免费获得500次/天,qps=2的调用限额。超过这个量级可以加入官方QQ群(群号:679517246)联系群管扩容。
Q:申请发布模型审核不通过都是什么原因?
A:可能原因有:1、经过电话沟通当前模型存在一些问题或者不再使用,如训练数据异常、数据量不够、不想再继续使用等原因,沟通达成一致拒绝。2、电话未接通且模型效果较差,会直接拒绝。如果需要申诉,加入官方QQ群(群号:679517246)咨询群管解决
Q:能否支持设备端本地计算?
A:目前图像分类,物体检测功能可以,训练模型时注意勾选离线SDK,待模型训练成功,申请上线发布模型时即可申请发布离线SDK。经百度审核即可获取SDK包,以及SDK使用文档。
Q:目前都有哪些版本的离线SDK?对终端有什么要求?
A:目前图像分类和物体检测均可发布模型生成离线SDK,SDK支持IOS及ANDROID两种操作系统。
IOS目前支持IOS8.0以上系统,且硬件环境要求armv7、arm64(Starndard architectures)(暂不支持模拟器)
Android目前支持Android21以上系统,CPU架构仅支持armeabi-v7a arm-v8a,即绝大部分的手机和平板
如有windows及linux系统需求请加入官方QQ群(群号:679517246)联系群管具体沟通。
Q:定制化图像识别离线SDK的使用文档在哪里?
A:请将下载的SDK压缩包解压,找到DOC文件夹里的md文件
Q:模型能否支持私有化部署?
A:若有私有化部署需求请加入官方QQ群(群号:679517246)联系群管具体沟通。
Q:离线SDK的请求数量也是限制的吗?
A:离线SDK可以实现无网环境的识别,因此不限制数量。
Q:定制化图像识别同一数据集训练,为何云服务和离线SDK评估报告会有一定差异?
A:由于离线sdk和云服务的算法不同,同一数据集训练效果和评估报告会有一定差异
Q:定制化图像识别调用API接口返回报错336001是怎么回事?
A:请检查参数中的image的值是否进行了urlencode处理。
1. 定制化接口中。参数格式为JSON拼接。且image参数的值不需要urlencode
2. 请检查image参数是否完整。且不包含头信息
3. 请检查接口地址中是否拼接了access_token参数
Q:调用接口返回报错"error_code":100是怎么回事?
A:目前EasyDL接口,不支持HTTP协议
八、模型迭代
Q:模型效果怎么调优?
A:如果效果不满意先看下训练数据是否和实际场景要识别的数据一致,以及训练数据量是否太少。如果训练数据量已经达到一定丰富度,效果仍然不佳,可以加入官方QQ群(群号:679517246)咨询群管解决。
Q:定制化图像识别如何根据模型评估报告优化模型?
A:模型评估报告中将针对模型给出整体评估建议,并给出不同标签mAP值,开发者可以根据不同标签的错误检测结果示例,查看漏标、错标示例,并根据错标漏标样本进行专项优化。
Q:模型上线后还可以继续进行优化么?
A:已经上线的模型依然可以持续优化,操作上还是按照标准流程在训练模型中-选择要优化的模型和数据完成训练,然后在模型列表中更新线上服务,完成模型的优化。
同时图像分类、物体检测支持云服务调用数据管理,开通此功能后,用户可管理调用云服务接口时上传的数据,提高模型的迭代效率,实现训练数据的持续丰富和模型效果的持续优化。详情见文档http://ai.baidu.com/docs#/EasyDL_VIS_intro/6d621092
Q:模型迭代后,接口地址是否需要重新申请?
A:如果模型已经是上线状态,依然支持模型迭代,只是需要在训练完毕后更新下线上服务接口,在接口地址不变的情况下可以持续优化效果。
Q:离线后需要增加新的分类、标签怎么办?
A:重新训练,申请上线发布,下载最新版SDK即可。
九、其他
Q:top1,top5准确率分别是什么意思?
A:top1:即对一个图片,如果概率最大的是正确答案,才认为正确;top5:即对一个图片,如果概率前五中包含正确答案,则认为正确;
Q:有没有调用easydl的示例代码?
A:社区中有多种语言的示例代码可以参考,详见:http://ai.baidu.com/forum/topic/list/190
Q:模型申请发布后,是否意味着模型在EasyDL平台上是公开的
A:平台内上传的数据、模型及接口都是非公开保密的.
谢谢楼主整理,以后方便查找。
群加了两天都没进去。。。
申请上线会让填接口地址
请问,图像识别的模型训练好了,如何获取相应的api接口?
很详细
Q: 调用添加数据API,同一张图片,相同的标注信息,不同的图片名称。是否是不能上传的?
A:相同的图片 不同的名称系统会自动进行去重
欢迎大家参与讨论交流!
棒