主题：电力AI巡检应用分析

时间：2020年5月22日（线上）

内容：

讲师：国网上海市电力公司电力科学研究院副总工田英杰

         百度AI开发平台部 资深研发工程师 孔明

主持人：有请国网上海市电力公司电力科学研究院副总工田英杰，为我们讲解电缆输电通道挖掘机侵入识别演示。

 

田英杰：各位在线的小伙伴们大家好，我是上海电科院的田英杰，非常高兴有机会跟大家分享我们用EasyDL在电力巡检方面所做的一些应用。

    今天我介绍分三部分，首先介绍一下上海电力人工智能工程技术研究中心的情况，然后再分析一下电网巡检的现状及痛点，最后介绍一下如何使用EasyDL定制电网巡检模型并部署。

    大家知道，这两年以深度学习为代表的人工智能技术迅猛发展，日新月异，它在催生新技术、新产品的同时，也对传统行业带来了很大的机遇和挑战。电力行业是一个非常传统的行业，人工智能的引入将引发电力行业的变革，同时也会引起社会生产力的整体的跃升。

    人工智能对电力行业非常重要，我们总结了一下，人工智能在电力行业需求主要体现在四个方面，第一个方面是新时代电力系统新特征新挑战的需求，第二方面是国网战略目标实现的需求，第三方面是上海绿色低碳智慧城市和科创中心建设的需求，第四方面是人民电业为人民的社会作用的需求。

    这里简单展开一下第一的需求，就是新时代电力系统新体征新挑战的需求。大家知道近十年来新能源广泛接入以及分布式能源广泛推广，对电网带来了新的挑战，很多问题出现，这些问题的出现用传统的电力系统的分析手段是很难解决的，必须依靠人工智能的方法做一些提升和解决。国网上海电力公司在人工智能领域从十年前开始一些初步的探索，在技术、人才、团队和研究平台上都打下了良好的探索和基础，这里展示一下张江科学示范区采用的人工智能方面的简单应用。这里包括低压拓扑自动识别，电网设备智能巡检，输电线路智能管控和毡房自主管控，除此之外在无人机和机器人自动巡检等方面也有很多探索。

    基于此，上海电力在2019年8月申请了上海市科委的电力人工智能工程技术研究中心，我们这个中心的目标是针对对电力系统人工智能工程化应用关键技术问题展开理论和应用研究，以服务上海电力安全生产业务、运行检修业务、电力营销业务、信息服务业务为己任。

    以工程技术研究为核心抓手，以产学研用优势互补、协同创新为主要手段，培养面向人工智能+大数据的高层次人才和科研队伍，促进科研成果转化，不断提高科学研究和服务社会的能力与水平。

    突破电力人工智能+大数据应用关键技术难点，率先在国内建立起相关业务规范和方法论体系，建成电力人工智能应用开发和展示平台，全面支撑基于人工智能和大数据的电网运营优化、全面服务于社会经济管理决策。

    长期建设目标，打造“国内顶尖、行业一流”的技术创新平台、成果培育转化基地、科普科教中心、高端人才培养摇篮、国际交流合作阵地。助力建设具有中国特色国际领先的能源互联网企业的战略目标。结合上海电网具体实际，工程研究中心制定了五方面的任务，主要包括电力人工智能体系架构的研究，人工智能电力负荷预测技术研究，电网巡检研究，结构拓扑和运维研究。

    第二方面简单跟大家分析一下电网巡检的现状及痛点。大家知道，目前电网巡检面临很多新的挑战，主要的情况是电网设备数量迅速增长，可靠性的要求逐年提升，运维的人力资源比较短缺。同时，输电通道的安全管控压力比较大，状态检测技术迅速发展，也得到了广泛应用，同时信息化水平也在不断提升。这里我简单分析一下电网设备数量增长所带来的挑战，大家知道我们国家输电线路的里程预计到2020年年底将达到159万公里，这个数量大概占全球输电线路总长的一半，同时它的年增长率超过6%，也超过了全球平均增速的一倍以上。这些情况都给我们的电网巡检带来了巨大的挑战。

    传统的电网巡检我们分析一下它的痛点，它的问题主要是呈现在四个方面，一是手工方式效率比较低。二就是巡检的主观性比较强。第三个问题就是缺乏统一标准流程。第四个方面是设备的状态管控力度不够。刚才的暖场片里大家也看到了一些场景，反映了我电网巡检的一些正常的作业方式，也就是说还是依靠大量的人力投入来实现巡检的。PPT上有几张简单的图可以看出来，在某些场景巡检是非常辛苦的工作。

   新技术新装备也使我们的电网巡检方式在逐步转变，由传统的人工巡检，完全依赖人力巡线，逐步向依靠机器人无人机巡检+人工处理方式转变，这种方式虽然机器人和无人巡检能够解放前端的人力成本，但影像处理还需要大量的人力做检查，这个工作还是有待提高的。因此，AI的巡检方向为我们提供了一个新的路径。首先理念上我们将AI技术与传统的巡检业务结合，能够将AI赋能传统电网巡检，提升产业动能。第二方面，是技术上有创新，我们将AI技术不断引入算法框架以及目标识别框架进行故障判断，能够大幅度提升判断的准确率。第三块变化就是模式的创新，通过不断的落地实施，通过数据、样本和模型库的积累，能够形成一个有效的数据资产的共享。

 

    目前我们的AI巡检的模式是几个环节。首先是进行数据采集，通过对图像数据进行标注、分类和清洗，并进行大数据分析，然后再基于深度学习和神经网络的巡检分析平台上做处理，最后得出我们想要的一个巡检结果，能够自动生成检测的结果。

    接下来我跟大家介绍一下如何使用EasyDL来定制巡检模型并部署。

    这里主要介绍两个场景，第一个场景是介绍电缆通道挖掘机的识别。大家知道，现在影响电网可靠性的重要的原因是外力破坏，据不完全统计，外力破坏是造成停电的40%左右的原因，而其中电缆的外力破坏，就是被挖掘机和挖土机铲断造成的停电也造成很大的比例，因为电网装了很多摄像头来识别挖掘机和吊车、叉车等进入，这个场景在暖场的片子里也有看到，主要是在我的输电线路下面，刚才场景当中有一部吊车在施工，电力的巡检人员就及时跟他们沟通交流，避免吊车碰线故障的发生。整个场景的思路是利用EasyDL人工智能训练平台建立基于巡检图像的物体检测模型，及时发现电缆通道上长期停留的叉车、吊车和挖掘机等隐患。识别过程首先是做数据的准备，我们在互联网上寻找了50张左右挖掘机照片，然后在EasyDL上构建模型，最后训练之后在公有云API上发布，等一下我会展示简单的部署的情况。

    在我们的模型训练过程当中碰到的问题主要是两方面，一是现场的工况复杂，识别容易受到干扰。第二个就是很多施工现场目标是多个目标，位置也是重叠的，比如我这张图片当中的挖掘机有好几个，这种情况给我们的识别带来了比较大的难度。

    针对上面的问题，我们经过实践也有一些基本的应对策略，我们总结一下就是两方面。第一，训练场景要与应用场景尽可能保持一致。比如我们在实际搜集照片的过程当中，包括不同明暗条件的照片，训练样本要覆盖全时段的图片，也要包括不同采光条件的图片，这些图片尽可能清晰，能够与我们的样本模型匹配。第二，数据的标注要与实际情况相符，不能错标漏标，此外目标物体被其他物体遮挡的情况下，我们要选取不同角度，不同场景，不同时段的图片多重标注，这样能够提高识别的准确度。

    这里我们举个例子，比如前面看到的大型施工现场图，挖掘机有好几台，识别的过程当中第一次只识别到右上角这一台挖掘机，最前面这台没有识别到，后来我们把图片处理了一下，采用了图像分割+注意力机制的方式，把最前面那台挖掘机单独提取出来，然后它就很容易的识别出来了。经过校核我们输出的阈值参数也可以通过降低阈值来提升，同时结合人工检验进行二次筛选，模型判定+人工复核的方式能大大提升我们的识别率。经过检测我们所输出图片的准确率跟精准率都能达到100%，效果还是非常好的，整个过程使用起来也是非常方便易用。

    第二个场景是输电铁塔的鸟巢识别。刚才简单介绍了一下，鸟巢对输电铁塔来说也是一个比较大的隐患，它的危险主要体现在两方面，一方面鸟在飞行过程当中可能造成输电线路的短路，另一方面，鸟粪也会输电线路间距，造成电网的故障，几的原因，使我们对输电铁塔的鸟巢非常重视。第二个场景首先通过搜集输电铁塔鸟巢的图像，我们搜集了50张比较清晰的照片，这些照片有电力巡检过程当中的照片，更多的是互联网上找到的，我们将这些照片利用EasyDL建立基于巡检图像的物体检测模型，然后进行训练，最后将训练的模型部署在API上。

    在我们的训练过程当中，我们总结了一下难点主要有两块，第一就是受拍摄角度的限制，鸟巢的位置往往容易被输电构架遮挡，难以完整捕捉到非常清晰的鸟巢，因此识别比较困难。第二个难点，因为鸟巢都处在高空，因此人工拍摄的条件比较恶劣，我们更多的时候是依靠无人机拍的。

    针对这两个困难我们的解决方式提出的应对策略，主要是利用无人机+机器人等自动化拍摄手段，对监控对象实施全景全方位的监控。我这张PPT上展示了同一个鸟巢两个不同角度拍摄的结果。第一张图，这个鸟巢是非常难以辨识，换一个角度，这个位置的鸟巢比较容易识别出来了。由于我刚才提到的鸟巢跟铁塔的构建有很多地方是比较相像的，而且拍摄的角度原因，很难将清晰鸟巢完整拍摄下来，因此这个模型训练检测的准确率是81.25%。右边这张图是我们在互联网上找到的图，我们把它做了一个检测，非常方便检测出来，效率也是非常高的。

    刚才我们做训练的数据集在云空间上也做了共享，这是链接，回头老师会提供给大家，大家可以用我们提供的样本数据集做一个训练。

-鸟患数据集：

链接：https://ai.baidu.com/easydl/app/invitation?token=4d74287249cbf394085aa5e13bfe0f17

-挖掘机数据集：

链接：https://ai.baidu.com/easydl/app/invitation?token=4c5eb4cad1ba1b6f7717b3a950a831ff

 

    好，接下来我简单给大家展示一下过程。

    进入这个界面，跟大家说一下，首先在开发平台上，我们是用的经典版的定制模型。开始训练，选择物体检测，我们建了两个模型。首先看一下挖掘机的检测情况，这个检测切断mAP值精度达到了100%，所以它还是非常准的，这里将待检测的照片调出来看一下检测结果，这张照片我们是选的黑白照片，而且是不够清晰，比较粗糙的照片，可以看到它的准确率还是非常准的。再换一张，这张照片是一台单独的挖掘机，也是非常快的识别出来了。

    我们再看一下鸟巢检测的过程，刚才我在PPT里展示的照片也是非常快地能够检测出来，标注出来，它当前的阈值是0.9。我们再看一张拍摄效果不是很清晰的照片，这张照片因为底色包括照片质量都不是很好，但是大家也可以看到，它是非常快速地能够识别出来，能够标注出来。

    我就简单介绍这么多，非常感谢大家的聆听。下面欢迎百度AI工程师介绍一下模型离线部署的情况。我在这个过程当中，针对我刚才介绍的部署的情况，大家有什么疑问欢迎流言，等一下我们将大家的问题集中起来做一个回答，谢谢。

孔明：非常感谢田老师关于电力AI巡检做的分享，接下来我将对EasyDL在不同场景下提供的部署方式再做一些补充介绍。

    EasyDL是百度AI开放平台下面的零门槛AI开发平台，大家应该都对EasyDL有了一定的了解。经过多年发展，EasyDL已经开放了三个不同的版本，面向不同的用户群体，分别是经典版、专业版和零售版。不管是哪个版本，EasyDL定制模型服务都是分三个阶段，首先是对原始数据进行处理，然后再进行模型的训练和评估，最后是把某些服务进行部署在生产环境中进行集成。

    EasyDL在服务部署环节希望解决用户在AI能力落地时面临的痛点，包括服务搭建和运维成本比较高，嵌入式部署的时候，硬件运行困难比较大，硬件适配开发比较大，性能调优时候难度比较大，这些都是EasyDL希望能解决的问题。

    EasyDL服务部署支持把模型部署到服务器和边缘端。现在有四种方式，公有云是部署到百度的公有云环境中，提供的是云端的API给用户调用，也可以授权给第三方进行调用。云服务能够稳定承载用户高并发的请求，同时免去用户对模型服务的运维。另一方面是云服务还是支持云端服务闭环，能够把在线调用的数据反馈到训练集，迭代模型训练，持续优化模型的效果。第二种方式是私有服务器部署，能够把模型部署到用户本地的服务器，主要是面向内网环境，还有是对时延敏感，或者是数据敏感的情况，一个是可以提供部署包，通过一键部署的方式部署一个和云端一致的API服务，还有就是提供SDK让用户支撑自己的服务。第三种方式是通用设备端的SDK，这个是面新手机和嵌入式硬件设备，可以把SDK集成到手机APP或者宿主机，广泛支持不同硬件和操作系统，针对各种芯片也做了加速。还有我们提供的软硬一体产品，这个是把性能的方案和专项适配的SDK相结合，提供了多种方案可选择，包括百度自研的EdgeBoard系列，还有EasyDL-NVIDIA Jetson系列。

    想必大家会关心在自己的应用场景下如何选择，简单介绍一下选择方法。首先公有云部署是最容易上手的，如果能连接公网对服务响应要求不是很高可以快速集成，就像田老师课程中讲的，生产环境是离线的，也可以先用公有云部署进行试验，再离线做部署。在离线场景下，如果对准确率要求比较高的，还是推进把服务部署在服务器上，用GPU跑的话更快，效果也会更好。如果对实时性要求很高，但是对识别的精度有一些取舍的时候，这时候可以把模型部署在端上，因为设备端的模型会做一些裁剪压缩，能够符合不同设备的限制，对存储或者芯片有限制，这样对精度也可能有一些影响。这边有两种方案，一种是设备端SDK，能满足手机和嵌入式设备的应用。如果大家对硬件没有选型的时候，用EasyDL的产品还没有做硬件选型，推荐大家考虑EasyDL的软硬一体产品，EasyDL有专门的优化，同时服务部署的时候，我们能够快速的定位，可以帮大家解决问题。

    接下来会对刚才说到的几个离线场景的部署方式进行简单的介绍。私有服务器部署有两种方式，一种是刚提到的私有服务器API，用户在本地服务器部署和云端一致的API服务，这个是我们用了百度的Easy Pack工具，是一键部署工具，会对机器的硬件环境检查，看是否适合安装，比如Docker环境，还有鉴权服务，然后部署一个Docker容器，访问容器中的服务和云端的API两种服务。第二种方式就是服务器端SDK，包含了模型，还集成了加速库和工具库，SDK支撑很多异构的硬件，能直接调用SDK的接口，可以在不同硬件上使用模型，集成到自己的应用或者应用里，我们是提供了两种不同的方式，鉴权方式也是不一样的，私有服务器API是全离线的鉴权，需要在物理之上进行鉴权。SDK是需要联网鉴权，会给你一个license，第一次使用的时候需要联网对license进行激活，后面可以全离线的使用。

    接下来讲一下通用设备端SDK，一方面适配市面上常用的手机，包括Android和IOS系统的，涵盖还是很全的，另外适配各类5A型手机，开发版和计算芯片都可以覆盖。手机端SDK内置了一个DEMO的APP，有一些基本交互界面，可以快速进行适用，无论在什么设备上，SDK接口都是统一的，调用方法也是类似，方便大家做二次开发。设备端SDK适配同时对芯片做针对性用法，可以看一下官网的介绍，这样大家就不用再关注硬件了，使用统一的接口集成到设备或者手机的APP里。

    再接下来讲一下软硬一体方案，通过把高性能的计算设备和深度适配过的设备端SDK相结合，方便大家选型时候集成到自己的生产环境。EdgeBoard是百度自研产品，前面预告片提到，包括计算盒和计算卡、加速卡，有的可以直接步入，有的可以嵌入到系统，作为加速卡做嵌入式使用，这些大家可以在百度AI市场可以买到。

百度AI市场搜索EasyDL：https://aim.baidu.com/product/search?word=EasyDL

    另外是新推出的NVIDIA Jetson，目前正在陆续在AI市场商家，从Nano，TX2，到Xavier，满足不同型号的要求，物体检测模型可以在百毫秒以内完成。

    刚刚已经对各种部署方式做了介绍，接下来我有一个实战演示环节，时间原因只做一个演示，私有服务器部署的演示，其他的包括设备端SDK和软硬一体方案，后续的课程中会有其他的老师给大家介绍。在私有服务器部署我会基于EasyDL经典版图像分类做的，跳过了数据准备的阶段，直接从模型训练到模型部署。

    大家可以看到，在模型训练的时候，刚开始就让大家选择了部署方式，原因是我们希望大家在做服务部署，开始训练之前就已经了解到使用的场景是什么，如果不明确的话，可以看一下这边有一个教程，如何选择部署方式。另一方面就是不同的部署方式的模型在训练过程中是不同的，提前选好部署方式。这边选择是私有服务器部署，私有API，同步支持公有云部署，同步回训练出等效的公有云模型，可以在公有云上通过校验，判断是否可用，再在离线环境中部署。

    我这边已经跳过了训练的等待过程，已经训练完成了，这边会同时产出两个版本，公有云和私有服务器部署，这边有一个问号，这边只是看一下如何做私有服务器的部署，点击申请发布就可以了。申请发布以后，这边会跳转到百度云的云的API上面，做私有云服务器部署的时候，需要有一些认证和授权，第一块填写是训练出来的模型，对应的版本。第二块需要输入私有服务的名称，名称是在你部署机器上对应的目录会用到名称，还有调用的API里会用到，填写是英文和数字。第三就是需要选择服务器的类型，选择CPU还是GPU，第四就是上传指纹文件，如何做全离线的鉴权，预先获取部署机器的机器指纹，在这边上传，鉴权服务就能够通过这个指纹做全离线的鉴权。如果需要多台机器就可以上传多个指纹文件，下面会有提取的工具和使用的说明。

    页面上还有一些其他的填的东西，大家可以自行填写完成。提交申请以后会由审核人员进行审核，一般一两个工作日就可以，三个工作日内就可以申请，如果有疑问的地区，可以用1号框中的信息发工单，找审核人员帮你看一下。

    再跳过审核的过程，现在已经审核通过了，这边看到如果你是第一次申请，这边可以下载一个完整的部署包，在你的私有服务器尚不熟。还有在第二个点里是下载更新包，更新包的内容更少，安装的时候只需要更新一个模型就可以完成安装了。当你之前一个完整部署包部署过以后，训练出一个新版本，可以点击更新版本，它会跳出一个弹出框，让你选择更新哪个版本，用更新包还是完整部署包。不管是哪个包部署方式都是一样，这边给大家看一下文档，单机一键部署很简单，第一步把包下载下来，第二就是使用Notebook，把模型和一些配置，还有Docker环境下载下来，然后进行一键部署。这是实际场景中进行的部署，第一个环节是做环境检查，检查这个机器是否适合安装，它的环境检查里有一些选项是必须能够满足的，还有一些是可选项，是尽量能够满足的，如果判断可以进行部署的情况下，可以先输入继续，继续进行部署。根据经验来看，有一些像机器的指令集有问题，或者是你要部署健全服务的时候，机器的环境是虚拟包环境的时候，这些检查下还会影响你能不能顺利完成部署，剩下有些是可选的选项。

    检查完了开始部署以后，这边需要大家输两个东西，一个是健全服务的IP地址，单机一键部署就是基于本机，如果是多机部署或者部署在物理机，模型部署在虚拟机里，这个就是输入机器的IP，还有输入模型服务的端口，这个时候就能够一键完成部署，如果部署没有问题，这边最快能够判断是否部署成功了，你可以进行Dockerps指令，服务状态是up，说明端口已经完成了，说明部署是OK，这个时候和访问云端一样，可以用一些脚本访问，这个访问的URL是根据本机的IP和端口，这个在官网的文档里是有的。

    我这边介绍就是这样，大家有问题可以提。

 

Q：好，已经看到小伙伴提问，Jetson Nano版面与市面上是一样的吗？

A：对，这是一样的？

 

Q：这个有跟EasyDL做边缘加速吗？

A：一个是SDK中是有优化的，会更加好的适配EasyDL的模型，也看到了NVIDIA也是几百毫秒完成物体检测已经做过加速，这个东西我们也会持续优化。

 

Q：好，问田老师，方便不方便介绍一下输电线路的隐患识别应该怎么做？

A：输电线路的隐患有很多种，刚才我在PPT里跟大家分享的输电铁塔鸟巢的识别，这个相对来说在所有的输电线路隐患当中是比较直观，而且大家也比较容易理解，比较好做的场景，所以我们选取了输电铁塔鸟巢的识别作为我们的展示的对象。除此之外，输电线路当中的隐患有非常多，比如间距的构建的等等很多，这些场景我们在自己的实验室里和我们的实际生产当中做过很多的应用和分析，效果比鸟巢差很多，最主要的原因是这些隐患的照片非常难获得。举个例子，比如销钉的脱落，本身它就很小，无人机要想把缺失的销钉的场景抓到，难度非常高。诸有此类，我们在实际中能抓到一些，但是抓到的几率要比鸟巢小很多，所以我们没有把这类的缺陷作为我们的训练展示的场景。我就简单回答这么多。

 

Q：好，谢谢您。另外有同学问，巡检机器人用的是什么控制器，用的什么通信，是先识别还是传输回去再识别？

A：无人机现在一般用2.4G视频作为通信，平时在工程当中都是无人机先拍摄，完了以后存在SD卡上，然后回到自己单位里，在实验室跟班组里做进一步的分析和提取，而不是直接回传到分析机器上，是这样的。未来如果5G通信普遍了，通信的价格非常便宜了之后，我们可以用实时回传的方式处理。

 

Q：好。有同学问，这边最高并发量有多少？

A：是云API还是指什么？

A：应该是咱们案例的云端API吧。

A：云端API一开始不是通过并发，直接提供QPS，一开始应该是5QPS，如果对QPS有更高的需求可以提工单，或者直接联系我们的同学帮你加高QPS。

 

Q：有同学在课程群里问，输电线路的挖掘机检测，远处的挖掘机不在线路上，但是识别出来了，如何确定它不会影响识别的结果，如何定位的呢？

A：这个要自动识别+人工判断，两者要结合起来，这样才能准确的判断。一般来说电缆的通道上，摄像头安装的位置基本上角度是针对电缆和输电线路走向布的，基本这个通道也是比较明确的。我们在PPT里和训练过程当中，这些图片都是公网上找到的，属于开放性的场景，跟我们的实际电缆，输电线路场景还是有所不同的，真正我们用的过程当中，这个更加具体一点。

 

Q：了解。另外，有同学问咱们私有API数据安全可以保障吗？

A：这个私有API数据不会上传到云端，还是在用户本地。

 

Q：私有API和SDK哪个性能更好一些呢？

A：目前应该是SDK的性能更好一些。SDK是用户直接基于SDK封装就可以，私有API上面还会做一些封装的服务了，相当于SDK更好。

 

Q：刚才PPT里说的阈值和置信度是什么关系？

A：阈值和置信度我们感觉应该是两者是同向的关系，相对而言，阈值是你为了识别出这个物体给的门槛值，置信度是判断准确率的角度。

A：田老师说的是对的，置信度就是给这个检测结果做一个打分，阈值是在筛选是在哪个分数以上才需要。

 

Q：好。另外田老师电缆下面的树木或者房屋，一些建筑也做一些识别判断的模型呢？

A：这个可以做，但实际每年春季的时候，冬季的时候，巡检人员主要工作就是树枝的修剪，这个场景做起来更加简单容易，所以我们没有选取作为典型的识别的训练场景。

 

Q：明白。孔老师有同学问，在EasyDL上面训练出来的模型可以用飞桨进行更改吗？

A：现在训练出来的模型还不提供大家下载到自己的本地，但是SDK里是包含了那个模型，但是我们不单独提供模型的下载。我们EasyDL专业版是在里面有一个Notebook，Notebook在EasyDL环境中对模型进行迭代训练，可以自己写飞桨的代码进行训练。

 

Q：好。有同学问，鸟巢识别采用的5G用无人机，能达到即时识别的效果吗？

A：这个应该是可以的，随着这个技术的普及，关键还有一个费用的问题，成本下来之后，如果很便宜的话，这个是可以做到，这个是成本的问题，跟技术上没有太大的关系。

 

Q：有同学问，有没有做绝缘子防震锤导线等识别？

A：这个在我们检修公司都有比较成熟的应用，我在今天的展示过程当中就没有特别举这个例子，因为这些图片看起来更加专业，不是一般的小伙伴能理解的。

 

Q：好，明白。有同学问现在的巡检机器人可以自主巡检还是靠遥控的？

A：还是依靠遥控的。

 

Q：有同学问价格，私有API和SDK的价格是免费的吗？

A：一开始有试用版，这个是免费的，正式使用的时候可以申请正式版，正式版的价格有不同。

大家如果想了解设备的SDK可以在界面上进行直接的购买，大家登录EasyDL官网可以找一下SDK的价格介绍。

   

Q：有同学问电磁干扰会不会让通信失败？

A：普通的电磁影响是不会造成无人机故障的，检修机器人的故障，因为这个都有相应的国标，我们这些设备都要满足国标的要求，具备抗一定标准的电磁影响的能力和电磁兼容的能力。如果超标的电磁影响，如果特别大，超的比较多，那会对设备造成影响。

 

Q：无人机是遥控的还是自动巡线的？

A：无人机是遥控的，自主巡航的现在正在做，成本也比较高，还没有广泛的推广应用，用的最多的还是靠人工遥控。

 

Q：肯定人工遥控比较多一些。有同学问，电力巡检的前沿在什么方向呢？

A：就是智能化、无人化和5G广泛应用，这是未来的方向。

 

Q：明白，看看小伙伴还有没有其他的问题。有同学说刚才的回答是实时在线识别还是回传识别，我们这边是回传识别是对田老师。

A：对的。

 

Q：5G对电力巡检最大的影响是什么？

A：更加及时，更加便捷，更加高效。

 

Q：有人问防震锤的异常检测是检测什么？

A：主要是检测它的结构本体，跟它的摆动浮值这些。

 

Q：好。我看看还有没有其他的问题，如果有问题可以在群里和弹幕区积极提问。现在再看一个问题，请田老师看看能不能说一下，有没有遇到具体的难点，比如之前提到销钉这种难点？

A：销钉的难点主要是销钉比较小，对我的输电铁塔来说就是非常小的设备，要想清晰的把销钉的缺失和损坏完整的拍摄下来，这个难度是非常大的，因为对一个相较于输电铁塔来说，这个销钉非常小，所以难度主要是大跟小的关系。同时，无人机拍摄过程当中，图像也很难保证角度跟清晰度、分辨率能够非常完整，这个可以结合5G的高清装置等做一些提升。目前销钉方面的缺失有，但是样本还是比较难找的。

 

Q：田老师您这边一共收集了多少样本？

A：我们这回做展示的是50多张图片，各有50多张图片。我前面也介绍了挖掘机全部是公网寻找的图片，鸟巢的图片大概有三分之一是我们自己的，也做了隐私处理的，还有三分之二是从公网上找的，大概情况就是这样，每个场景图片都超过了50张。

 

Q：好。请问您这次演示的图片可以提供给大家作为这次作业的数据集吗？

A：可以的，我们已经发布到云上了。

 

Q：在您日常操作中有考虑过优化拍摄路线吗？

A：这个有的，结合我们历来积累的经验，有一个优化的最优路径的选择。

 

Q：还有一个新的问题，训练集和验证集是如何划分的？

A：经典版训练集和验证集是自动化划分的，一般是7：3，专业版大家可以调参控制。

 

主持人：好，感谢田老师和孔明老师。

    我们现在给大家介绍一下现在EasyDL软硬一体方案的优惠政策，如果大家想购买EasyDL和百度自研硬件的软硬一体方案，可以扫描屏幕正中间的二维码，课程学员在5月13到6月13之内，够乃任意EasyDL软硬一体方案，可以获取专业版的脚本调参等价训练时长。购买一套EasyDL-VMX加速卡软硬一体方案，699元，可获得软硬一体方案一套+专业版脚本调参26小时GPU-V100训练时长/32小时GPU-P40训练时长/ 41小时GPU-P4训练时长，大家可以在三种训练环境中任选一个。

    右侧是我们EasyDL新上线和英伟达Jetson的开发套件，Nano和EasyDL SDK，目前从1099降到了800块，如果对这个软硬一体方案感兴趣可以下载这个二维码，到百度AI市场查看商品的详情。

给大家先看一下百度自研的硬件。这个是VMX加速卡，体积非常小，只有这么大，不到4厘米的正方形，现在具备三个产品特点，自带NCE神经网络加速处理器，接口齐全，轻松嵌入各种系统，另外是可定制的。也是非常薄，只有一两毫米的厚度。单图识别时间在经典版图像分类是65—135毫秒，物体检测在168—1620毫秒，在业界都是非常领先的。FZLite图像分类51—84毫秒，物体检测98—696毫秒，另外一个是FZ3计算卡，也是小，这边支持了非常多的不同接口，在风扇下方是芯片，也是非常小，也是非常轻薄。FZ计算卡具备了高性能SOC，芯片，也是低成本，千元级别的价位，可获得软硬一体方案，一分钟可以轻松进行集成。在经典版上图像分类达到了51到84毫秒，物体检测是58到696毫秒。如果大家对整个软硬一体方案感兴趣，可以进入百度AI市场搜索EasyDL快意查看各种软硬一体方案。

    现在给大家留一下本次课后作业。使用EasyDL图像分类/物体检测模型训练检测模型，脚本调参/Notebook方式任选，训练数据可以选用老师提供的主题，或采用自选数据。提交模型信息等，参与有奖评选，读书笔记、使用心得、使用教程、场景方案介绍等，文档在活动贴流言，参加优秀文章有奖评选。

    明天同样的时间，基于AR与EasyDL的地下资产管理，实验演示税务行业日常设备巡检方案，右侧动图就是地下资产管理方案，5月27到29连续三晚是EasyDL和NVIDIA专场，会有产品信息的介绍，软硬一体方案介绍，还有各种案例介绍。

 

    感谢大家今天参加我们的直播课，如果大家没有添加小助手的微信，扫描二维码进入群里和大家沟通交流，今天的直播就到这里，感谢大家的参与，也感谢两位老师。