【干货】实操|如何进阶深度学习工程师(下篇)
挪威的仙人掌 发布于2018-06-06 11:17 浏览:239 回复:2
1
收藏

上回初阶深度学习工程师的练级指南已奉上(没看到的小伙伴点这里:从第一本书开始,如何成为深度学习工程师<上篇> https://ai.baidu.com/forum/topic/show/865293)

过了初阶,少侠们如何努力更上一层楼呢?

小编奉上中阶深度学习工程师练级指南(外加高阶深度学习工程师的关注点)

希望能给小伙伴提供有效信息,帮助大家升级!

这里所定义的中阶选手,是深度学习理论基础扎实,实操方面尝试扩展深度学习更多应用场景的侠客。由此,从初阶→中阶,基本流程保持不变,变化的是每个步骤的深入程度。

中阶深度学习工程师进阶流程  阅读Paper → 看公开课 → 更多尝试 → Github交流


入手的第一篇paper

上篇提到的各类基础理论对于大家而言已是经烂熟于心,但是基础理论还远远不够。深度学习行业新成果不断涌现,为了保证时刻跟上步伐,需要着手阅读行业论文,学习其他大佬们的操作方法。

如下先推荐各方向适合入手的论文,再附上检索论文的多种途径,按需搜索~

【CNN方向】

"Deep learning for visual understanding: A review" [link, [PDF](articles/Deep learning for visual understanding A review.pdf)]

魏秀参的CNN卷积手册也值得仔细阅读,并且包含非常多的案例

http://lamda.nju.edu.cn/weixs/book/CNN_book.html

【RNN方向】

"Long short-term memory" 被业内人士推荐为RNN最佳解读

http://web.eecs.utk.edu/~itamar/courses/ECE-692/Bobby_paper1.pdf

【DQN方向】

Playing Atari with Deep Reinforcement Learning

https://arxiv.org/abs/1312.5602

【无监督学习/深度生成模型】

Le, Quoc V. "Building high-level features using large scale unsupervised learning." 2013 IEEE international conference on acoustics, speech and signal processing. IEEE, 2013. [pdf] (里程碑, 吴恩达, 谷歌大脑, Cat)


论文哪里找呢?小编整理了一些途径给大家参考~

Arxiv:从属于康奈尔大学图书馆,其中包含计算机科学方面论文分支,网罗机器学习、深度学习的最新论文成果,基本上所有的开发者寻找学术成果都会用到它。详细网址 https://arxiv.org

SCI检索库:高效丰富,如果觉得英文读起来略显吃力,也可以通过中国知网可以查询关注国内的学术成果。

 

本阶段可参考的公开课

中阶期间各位大侠仍然可以参考一些视频课程。

第一种是针对目前理解起来还有些吃力的理论,可以借助课程的力量辅助。

第二种是操作深度学习框架时的实操教学视频,可以带着操作问题去查找观看。

接下来也分为这两方面为大家推荐视频课程。

多伦多大学教授 Geoffrey Hinton机器学习与神经网络公开课,包括感知器、反向传播、卷积神经网络、循环神经网络、梯度下降和超参数贝叶斯优化等主题,参考链接如下

https://www.youtube.com/watch?v=cbeTc-Urqak&list=PLoRl3Ht4JOcdU872GhiYWf6jwrk_SNhz9


如果你使用的框架是PaddlePaddle,可以参考如下实践课程,其中已经分出了各个不同的AI技术方向。参考链接如下

https://ai.baidu.com/paddlepaddle/openCourses

 

更深度的模型实训

如果按照上篇操作,大家应该已经选定了合适的深度学习框架,且使用数据集和成型的模型跑起来了。作为一名中阶选手,需要把框架用的更熟练,尝试更多的数据集,探索更丰富的场景。

在此仍然延续上篇文章,默认各位中阶选手已经选择好具体的AI技术方向,以PaddlePaddle为例。

PaddlePaddle有多种模型可供开发者选择,包含RNN语言模型、点击率预估、文本分类、序列标注、机器翻译、图像分类、物体检测、OCR识别、语音识别等。借助这些模型,外加官方提供的数据库,可以尝试多种场景之下的应用。

【例】加州理工学院的美籍华裔学生EricZhao实现犬类面部识别和语义操作,经历安装-训练-使用三步,借助Siamese model训练,初步实现“宠物刷脸”他具体的操作详情可参考如下链接 

https://github.com/ericzhao28/puppy_image_embeddings

 

Github开源交流

如上三个步骤顺利完成后,恭喜各位少侠,基本进入中阶工程师领域~

大家可以到Github上,寻找所使用的框架主站,进行提问或提修改需求。

以PaddlePaddle为例,链接 https://github.com/PaddlePaddle

 

广阔实战 大有可为

练就中阶又实现了一个质的飞跃!既然已经练就了本领,当然要寻找能够大展身手的途径~

一方面,大家可以带着简历去投递工作机会,把“炼丹”发展为终身事业。

另一方面,和朋友一起组队参加各种深度学习的比赛,通过比赛检验成果。

深度学习领域权威比赛包含:Kaggle、KDD Cup,期待能够看到大家一朝成名!

 

高阶深度学习工程师关注点

高阶选手基本上是行业专家和高阶从业技术人员。他们能够非常清楚的明确深度学习用在哪里、如何应用,并能够将深度学习应用在非常多的场景之中。在这个阶段技术层面已经全面成熟,基本上放眼江湖难逢敌手。

高阶选手的修炼就有非常多种的方式。在这里小编大胆猜想其修炼路径,希望能对大家早日成为宗师提供些许帮助。


【关注最新工具】

所谓最新工具,就是配合深度学习框架本身,有效提升深度学习框架运作效率的东西。高阶选手能够根据自己的开发需要,让这些工具发挥最佳辅助作用。

以PaddlePaddle为例,其中包含可视化工具Visual DL,弹性计算EDL。可视化工具能够帮助开发者观察分析模型的收敛情况、权重分布、特征分布等;而弹性计算能够提升机器使用效率,在工业化应用中能够成为提速能手。

 

【看行业发展趋势】

高阶选手不仅要在技术方向有专攻,另一方面也要关注行业动向,并输出一些自己的判断,对行业的把控程度远高于一般人。

高阶选手会选择看近两年的深度学习研究成果、行业报告等等。

如果想要找寻近两年内的研究成果,可以去看看顶级学术会议发表的论文,顶尖学术会议发布的论文是重点(含金量很高,能代表行业前沿)

以视觉方向为例,可以关注IEEE主办的三大学术会议CVPR、ECCV、ICCV

以NLP方向为例,可关注这三个国际顶级学术会议ACL、EMNLP 、CoNLL


想寻找更多顶级学术会议的文章,可以关注计算机学会 

计算机学会推荐的AI方向的顶级学术会议和期刊,包含在如下链接中http://history.ccf.org.cn/sites/ccf/biaodan.jsp?contentId=2903940690839

 

至此,进阶深度学习工程师之路,相信已经深入大家心中~

学有所成,大家对深度学习工程师就业和掘金情况可能仍有疑问

不要急,后续系列会继续详解,敬请期待~

收藏
点赞
1
个赞
共2条回复 最后由ywjacca回复于2018-06-11 09:52
#3ywjacca回复于2018-06-11

这个路线图不错

0
#2873738400回复于2018-06-07

666

0
TOP
切换版块