迁移学习的背景、历史及学习
3382665wgss 发布于2022-08 浏览:2105 回复:0
0
收藏

迁移学习(Transfer Learning)的背景、历史及学习

1、迁移学习提出背景

    在机器学习、深度学习和数据挖掘的大多数任务中,我们都会假设training和inference时,采用的数据服从相同的分布(distribution)、来源于相同的特征空间(feature space)。但在现实应用中,这个假设很难成立,往往遇到一些问题:

    1、带标记的训练样本数量有限。比如,处理A领域(target domain)的分类问题时,缺少足够的训练样本。同时,与A领域相关的B(source domain)领域,拥有大量的训练样本,但B领域与A领域处于不同的特征空间或样本服从不同的分布。

    2、数据分布会发生变化。数据分布与时间、地点或其他动态因素相关,随着动态因素的变化,数据分布会发生变化,以前收集的数据已经过时,需要重新收集数据,重建模型。

    这时,知识迁移(knowledge transfer)是一个不错的选择,即把B领域中的知识迁移到A领域中来,提高A领域分类效果,不需要花大量时间去标注A领域数据。迁移学习,做为一种新的学习范式,被提出用于解决这个问题。

2、迁移学习发展历史

    迁移学习的研究来源于一个观测:人类可以将以前的学到的知识应用于解决新的问题,更快的解决问题或取得更好的效果。迁移学习被赋予这样一个任务:从以前的任务当中去学习知识(knowledge)或经验,并应用于新的任务当中。换句话说,迁移学习目的是从一个或多个源任务(source tasks)中抽取知识、经验,然后应用于一个目标领域(target domain)当中去。

    自1995年以来,迁移学习吸引了众多的研究者的目光,迁移学习有很多其他名字:学习去学习(Learning to learn)、终身学习(life-long learning)、推导迁移(inductive transfer)、知识强化(knowledge consolidation)、上下文敏感性学习(context-sensitive learning)、基于知识的推导偏差(knowledge-based inductive bias)、累计/增量学习(increment / cumulative learning)等。

2迁移学习中的符号及概念的定义

1、符号定义

    领域(domain)和任务(task)定义:

    领域由两个部分组成:特征空间(feature space)X和特征空间的边缘分布P(x),其中,x={x1,x2......xn} 属于X。如果两个领域不同,它们的特征空间或边缘概率分布不同。领域表示成D={X,P(x)}。

    任务组成:给定一个领域D={X,P(x)}的情况下,一个任务也包含两个部分:标签空间Y和一个目标预测函数f(.)。一个任务表示为:T={Y,f(.)}。目标预测函数不能被直接观测,但可以通过训练样本学习得到。从概率论角度来看,目标预测函数f(.)可以表示为P(Y|X)。任务表示成T={Y,P(Y|X)}

    一般情况下,只考虑只存在一个source domain Ds 和一个target domain Dt的情况。其中,源领域Ds = {(xs1,ys1),(xs2,ys2)......(xsns,ysns)},xsi 属于Xs,表示源领域的观测样本,ysi属于Ys,表示源领域观测样本xsi对应的标签。目标领域Dt = {(xt1,yt1),(xt2,yt2).......(xtnt,ytnt)},xti属于Xt,表示目标领域观测样本,ysi属于Yt,表示目标领域xti对应的输出。通常情况下,源领域观测样本数目ns与目标领域观测样本数目nt存在如下关系:1<=  nt  <<  ns。

2、迁移学习定义

    基于以上的符号定义,给出正式的迁移学习的定义:在给定源领域Ds和源领域学习任务Ts、目标领域Dt和目标领域任务Tt的情况,且Ds 不等于Dt或Ts不等于Tt,情况下;迁移学习使用源领域Ds和Ts中的知识提升或优化目标领域Dt中目标预测函数ft(.)的学习效果。

    通过以上的定义可以发现:

    1)、领域D=(X,P(x)),当源和目标领域D不同时,存在两种情况:

    (1)Xs不等于XT,源领域和目标领域的特征空间不同;

    (2)P(xs)不等于P(xt),即源空间和目标空间的特征空间相同,但观测样本X的边缘分布不同。

    2)任务T={Y,P(Y|X)},当源和目标领域T不同时,存在两种情况:

    (1)Ys不等于Yt,源领域的标签空间与目标领域的标签空间不同;

    (2)P(Ys|Xs)不等于P(Yt|Xt),即源领域和目标领域的条件概率分布不同。

3、迁移学习(Transfer Learning)核心技术学习

一、机器学习简介与经典机器学习算法介绍

二、深度学习简介与经典网络结构介绍

三、迁移学习基础

四、深度迁移学习介绍

五、迁移学习前沿方法介绍

六、迁移学习前沿应用

七、小样本学习、Transformer等前沿方法与应用

八、实验实操之实操环境搭建

九、实验实操之深度迁移学习实践

十、实验实操之图片与视频风格迁移实践

十一、实验实操之自动驾驶中的跨域语义分割实践

十二、实验实操之目标检测实践

百度盘s/1mxi-tAbGxTp7RMokusRCfw       naga

 

收藏
点赞
0
个赞
TOP
切换版块