请在Chrome、Firefox等现代浏览器浏览本站。另外提供付费解决DEDE主题修改定制等技术服务,如果需要请 点击 加我 QQ 说你的需求。

什么是迁移学习?NLP迁移学习的未来

nlp书籍 admin 评论

得益于迁移学习,计算机视觉领域的发展非常迅速。有着几百万个参数的高度非线性模型通常需要大型数据集的训练,经过几天甚至几周的训练,也只能分辨猫狗。 有了ImageNet挑战赛后,每年各种队伍都会设计出不同的图像分类器。我们发现这类模型的隐藏层可以捕捉

  得益于迁移学习,计算机视觉领域的发展非常迅速。有着几百万个参数的高度非线性模型通常需要大型数据集的训练,经过几天甚至几周的训练,也只能分辨猫狗。

  有了ImageNet挑战赛后,每年各种队伍都会设计出不同的图像分类器。我们发现这类模型的隐藏层可以捕捉图像的通用特征(例如线条、形式、风格等)。于是,这样就不用每次都为新的任务重建模型了。

  而迁移学习的理念是,由于中间的图层是学习图像一般特征的,所以我们可以将其用作一个大型“特征生成器”!我们可以先下载一个预训练模型(在ImageNet任务上训练了好几周),删去网络的最后一层(全连接层),根据我们的任务进行调整,最后只训练我们的分类器图层。由于使用的数据可能和之前训练的模型所用数据不同,我们也可以花点时间训练所有图层。

  由于只在最后一层进行训练,迁移学习会用到更少的标记数据。对数据进行标注非常费时,所以创建不需要大量数据的高质量模型就非常受欢迎了。

  说实话,迁移学习在自然语言处理中的发展并不像在机器视觉里那样受重视。让机器学习线条、圆圈、方块,然后再用于分析还是比较容易设计的。但是用来处理文本数据似乎不那么容易。

  最初用来处理NLP中的迁移学习问题的是词嵌入模型(常见的是word2vec和GloVe),这些词嵌入表示利用词语所在的语境来用向量表示它们,所以相似的词语有相似的词语表示。

  然而,词嵌入只能表示大多数NLP模型的第一个图层,之后我们仍需要从零开始训练所有的RNN/CNN等图层。

  今年年初,Jeremy Howard和Sebastian Ruder提出了ULMFiT模型,这也是对NLP领域迁移学习的深入尝试。具体可参考论智此前报道的:《用迁移学习创造的通用语言模型ULMFiT,达到了文本分类的最佳水平》。

  他们所研究的问题基于语言模型。语言模型是能够基于已知单词预测下一个单词的模型(例如手机上的智能拼写)。就像图像分类器一样,如果NLP模型能准确预测下一个单词,那就可以认为该模型学了很多自然语言组合的规则了。这一模型可以作为初始化,能够针对不同任务进行训练。

  ULMFiT提出要在大型语料上训练语言模型(例如维基百科),然后创建分类器。由于你的文本数据可能和维基百科的语言风格不同,你就需要对参数进行微调,把这些差异考虑进去。然后,我们会在语言模型的顶层添加一个分类图层,并且只训练这个图层!论文建议逐渐解锁各个图层进行训练。

  这篇论文最让人惊喜之处就是用非常少的标记数据训练分类器。虽然未经标记过的数据随处可见,但是标记过的数据获取的成本是很高的。下面是对IMDb进行情感分析之后的结果:

  只用了100个案例,他们就达到了和用2万个案例训练出的模型同样的错误率水平。除此之外,他们还提供了对模型进行预训练的代码,因为维基百科有多种语言,这使得我们能快速地进行语言转换。除英语之外,其他语种并没有很多经过标记的公开数据集,所以你可以在语言模型上对自己的数据进行微调。

  为了加深对这种方法的理解,我们在另一个公开数据集上试了试。在Kaggle上发现了这个“亚马逊评论情感分析数据集”(地址:)。它含有400万条商品评论已经相关的情感标签(积极或消极)。我们用fast.ai提出的ULMFiT对亚马逊的评价进行分类。我们发现,仅用1000个案例,模型就达到了在全部数据上训练的FastText模型的表现成果。而用100个案例进行训练,模型也能表现出不错的性能。

  在使用ULMFiT的过程中,我们用到了非监督和监督学习两种方法。训练一个非监督式语言模型很“便宜”,因为你可以从网上找到很多文本数据。但是,监督式模型的成本就很高了,因为需要标记数据。

  虽然语言模型可以捕捉到很多有关自然语言组织的信息,但是仍不能确定模型能否捕捉到文本的含义,即它们能否了解说话者想传达的信息。

  Emily Bender在推特上曾提出了一个有趣的“泰语实验”:“假设给你所有泰语书籍,没有译文。假如你一点都不懂泰语,你永远不会从中学会什么。”

  所以,我们认为语言模型更多的是学习语法规则,而不是含义。而语言模型能做的不仅仅是预测在语法规则上相近的句子。例如“I ate this computer”和“I hate this computer”两句话结构相同,但是一个良好的模型应该会将后者看作是“更正确”的句子。所以我们可以将语言模型看作是学习自然语言句子的架构的工具,从而帮助我们了解句子含义。

  ULMFiT的出现推动了迁移学习在自然语言处理中的发展,同时也出现了其他的微调工具,例如FineTune Transformer LM。我们注意到随着更多更好地语言模型的出现,迁移的效率也在不断提高。

  2018 年计算机视觉技术在视频安防和工业视觉领域应用是发展最快的两个领域,尤其在视频安防领域,也是....

  从计算机视觉的角度来看,虽然对人类来说,看真实的文件和影印版的没有太大差别,但对计算机就大不一样了:....

  给定一段视频,我们用基于视觉的动作估计器预测每一帧演员的动作qt。该动作预测器是建立在人类网格复原这....

  小蚁科技创始人兼CEO达声蔚,在AI WORLD 2018世界人工智能峰会上,介绍了小蚁科技在过去几....

  安防是人工智能落地的一个重要领域,也是国内各类AI创企纷纷瞄准的红海赛道。在安防领域,云从科技的产品....

  云从科技主要面向金融、安防、机场、零售、教育、社区等垂直行业,通过人脸识别技术作为跨行业入口,将人工....

  有的算法需要使用者具有一定的编程能力,而有的算法生成的结果却又不是那么逼真。我们真正需要的是一个能够....

  相比之下,人工智能会非常费力地制造视觉印象,就好像它是用盲文阅读描述一样。不同的算法,人工智能产生了....

  PNN论文作者通过实验和分析,表明干扰层可以有效地替代标准的卷积层,然后他们将干扰层组成深度神经网络....

  在计算机视觉领域,人工智能系统会尝试识别和分类对象。在这项研究中,研究人员向计算机视觉系统展示了一幅....

  有两种将 LDA 模型进行可视化的方法。第一个是通过写一个函数,输出为每个主题中最突出的单词。这个结....

  近年来,人工智能技术与医疗健康领域的融合不断加深,随着人工智能领域,语音交互、计算机视觉和认知计算等....

  计算机视觉是人工智能在中国落地最顺利的技术。和语音相比,计算机视觉是一条更有技术深度,更多应用场景的....

  相比之下,机器在生成“视觉”上更费力。它们看待事物的方式类似用盲文阅读,其中图像的像素就是“文字”,....

  计算摄影技术决定镜头的数量,也可能会改变量位相机上的影像处理管线(Image Pipeline)。传....

  过去的2017年,手机的安全功能进入了人脸识别技术时代,其实在我们生活中涉及安全范畴的领域,人脸识别....

  X射线的波长远小于可见光的波长,甚至短于紫外线的波长。威廉·康拉德·伦琴(1845-1923)因其在....

  目前,该产品已率先在重庆瑞方渝美压铸有限公司(简称渝美)投入使用并获得收益,将帮助渝美以“机器视觉+....

  上图是用不同数量的关键点[3,5,8,10,15,20]训练网络的结果,可以发现网络最先找到的关键点....

  MIT- AVT研究的是新一代的NDS,旨在发现人类驾驶员和自动驾驶技术之间真实互动的情况。目标是从....

  自然语言处理(NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自....

  对于小企业来说,做小、做轻,才能更好地聚焦能量,打造长远竞争力,积攒力气才能走得更远。“专业化、合作....

  徐冰还提到:“AI科学研究近些年正在呈现出跳跃式的进步,但现在学术界和工业界做深度学习是不一样的,在....

  定义 1:(迁移学习)。给定一个基于数据 Dt 的学习任务 Tt,我们可以从 Ds 中获取对任务 T....

  值得一提的是,两年前,谷歌宣布产业路线图时,同样也是 Greene 宣布了李飞飞的加入。当时,Gre....

  首先,真实情况下,无标注数据的来源通常没有限制,因此光照、姿态、遮挡等会有很大的差异,这种情况下基于....

  Donkey Car是一种为模型车开源的DIY自动驾驶平台,它利用一个带有相机的树莓派单片机,让模型....

  参与该研究的博士生Lucas Manuelli说道:“许多控制系统和识别方法都无法识别朝多个方向放置....

  运用迁移学习,CNN特征,语句特征应用已有模型2. 最终的输出模型是LSTM,训练过程的参数设定:梯....

  “这是很有挑战的基础研究工作,我们会有耐心地长期持续投入,不设KPI。”9月6日,在上海举办的首届计....

  为了更深刻理解深度网络的本质特点,我们首先比较一下传统模型驱动的思路和端到端学习深度网络建模方法的区....

  OpenCV 是一个广受欢迎的开源计算机视觉库,它提供了很多函数,实现了很多计算机视觉算法,算法从最....

  艾伦人工智能研究所和华盛顿大学的研究人员正在使用可以根据上下文来确定英文单词含义的神经网络。

  9月6日,腾讯优图与美国科学促进会官方刊物 Science 系列期刊联合举办的首届计算机视觉峰会在上....

  在MIT - AVT研究的头14个月里,车辆每天行驶里程的可视化。这种可视化没有显示最近几个月,因为....

  前段时间的文章《顶会见闻系列:ACL 2018,在更具挑战的环境下理解数据表征及方法评价》中,我们介....

  COCO 是一个旨在促进目标检测研究的图像数据集,重点关注检测上下文中的目标。COCO 的注释包括 ....

  想要成像,对光线有着严格的要求,必须其中的一束要被人看到。这就是机的作用。Torralba和....

  您所选择的预训练文本嵌入是您模型中的一个超参数,所以最好用不同的文本嵌入进行试验,看看哪个的准确性最....

  面对自然语言处理发展(NLP)存在的诸多难题,该领域的大牛、Salesforce的首席科学家Rich....

  Gibson的主要目标是帮助在现实环境中训练的模型完成迁移,这一过程分为两步。首先,在现实环境中表现....

  就像针孔和针脚一样,边缘和角落也限制了光线的通过。使用传统的采集设备,比如iPhone,Bouman....

  图像分类[6]处理的是将类别标签分配给图像。但是有时,除了预测类别之外,我们还感兴趣的是该对象在图像....

  曾经被视为科幻的场景现在变为了现实,但为了维持真正的人机关系,机器必须能够与人进行更直观、理解上下文....

  随着人工智能的深入发展,AI开始进入不同的领域,而不同的行业也需要更加精细的算法来满足客户的需求。但....

  深度学习领域的“Hello World!”,入门必备!MNIST是一个手写数字数据库,它有60000个训练样本集和10000个测试样本集,...

  摘要:提出了一种改进的矩不变自动阈值算法。该算法针对矩不变自动阈值法忽略图像细节的缺点,在矩不变自动阈值的基础上增加了基...

  从“跳一跳”之后,又有一款小程序游戏因其独特好玩的个性,在朋友圈C位出道了。 几天前,谷歌发布了一款名为“猜画小歌”...

  职位描述: 1. 负责计算机视觉&机器学习(包括深度学习)算法的开发与性能提升,负责下述研究课题中的一项或多项,包括但不限于...

喜欢 (0) or 分享 (0)
发表我的评论
取消评论

表情

您的回复是我们的动力!

  • 昵称 (必填)
  • 验证码 点击我更换图片

网友最新评论