BERT之后这个新模型再次在11项NLP(自然语言处理)基准上打破纪录
- 机器之心
- 2018-12-24 20:03
自 BERT 打破 11 项 NLP 的记录后,可应用于广泛任务的 NLP 预训练模型就已经得到大量关注。最近微软推出了一个综合性模型,它在这 11 项 NLP 任务中超过了 BERT。目前名为「Microsoft D365 AI & MSR AI」的模型还没有提供对应的论文与项目地址,因此它到底是不是一种新的预训练方法也不得而知。
BERT 和微软新模型都采用了通用语言理解评估(GLUE)基准中的 11 项任务,并希望借助 GLUE 展示模型在广泛自然语言理解任务中的鲁棒性。其中 GLUE 基准并不需要知道具体的模型,因此原则上任何能处理句子和句子对,并能产生相应预测的系统都能参加评估。这 11 项基准任务重点衡量了模型在跨任务上的能力,尤其是参数共享或迁移学习的性能。
从微软新模型在 GLUE 基准的表现上来看,至少它在 11 项 NLP 任务中比 BERT-Large 更高效。这种高效不仅体现在 81.9 的总体任务评分,同时还体现在参数效率上。微软的新模型只有 1.1 亿的参数量,远比 BERT-Large 模型的 3.35 亿参数量少,和 BERT-Base 的参数量一样多。下图展示了 GLUE 基准排名前 5 的模型:
在「Microsoft D365 AI & MSR AI」模型的描述页中,新模型采用的是一种多任务联合学习。因此所有任务都共享相同的结构,并通过多任务训练方法联合学习。此外,这 11 项任务可以分为 4 类,即句子对分类 MNLI、QQP、QNLI、STS-B、MRPC、RTE 和 SWAG;单句子分类任务 SST-2、CoLA;问答任务 SQuAD v1.1;单句子标注任务(命名实体识别)CoNLL-2003 NER。
其中在句子对分类任务中,有判断问答对是不是包含正确回答的 QNLI、判断两句话有多少相似性的 STS-B 等,它们都用于处理句子之间的关系。而单句子分类任务中有判断语句中情感趋向的 SST-2 和判断语法正确性的 CoLA 任务,它们都在处理句子内部的关系。
在 SQuAD v1.1 问答数据集中,模型将通过问题检索段落中正确回答的位置与长度。最后在命名实体识别数据集 CoNLL 中,每一个时间步都会预测它的标注是什么,例如人物或地点等。
如下所示为微软新模型在不同任务中的得分:
目前微软新模型的性能还非常少,如果经过多任务预训练,它也能像 BERT 那样用于更广泛的 NLP 任务,那么这样的高效模型无疑会有很大的优势。
相关文章
资讯
- 3天前
EIZO推出基于NVIDIA Turing的图形和GPGPU卡
- 3天前
Inertial Labs发布了IMU/数字倾斜传感器
- 4天前
LWIR摄像机的USB集成板发布
- 2020-12-28
国产大飞机研制取得重大进展 民营航空企业迎来发展新机遇
- 2020-12-07
双十二好物推荐,一款超能打的智能教育笔记本
- 2020-11-26
用技术驱动企业采购模式升级,京东企业购助力中小企业数字化转型
- 2020-11-03
守卫平安保障,提防保险“代理全额退保”诸多风险危害
- 2020-10-30
工厂里的“新面孔”,进博“大家伙”这样助力中国制造提质升级
- 2020-10-28
2021第五届中国上海国际车轮及轮胎展览会暨嘉年华活动
- 2020-10-28
2021中国上海国际汽车底盘及制动系统展览会
- 2020-10-19
京东企业业务发布技术服务品牌“电解智” 用“+服务”的综合性解决方案保障技术产品落地
- 2020-10-13
财富健康双保障 平安人寿“金瑞人生21”重磅上市
- 2020-09-29
《小马宝莉之彩虹音爆》全球首站,在成都正式开演!
- 2020-09-27
《小马宝莉之彩虹音爆》全球首站,在成都正式开演!
- 2020-09-27
全息技术儿童剧场《小马宝莉之彩虹音爆》亮相成都,全球首演!
原创
荐读
-
智能手机竞争中失败,日本在联网汽车领域举步维艰
据外媒报道,在制造带有数字联网服务的汽车的竞争中,丰田汽车和日产汽车面临着被本土市场拖累的风险。与美国和欧洲的汽车消费者不同的是,日本消费者不愿意为这些联网功能和服务买单。结果就是:日本只有10%的汽车...
-
2020年河南省将推广应用3万台工业机器人
到2020年,推广应用3万台工业机器人,建设1000条智能生产线、300个智能车间、150个智能工厂……4月16日,在2018两岸智能装备制造郑州论坛上,河南省工信委发布了《2017年河南省智能制造白皮书》,河南智能制造的2020...
-
全国首个获批建设国家技术标准(贵州大数据)创新基地
近日,国家标准委复函批准 , 同意贵州省建设国家技术标准 ( 贵州大数据 ) 创新基地,标志着贵州成为全国首个获批建设大数据国家技术标准创新基地的省份。按照国家标准委批复要求,国家技术标准 ( 贵州大数据 ) 创新...