您现在的位置是:首页 > 人工智能人工智能
最新!NLG顶会INLG2021最佳长论文出炉!一作华人学生代表出席今晚INLG
cc博主2021-10-02【人工智能】867人已围观
编辑 | 青暮周杰伦三词作曲,曹植七步成诗。近年来,约束文本生成任务(在特定前提条件下生成自然语言输出)引起越来越多人的兴趣。
最新消息,华人学者 Steven Y. Feng 与四位学者Jessica Huynh、Chaitanya Narisetty、Eduard Hovy与Varun Gangal 共同发表的题为“SAPPHIIRE: Approaches for Enhanced Concept-to-Text Generation”的研究论文获得了2021年 INLG 的最佳长论文奖!
今晚,论文作者 Steven Y. Feng 将作为代表出席第14届INLG会议,线上分享自然语言生成的团队研究。
INLG(International Conference on Natural Language Generation )始于1980年代,旨在讨论和传播自然语言生成领域的突破性成果。今年,会议于9月20日至24日在苏格兰阿伯丁举行,与会者会通过虚拟会议介绍他们的研究。
除了世界级的研究报告外,今年的会议还包括研讨会、学习教程、受邀专家的讲座和一个讨论小组(讨论题目为“用户希望从NLG的现实应用中获得什么”)。小组讨论由目前在计算机学习、NLG 和认知 AI 辅助行业任职的权威学者领导。
虽然自然语言生成(NLG)的研究已经持续了70多年,但旨在将NLG落地的基础技术却是在近些年才出现。最近,越来越多学术界与产业界的资深人员也已认识到 NLG 是一种核心能力。INLG也称,会议现已从小众的专业学术组织发展成了一个产学研相结合的国际性学术交流平台。
获奖学者介绍
Steven Y. Feng,现为卡耐基梅隆大学(CMU)研究生,对NLP、机器学习、深度学习和人工智能研究有着丰富的经验和极高的研究热情。
个人主页:https://mobile.twitter.com/stevenyfeng
获奖论文
论文地址:tinyurl.com/sapphirelNLG
人类能够从常识推理,甚至反演,这种能力可以定义为从一组概念生成逻辑句子来描述日常场景。在这种情况下,这些概念是必须以某种形式在输出文本中表示的单个单词。
因此,论文作者提出了一套简单而有效的概念到文本生成改进方案,称为“SAPPHIRE”。具体来说,SAPPHIRE由两种主要方法组成:
1)增加输入概念集
2)将从baseline中提取的短语重组成更流畅、更有逻辑的文本。这些主要是与模型无关的(model-agnostic)改进,分别依赖于数据本身和模型自己的初始代。
通过使用BART和T5模型的实验,他们证明了这两种模型在CommonGen任务上的有效性。通过广泛的自动和人工评估,SAPPHIRE能显著提高模型的性能。深入的定性分析表明,SAPPHIRE有效地解决了基线模型生成的许多问题,包括缺乏常识、不够具体和流利性差等问题。
3
研究内容
6种语言生成模型的对比
以上几种NLG模型对比揭示了baseline的几个问题:
1)概念覆盖率与概念集大小密切相关,概念集越大,概念的覆盖率越低,即遗漏概念的概率越高
2)许多短语不完整
3)反应迟钝
Baseline和人工的对比
如何解决BL模型的固有问题?近年来,随着模型改进的研究取得了重大进展,许多文本生成任务的性能也得到了显著改善。
在获奖团队中,他们设计了两步走战略:通过提取关键字和注意矩阵,在训练期间从参考文献中扩充概念。对于短语重组直觉,他们提出了基于新训练阶段和掩蔽填充的两个方法。最后,通过综合评估,他们展示了SAPPHIRE是如何通过各种指标提高模型性能,以及解决baseline在常识、特异性和流畅性方面的问题。
他们的第一个方法:Kw-aug和Att-aug,分别在训练现成的关键字提取模型注意值时,从参考文献中提取关键字,使用它们在训练时扩展输入概念集。(通过动作联想场景,通过名词联想动作,也就是由名词扩增动词,由动词扩增状语等)
概念扩增
概念扩增的方法激发了Steven Y. Feng五人的想象力:是否有简单有效的方法可以从数据本身来提高这些自然语言生成的性能? 此外,是否有可能利用这些模型本身的输出来进一步提高它们的任务表现——某种"自我反省"?
在第二种方法中,他们从模型输出中提取非重叠的关键短语,然后构建一个新的概念集,其中包含这些关键短语和原始概念集中的其他非重叠概念。
也就是说,从原有的低端模型中输出“不那么流畅的句子”,然后提取新句子中的关键词,再根据新的关键词“扩增概念”。多次迭代,就能从相似逼近到精确。
如此,机器完成一轮“自我启发”,虽然并不算是自然语言范畴的“艺术创作”,却在实验中贯穿了形象思维与抽象思维经过复杂的辩证关系构成的思维方式。想象与联想,灵感与直觉,理智与情感,意识与无意识,它们在未来能否卡定在不同的向量图中,建模、量化,或许一问出口,便已有知。
参考资料:https://twitter.com/stevenyfeng/status/1440330270058500102cc博客网cc博客网cc博客网(公众号:cc博客网)
cc博客网版权文章,未经授权禁止转载。详情见转载须知。
Tags:机场 v2ray
相关文章
- 好不容易中了一篇CCF A类会议论文,大导师居然来抢一作?
- 港科大(广州)校长倪明选谈CNCC:中国计算机学者的坚守与传承
- MIT 博士蝉联金奖,北大获奖人数多达22人!阿里巴巴全球数学竞赛落下帷幕
- “喝西北风”也能活的人类未来?我国学者用二氧化碳人工合成淀粉
- 错误率减半需要超过500倍算力!深度学习的未来,光靠烧钱能行吗?
- IROS 2021 | 机器人Get抓取新技能,轻松帮你整理混乱桌面
- 菲尔兹奖得主加入华为,孟晚舟安全回国:华为“双喜临门”
- 最新免费网络节点-酸酸乳节点链接分享(2021/9/29)
- 火数云-美国高防云服务器 2核2G20M 高防100G 43元/月,香港CN2 2核2G3M 55元/月,河南洛阳BGP限时三折,独立服务器及站群限时8折!
- 华纳云-618大促3折起,18元/月买CN2 GIA 2M 香港云,物理机高防同享,10M带宽独享三网直连,无限流量!
猜你喜欢
向真实世界应用进军:持续自监督学习的挑战
人工智能在 Yann Lecun 等人的推动下,自监督学习成为了深度学习领域最受瞩目的技术之一。互联网世界源源不断产生的数据流无疑是充分发挥自监督学习能力的最佳土壤。然而,将自监督学习应用于自然场景将面临哪些严峻的挑战?且看来自 CMU 的 Abhinav Gupta...
阅读更多荣耀联合高通深度打磨,荣耀Magic4系列充分释放骁龙8顶级性能
业界3月17日,荣耀新一代智慧旗舰荣耀Magic4系列在国内正式发布。作为荣耀科技创新实力的又一力证,荣耀Magic4系列再度携手全新一代骁龙8移动平台,实现屏幕、影像、性能、安全等领域的全方面进阶。骁龙8系移动平台一直都是顶级安卓移动体验的代名词。荣耀Mag...
阅读更多检查性功能障碍的方法
健康问答男性朋友在生活当中总会出现一些难言之隐,因为性功能障碍疾病会影响到自己的家庭生活,也会给自己的身心健康造成一定的隐患,在出现了性功能障碍疾病时,往往会造成患者阳痿、早泄、遗精、不射精或者是性欲障碍,那么检查性功能障碍的方法有哪些呢,下面我们就一起来看看吧。...
阅读更多性功能障碍是怎么得的
健康问答性功能障碍是什么原因,造成性功能障碍的原因有很多,比如有心理原因,生理原因以及病理原因,那么对于有性功能障碍的患者自己应该时刻注意自己的心理,做到不要胡思乱想,只要是自己的生理因素没问题,那么就不会产生性功能障碍以及性冷淡等行为。1,心理因素:由于恐惧性生...
阅读更多爱立信被曝向恐怖组织缴纳过路费,市值暴跌900亿,多名员工已被开除
业界雷峰网(公众号:雷峰网)消息,3月3日,据相关报道称,随着爱立信深陷向恐怖组织缴纳“买路费”风波一事,被逐渐曝光后,公司股价遭遇连续下跌。数据显示,自该事件出现以来,爱立信美股在10个交易日内已经下跌了近35%,市值蒸发约144亿美元,折合人民币约900亿元...
阅读更多
w