您现在的位置是:首页 > 业界业界
历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军
cc博主2021-12-12【业界】489人已围观
绝悟AI开始挑战更复杂的开放世界游戏环境了。
Minecraft (中文译名《我的世界》) 是全球最畅销的开放世界3D游戏。随机生成的开放地图、自由灵活的玩法、多线程长链条任务,给AI研究带来了极大挑战。针对Minecraft的复杂环境,游戏AI赛事MineRL邀请全球程序员在4天时间内用一台计算机训练AI找到游戏中的钻石。
12月8日,第三届MineRL竞赛主赛道 (research track) 发布成绩,AI 的“钻石之梦”向前踏进了一大步:腾讯AI Lab“绝悟”以76.970分的绝对优势夺冠。研究成果已发布在Arxiv上,算法框架可复用于其他复杂决策环境。
(论文链接:https://arxiv.org/abs/2112.04907)
MineRL竞赛由卡内基·梅隆大学、微软、DeepMind、OpenAI,联合机器学习顶级会议NeurIPS共同举办,极富挑战性的赛题持续吸引全球开发者关注。今年赛事共有59支团队、近500名选手投身其中,其中不乏世界顶级学府和研究机构的科研强队。竞赛的研究主题是:训练样本高效的Minecraft AI智能体。
腾讯AI Lab创新性地通过分层强化学习(Hierarchical Reinforcement Learning)、表示学习(Representation Learning)、自模仿学习(Self-imitation Learning)、集成行为克隆(Ensemble Behavior Cloning)等算法高效实现比赛目标。
(绝悟AI以压倒性优势获得历史最高分,今年榜单详见链接)
极度多样的环境、完全靠随机种子生成的地图、长决策序列与复杂的技能学习、高自由度玩法带来的海量策略偏好都增加了Minecraft AI研究的难度。比如,为了让AI在15分钟内找到钻石,AI需要经历徒手采集原木、合成木板、木棍与木镐,采集到铁矿,经过一系列加工才能合成钻石。
此外,主办方还制定了种种严苛的规则:包括禁止参赛者编写规则、游戏环境甚至将背包信息与动作空间加密、且不允许使用预训练模型,只允许与环境最多交互八百万次,每个参赛队伍只能使用6核CPU与半张NVIDIA K80显卡训练4天——这个配置几乎对于所有高校实验室与个人研究者都可以负担的。
这次比赛的目的在于促进样本高效 (Sample-efficient) 游戏AI算法的发展。目前流行的强化学习算法一般需要多达成百上千万次的试错来寻找最优流程,耗费大量的时间和计算资源。而纯靠人类数据的模仿学习算法虽然更快,但性能上往往不尽如人意。
(Minecraft 游戏截图)
绝悟AI创新性地提出了一种样本高效的基于分层强化学习(Hierarchical Reinforcement Learning)的解决方案。数据表明,腾讯AI Lab推出的上层控制器的预测准确率可以达到99.95%,也就是说,AI从人类数据中学到了一套几乎不出错的宏观策略,每时每刻都清晰地知道自己下一步的正确动向。
在状态空间表征上,Minecraft游戏遇到的最大挑战在于如何理解复杂的开放地图。首先被选中的是近年来热门的表示学习方法 (Representation Learning)。但研究人员很快发现,已有方法只适用于2D场景,在MineCraft游戏环境里效果很差。于是腾讯AI Lab设计了一种“基于动作感知”(Action-aware Representation Learning)的新颖算法,用来捕捉每个动作对环境产生的影响,形成注意力机制。实验表明,该算法可以显著提升智能体获得资源的能力与效率。
(不同动作的可视化结果,AI学会了关注当前图像中的关键区域)
随着游戏推进,智能体与人类的策略出现了很大的分歧。此时,人类数据已经很难用于指导AI。绝悟AI使用了自模仿学习 (Self-imitation Learning)的思想,提出了基于鉴别器的自模仿学习算法,AI可以从自身过往的成功与失败中获得经验与教训,并在察觉到当前状况不妙的时候,主动往更好的方向修正。对比实验证明,在加入自模仿策略后,智能体探索到的行为更加一致,也可以显著降低进入危险区域的概率。
对于合成物品等需要长链条的动作序列的任务,研究人员也做了细致的优化。通过动作序列一致性过滤 (Consistency Filtering) 与基于投票的集成学习(Ensemble Learning),模型在合成物品阶段的成功率从35%提升到96%,一举将最薄弱的链条扭转为了最稳定的制胜点。
利用高度复杂、高度定制化的游戏场景作训练场,腾讯 AI Lab 的深度强化学习智能体正不断走近现实。棋牌游戏 AI “绝艺”从围棋棋盘逐步走向象棋、麻将,策略协作型 AI “绝悟”从MOBA走向FPS、RTS,再到如今的 3D开放世界 MineCraft。它们迈向全新挑战的每一步,都让AI离解决现实问题、科技向善的大目标更近了一步。
随着虚实集成世界逐步变成现实,这些研究的经验、方法与结论,将在真实世界创造更大的实用价值。
雷峰网(公众号:雷峰网)
Tags:免费ss节点
相关文章
- GAIR 2021大会首日:18位Fellow的40年AI岁月,一场技术前沿的传承与激辩
- 粤港澳第一AI盛会GAIR阵容出炉:140+产学领袖、30位Fellow,11大领域的第二次「技工贸」启蒙
- 亏损暴增401.4%、国际化业务踩下刹车后,快手被曝年底大幅裁员
- 谷歌发布2021年度搜索排行榜
- 最新免费酸酸乳节点分享-小飞机ssr加速器官网
- 最新网络节点地址分享,免费开放分享(不定期更新)
- 最新v2ray节点地址分享,小火箭ssr节点购买(不定期更新)
- 酷派:“改头换面”能否“改天换地”?
- “即插即用”智慧方案助力澳门发展,推动湾区科创 ——腾讯案例亮相BEYOND国际科技创新博览会
- NeurIPS 2021获奖论文出炉!斯坦福表现亮眼,“随机变分推理”获时间检验奖,还有新增奖项
猜你喜欢
社区团购持久战:美团漫长的生鲜零售梦?
业界巨头混战告一段落后,社区团购再度迎来新变化。多多买菜、美团优选以及淘菜菜的调整,也进入一个新阶段。其中,美团优选可谓是占据了资金及组织优势,但在当下,降本增效成了主旋律。从2021年下半年开始,美团优选进行了组织调整,也从不少城市撤退了出来。优选背后的团购...
阅读更多药丸屏登场!苹果官宣iPhone14 Pro不涨价,最便宜新品98元;疯狂星期四商标再驳回;马斯克:担心第三次世界大战|雷峰早报
业界“药丸屏”“灵动岛”登场!苹果宣布iPhone14 Pro不涨价,最便宜新品98元北京时间9月8日01:00,苹果举行了2022年秋季新品发布会,全新iPhone 14 系列、Apple Watch Series 8、AirPods Pro等新品悉数登场。...
阅读更多斯坦福近 50 年技术发明商业化调研:4512 项发明,只有 20% 能盈利
人工智能作者 | 黄楠编辑 | 陈彩娴大学向来被视为学术研究最纯粹、发现和传播新的学科知识以及学生成长培养教育的的地方。但在今天,技术发明和其商业化已经成为越来越多研究型大学发展的重要部分。在美国,这种技术发明和商业化发展模式被称为「大学技术转移」,起源于20世纪二...
阅读更多美团发布2022年一季度财报:营收同比增长25%至463亿元 经调整净亏损收窄至36亿元
业界6月2日,美团(股票代码:3690.HK)发布2022年第一季度业绩。本季度,美团各项业务实现稳步增长,季度营收达463亿元(人民币,下同),同比增长25%。财报信息显示,美团继续深入推进“零售+科技”战略,持续加大关键领域科技研发投入,单季研发支出同比增长...
阅读更多知乎视频负责人离职幕后:新派与旧派不和,高层暗中安插眼线,CEO周源表态模糊
业界视频业务一号位离职、高层内斗、团队解散、部门大范围裁员,知乎全员上下紧张了起来。经多个媒体的信源确认,视频业务总负责人蔡林已经在今年3月份离职,另外一位知乎高层:市场&用户体验中心总经理来原目前也在走离职流程。此外,知乎视频业务存在大范围裁员情况。...
阅读更多