麻省理工最新研究：血虐人类玩家的RL智能体，在纸牌游戏中从最强对手变成“猪队友”

作者 | 青暮、眉钉

诸如《星际争霸》等复杂游戏，是AI模拟现实的绝佳场景。

如果AI在复杂的环境中，学会和人一样实时感知、分析、理解、推理、决策并行动，那么就可能在多变、复杂的现实环境中发挥更大的作用。

近年来，从国际象棋、德州扑克到《星际争霸》，基于强化学习（reinforcement learning ）算法的AI智能体早已达到人类顶级玩家水平。如DeepMind出品的AlphaStar早已在国际排位赛中达到宗师水平，完败99.8％的人类。

但在这些游戏中，AI与人类都表现为”对抗关系”

如果让AI与人类“配合”打游戏，强化学习智能体能成为一个“好队友”吗？

最近，麻省理工林肯实验室研究团队在arXiv提交了一篇新论文《Evaluation of Human-AI Teams for Learned and Rule-Based Agents in Hanabi》，论文表明，尽管强化学习智能体在Go、星际争霸等竞争性游戏表现相当优异，但它们与人类合作玩游戏时，在简单的纸牌游戏中表现都很“糟糕”。

论文地址：https://arxiv.org/pdf/2107.07630.pdf

在这项研究中，研究团队评估了基于规则和基于学习的两类AI智能体，在纸牌游戏（Hanabi）中与人类合作的表现，通过游戏分数、团队绩效、可解释性、信任度和总体偏好等指标测量，他们发现，在几乎所有主观指标中，人类对基于规则的智能体队友的“好感”明显高于基于学习的智能体，而且对后者大多持负面评价。

作者表示，虽然强化学习智能体在对抗性游戏中创造了超人AI，但人类不该理所当然地认为RL系统在所有应用中都能表现优越，在目前的技术水平下，基于学习的智能体要想成为人机互动的最佳“队友”并不那么容易。

同时，论文中也强调虽然最终游戏得分几乎没有差别，但我们应该将主观评价纳入智能体的的考核标准，而不是单一地关注客观任务绩效。

强化学习（reinforcement learning）是训练AI智能体最常用的算法，它为智能体在游戏场景中提供了更灵活的动作，接收环境信息的反馈机制以及作战目标，如今基于强化学习的智能体已经不再需要人类玩家的游戏数据，而是可以在自我游戏模式下从头开始训练。

在棋盘游戏、街机游戏、实时战略游戏、多人作战以及模拟空中格斗等游戏中，RL智能体的表现已经达到了人类玩家的水平，甚至碾压顶级职业玩家。一个典型的例子是在AlphaGo与顶级围棋选手李世石的对战赛中，智能体凭借一步精绝之棋，扭转局面首战人类！

在实验分析中，作者将参与者分为“新手”（n=10，自评经验≤ 5） 和“专家”（n=19，自评经验>5）两组，并在交互作用显著的情况下（G3、G5、G7、G8、G9），对每种参与者的感受指标进行比较。

实验显示，两组对某人的评价没有显著差异，但专家们对OP的评价总是比新手差。G3“团队表现良好”（t（85）=3.551，p<0.001，效应大小d=0.752）的评价差异没有其他组（t（85）=5.068到5.855，p<0.0001，| d |>1.0）的大，但所有组都很显著。

cc博客网cc博客网(公众号：cc博客网)

cc博客网原创文章，未经授权禁止转载。详情见转载须知。