AI战胜人类三冠王，索尼把赛车游戏发上Nature封面 鱼羊 博雯（本文转载自公众号”量子位“） 万万没想到，索尼的3A游戏大作居然登上了Nature封面： 把游戏宣发做到了顶级学术期刊封面，我服。 不过这篇文章可不是加钱打广告，而是实实在在的技术论文—— 一只来自索尼的AI，名叫GT Sophy。 且看这位AI赛车手的比赛画面，先是一个机智变道绕开对手的卡位： 随后在弯道胶着时大秀操作，以190km/h的速度一举反超，将对手甩到身后。 可别觉得AI在赛车游戏里战胜人类没啥特别的，要知道，这样的比赛是在GT赛车中进行的——这是一款高度拟真的赛车游戏，也就是说，选手们几乎就是在真·开车。 图右为GT世界冠军Takuma Miyazono而GT Sophy也是世界上首个在此类需要持续判断和高速反应的赛车游戏中，战胜人类冠军的AI。 斯坦福汽车研究中心联合主任Chris Gerdes教授就对此表示： GT Sophy在比赛中如此熟练地超越人类驾驶员，这对于人工智能而言是一项里程碑式的进步。 值得一提的是，最新一代GT系列游戏Gran Turismo 7将在3月4日正式登陆PS4/PS5平台。 虽然玩家们不太可能在第一时间对战GT Sophy，但索尼已经表示，他们正在努力将这只强大的AI整合到GT赛车中。 并不简单的赛车AIAI战胜人类，在很多人听来已经不够新鲜。 但与过去在国际象棋、围棋等棋类游戏，或星际争霸、Dota等动作游戏中一展拳脚的AI相比，赛车那看似“先到终点就赢”的简单目标，实际上要复杂得多： 比如刹车，就是一种不断探索汽车轮胎与道路之间摩擦力的“物理战”。 转弯时刹车太早，可能就无法顺利过弯，还会损失车速； 刹车太晚，又难以保持想要的路线轨迹，甚至导致车体旋转。 整个比赛过程中，赛车手必须时刻保持对周围环境的判断，并能根据路况作出及时的反应。 同时，驾驶技巧、针对不同对手的战术策略、甚至是遵守规则的赛车精神和礼仪……都是一个赛车AI所必备的素养。 为了达成这些目标，索尼将AI的训练场设在了自家的GT赛车系列的游戏中。 这是一款PS平台独占游戏，全名Gran Turismo，是一个汽车行业中的真实名词，意为“能够长距离行驶的高性能车”。这款游戏主打的就是真实驾驶感，甚至可以通过一套带力反馈的方向盘外设体会到横向g值、前轮滑移率、车重、车辆的调教特性等各种细腻的路感反馈。在GT游戏中，研究这种通常使用10到20台PS游戏机、同等数量的计算实例、一台异步更新神经网络的GPU，从头开始训练这个叫做GT Sophy的AI。 训练主要针对两个连续值的维度：转向和速度。 同时，为了把GT Sophy和人类拉到同一起跑线上，研究者们还调慢了它的操作速度： 对游戏的交互频率为10赫兹（人类标准是60赫兹），反应时间则分别为100毫秒、200毫秒、250毫秒。 在一张完整的地图中，研究者以6秒为单位，将智能体所跑的赛道量化为一段一段的“静态地图段”，并将每一段赛道的左右边缘和中心线编码为60个等距的三维点： 训练场准备好了，现在就是让GT Sophy真正成为一名会转弯、会思考的赛车手。 行为者- 评价者机制索尼使用了一种新的深度学习算法，也叫做量化回归的行为者-评价者（QR-SAC）方法。 AI智能体会被扔到一个没有指令的环境中，并根据评价者（也就是价值函数）的评估来选择行动，并根据完成目标的结果而获得奖励或惩罚。 比如，智能体会因为保持高速前进而获奖励，也会因为出界、撞墙或失去牵引力受到惩罚。 这种奖惩机制使智能体迅速得到积极的反馈，慢慢开始熟悉在赛道上的行为。 事实上，GT Sophy只用了几个小时就学会了在赛道上行驶，并很快就在Maggiore赛道上超越了17700名玩家： 但这种单纯的速度，或者说赛道完成进度上的奖励并不足以激励智能体赢得比赛。 因为如果对手速度足够快，智能体就完全可以通过跟随并学习对手的“偷懒”的方式积累大量奖励，最终也能完成目标。 于是，研究者们增加了“超车奖励”，并且，相对于对手的距离的改变也会与奖励积分成比例。 同时，赛车的碰撞上也有奖惩机制，研究人员设置了一种较为保守的奖励： 在确保智能体能以足够强悍的驾驶风格赢得胜利的同时，也不至于会粗暴地将其他赛车赶出道路，而遭受真正的赛车规则的惩罚。 最终，GT Sophy在GT赛车比赛中胜过了2021年TGR GT杯冠军、2020年国家杯世界冠军和2021年亚军、2018年国家杯亚洲/大洋洲冠军等多位世界顶级赛车手。 在比赛中，GT Sophy在三条赛道上都取得了第一名。 而在比赛中，它能够执行几种类型的转弯，有效地利用漂移，扰乱后面车辆，拦截对手并执行其他紧急操纵。 不过，研究者也提到，GT Sophy在战略决策方面还存在着一些改进的空间：有时会在同一条跑道上留出足够的空间，让对手有机可乘。 索尼要用它开发自动驾驶看到这里，你觉得GT Sophy能力如何？ 反正几位世界级选手们是服气了。 在GT赛车世界级赛事上斩获三冠的宫园拓真（Takuma Miyazono）表示： Sophy的速度非常快，单圈时间胜过了此前对最佳车手的预期。 ——在其中一场比赛中，GT Sophy Rouge以5.8秒的优势战胜了第二名山中智明（2021年TGR GT杯冠军），最快圈速为1：54.373，比山中快了2秒多。 而GT Sophy的能力显然不仅仅能在游戏中大杀四方。 斯坦福汽车研究中心联合主任Chris Gerdes教授就指出，GT Sophy背后的AI技术，可以帮助开发自动驾驶汽车： GT Sophy在赛道上的成功表明，有朝一日，神经网络在自动驾驶汽车软件中的作用可能比现在更大。 目前，神经网络算法在自动驾驶汽车软件中主要负责跟踪道路标记、感知障碍，控制软件则仍依赖于人为设定的规则。 丰田研究所高级经理Avinash Balachandran也表示，“在赛车中应用机器学习和自主控制令人兴奋”。 还有不少网友认为，这一AI或许与索尼新成立的电动汽车公司有关，或许再过几年，这个AI就能在其自动驾驶技术中看到了。 当然对于索尼玩家来说，最期待的是：下个月上市的GT7能否加入这个最强AI？ 好消息是GT7仍会登陆上一代游戏机PS4，没买到PS5的玩家也能尝尝鲜了。 经授权转载自公众号“量子位”，内容不代表本公号观点。 参考文献： ［1］https://www.nature.com/articles/s41586-021-04357-7［2］https://sonyai.github.io/gt_sophy_public/ 推荐阅读 胡璇、吴羽：《一文读懂游戏引擎：核心问题、适用场景与下一个十年》 陈孟：《当游戏技术跨界破壁，影视与游戏的边界会消失吗？》 ??点个“在看”分享洞见