尽管机器学习在诸如围棋和Dota2等复杂游戏中取得了显著进步,但在这些领域掌握的技能并不一定能推广到真实场景中实际应用。越来越多的研究人员正在寻求建立一种机器智能,使其行为、学习和进化更像人类。
总部位于旧金山的OpenAI公司近日发表的一篇新论文提出,在儿童的“躲猫猫”游戏中训练模型,并在数以千万计的竞赛中使它们相互对抗,可导致模型自动发展出类似人类的行为,从而提高智力并改善后续行动的性能。
为什么选择躲猫猫?
该论文的第一作者、OpenAI研究员博文·贝克认为,躲猫猫被选为一个有趣的起点,主要是因为其规则很简单。所有游戏中的代理(Agent,也称智能体,指能自主活动的软件或硬件实体)都被模拟为球形对象,可执行3种类型的操作:导航、抓住并移动物体、锁定对象,且只能由该代理的队友解锁。
研究人员在模拟的、物理接地的环境中放置了1—3个“躲藏者”和1—3个“寻找者”,房间的边界是静态墙。环境中还包括不同尺寸的可移动箱子和可移动坡道。
研究人员使用强化学习来训练游戏代理,并遵循简单的躲猫猫规则:隐藏者成功躲过寻找者的追逐,或是寻找者成功找到躲藏者。
AI如何玩躲猫猫?
在经过数亿次的游戏后,AI代理经历了几个阶段的策略发展过程。
在初始阶段,躲藏者(蓝色)和寻找者(红色)通过在空间中移动而不操纵任何物体,制定了非常粗糙的躲避和追逐策略。
在经历2500万个回合后,游戏变得更加复杂。躲藏者学会了移动和锁定在环境中的箱子和路障,以在自己周围建立堡垒,这样寻找者就永远看不到它们了。不仅如此,他们还制定了协调战略,例如相互传递物体,以加快建造堡垒的进程。
然而,在游戏进行了7500万回合之后,寻找者发现了一个反策略。他们学会了在躲藏者的要塞旁边移动一个坡道,并用它来爬过墙壁。
作为回应,躲藏者学会了将坡道移入他们的房间,因此寻找者无法用它来越过墙壁。
随着环境变得越来越复杂,躲藏者学会了使用细长箱子建造更强大的“堡垒”。虽然OpenAI认为这将是最终的策略,但在游戏进行到3.8亿回合时,寻找者再次成功反击,找出一种方法来跳到一个盒子上并利用动力在它上面“冲浪”,越过墙壁进入堡垒。
在最后阶段,躲藏者学会在建造堡垒之前锁定所有箱子,以防止“箱子冲浪”。
研究人员将这些不同策略的演变称为“来自多智能体自动课程的紧急技能进展”。“自动课程”这一术语是今年由DeepMind创造的,适用于多个代理逐渐创造新任务以在特定环境中相互挑战。OpenAI的研究人员认为,这个过程在自然选择方面具有相似之处。
这项研究为啥很重要?
鉴于躲猫猫相对简单的目标,通过竞争性自我游戏训练的多个代理学会了使用工具,并采用人类相关技能来获胜。OpenAI认为,这为未来的智能代理开发和部署提供了一个有前景的研究方向。OpenAI正在开源其代码和环境,以鼓励在该领域进一步研究。
OpenAI的最终目标是构建能够在一个通用系统中执行多项任务的人工通用智能(AGI)。虽然可能会有不同的目标,但OpenAI正在大力投资由大规模计算能力实现的强化学习研究。OpenAI最近与微软签署了一份价值10亿美元的为期10年的计算合同。
躲猫猫游戏研究也激发了OpenAI,因为随着环境复杂性的增加,游戏中的代理不断地通过新策略自我适应新的挑战。贝克表示:“如果扩展像这样的流程,并将其放入更复杂的环境中,那么你可能会得到足够复杂的代理,以便为我们解决实际任务。”
挑战在哪里?
游戏代理有时会表现出令人惊讶的行为。例如,躲藏者试图完全逃离游戏区域,直到研究人员对此施加惩罚。
其他挑战可能归因于模拟环境设计中的物理缺陷。例如,躲藏者了解到,如果他们在拐角处向墙壁推动斜坡,斜坡将由于某种原因穿过墙壁然后消失。这种“作弊”说明了算法的安全性如何在机器学习中发挥关键作用。研究人员说:“在它发生之前,你永远不会知道。这类系统总是存在缺陷。我们所做的基本上是观察,以便我们可以看到这种奇怪的事情发生,然后试着修复物理缺陷。”
新化月报网报料热线:886 2395@qq.com
最近更新
- 全省法院实现诉讼费缴退费“线上办” 传统线下缴退费功能为何仍保留?2022-01-15
- 受疫情影响西安部分区县蔬菜滞销,亟需各方助力解决2022-01-15
- 恩施州6个重大交通运输项目集中开工!总投资32亿元2022-01-15
- 【15号用】3岗招聘若干人!45岁以下可报!五险一金+包食宿!2022-01-15
- 国际科技合作助推湖南优势领域提升国际竞争力2022-01-15
- 延安城区新增车位3100个 有效破解停车难2022-01-15
- 鸿星尔克入选2021年“诚信之星”!2022-01-15
- 菏泽农商行新兴支行开展包片行政村信贷产品推介活动2022-01-15
- 巩义市:党员“双报到”进社区 为民服务“不打烊”2022-01-15
- 广东珠海1月15日新报告1例本土确诊病例2022-01-15
- 大降价!阜阳即将启动2022-01-15
- 北京专报丨国家卫健委:天津疫情仍在持续发展,西安疫情进入收尾阶段2022-01-15
- 陕西对符合解除隔离条件人员 落实后续7天居家健康监测措施2022-01-15
- 信阳消防联合多部门 开展应急实战演练2022-01-15
- 城西区:“红色存折”让社区志愿服务更有温度2022-01-15
- 乘动车忘带身份证 可开电子证明2022-01-15
- 陕西组建2400人的省级医疗团队 支援本土确诊病例救治工作2022-01-15
- “德尔塔”与“奥密克戎”,救治有何不同?2022-01-15
- 手拉手共成长 长沙清水塘北辰小学孩子“牵手”湘西娃2022-01-15
- 抓整改 提标准 县住建局全力提升城市精细化管理水平2022-01-15
- 破防了!这家山东科技企业的暖心行动2022-01-15
- 临潼区:多措并举助力农业复工复产2022-01-15
- “这个嘉宾思路厉害”,市消保委委员张兆安做客《海波热线》特别节目2022-01-15
- 福州市副市长、公安局长王锡章带队到莆田市公安局考察调研疫情防控工作2022-01-15
- 合肥这家知名书店,新年再出发2022-01-15
- 崔同富到武定县开展春节走访慰问2022-01-15
- 北京:迎接冬奥会和冬残奥会长安街开始布置花坛2022-01-15
- 洋码头首家文旅免税直购店落地重庆十八梯景区2022-01-15
- 每户将分到70斤!更多物资送达……直击杭州西溪雅苑封控现场2022-01-15
- 本土确诊+104,其中河南+52,天津+39,珠海新增感染者均系奥密克戎2022-01-15