1. 项目概述当AI学会“搭把手”在机器人学和人工智能领域教会一个智能体Agent完成一项复杂任务比如让一个人形机器人Humanoid稳健行走已经是一个极具挑战性的前沿课题。那么如果我们想更进一步让两个甚至多个智能体学会协作共同完成一个需要物理交互的任务比如一个人扶起另一个摔倒的人或者两个人一起搬运一个重物这其中的难度会呈指数级增加。这正是“Learning to Assist: Physics-Grounded Human-Human Control via Multi-Agent Reinforcement Learning”这个项目标题所指向的核心问题。简单来说这个项目研究的是如何利用多智能体强化学习在物理仿真环境中训练出能够像真人一样进行物理协作的虚拟角色。这里的“协作”不是简单的并行任务而是需要精细的、基于物理的、动态的交互例如一方提供支撑另一方借力起身。这听起来像是科幻电影里的场景但正是当前AI研究试图攻克的难题。它对于开发更智能的协作机器人、创建更逼真的虚拟角色互动、乃至理解人类协作的本质都有着深远的意义。2. 核心思路与技术选型解析2.1 为什么是多智能体强化学习要解决物理协作问题首先得明确为什么选择多智能体强化学习作为核心框架。传统的单智能体强化学习是让一个智能体在一个环境中学习通过试错来最大化累积奖励。但当环境中有多个需要学习的智能体时情况就变得复杂了。环境非平稳性对于任何一个智能体而言其他智能体也在学习和改变策略这就使得整个环境是动态变化的、非平稳的。智能体A刚学会一个动作可能因为智能体B策略的改变而失效。信用分配问题当任务成功时功劳应该归功于哪个智能体当失败时又是谁的责任在紧密的物理协作中这个问题尤为突出。规模化挑战智能体数量增加状态和动作空间的维度会爆炸式增长直接套用单智能体方法会面临“维度灾难”。多智能体强化学习正是为了应对这些挑战而生。它研究多个智能体如何在共享环境中通过感知、决策和学习实现个体或集体的目标。对于“搭把手”这样的任务每个虚拟人就是一个智能体它们必须学会观察对方的状态姿态、速度、受力等并做出能促成有效协作的动作。2.2 物理仿真器不可或缺的“训练场”“Physics-Grounded”是这个项目的另一个基石。为什么必须依赖高保真的物理仿真器如MuJoCo, PyBullet, Isaac Gym安全与成本在现实世界中训练机器人进行高强度物理交互极易造成设备损坏和人员危险成本极高。仿真器提供了一个零风险、可无限重复的试验场。数据生成效率仿真可以极快地模拟物理过程在几分钟内生成相当于现实世界数天甚至数月的交互数据极大地加速了学习过程。状态完全可观测在仿真中我们可以轻易获取每一个关节的角度、角速度、接触力等精确的内部状态这些信息对于分析和训练至关重要。而在现实中精确测量这些数据非常困难。环境可控性我们可以随意调整重力、摩擦力、物体质量等参数来测试智能体策略的鲁棒性或者制造不同的训练场景。因此选择一个高效、稳定、物理精度足够的仿真器是项目成功的前提。目前NVIDIA的Isaac Gym因其对大规模并行RL训练的原生支持在这类需要大量样本的物理控制任务中越来越受欢迎。2.3 动作捕捉与运动跟踪学习的“教材”“Human-Human Control”暗示了项目的目标之一是生成类人的运动。那么智能体从哪里学习“人类”是如何协作的呢这里通常需要引入运动捕捉数据。研究者会录制真人执行目标协作任务如双人舞蹈、搀扶、搬运的动作数据。这些数据有两个关键作用提供参考运动作为强化学习奖励函数的一部分。例如设计一个“模仿奖励”鼓励智能体的姿态与真人数据相近从而确保生成的动作看起来自然、符合人体工学。初始化策略可以通过行为克隆等模仿学习方法用真人数据对策略网络进行预训练得到一个不错的初始策略从而大幅减少强化学习随机探索所需的时间避免智能体在训练初期做出大量毫无意义的怪异动作。Motion Tracking运动跟踪在这里可以理解为智能体在遵循物理规律的同时还需要尽可能地跟踪或模仿这些真人参考运动。这就在“物理正确”和“人类相似”之间建立了一个平衡点。3. 核心算法框架与实现细节3.1 网络架构设计从独立到协同在多智能体设置中网络架构决定了智能体如何观察世界和做出决策。常见的范式有完全集中式所有智能体的观察被拼接起来输入一个巨大的“中央大脑”网络由它输出所有智能体的动作。这种方法理论上最优但难以扩展到智能体数量多或通信受限的场景且策略不易分解。完全分布式每个智能体都有自己的策略网络只根据自身的局部观察做决策。这种方式去中心化、易于扩展但智能体之间缺乏协调很难完成复杂协作。集中式训练分布式执行这是目前的主流范式也是本项目最可能采用的方案。在训练时可以使用额外的全局信息如其他智能体的观察、全局状态来帮助学习更优的协作策略但在执行时每个智能体只依赖自身的局部观察来行动。这就兼顾了策略的协作性和实际部署的可行性。Actor-Attention-Critic for Multi-Agent Reinforcement Learning这个热词指向了一种更先进的网络架构。它的核心思想是在评论家网络中引入注意力机制。演员网络每个智能体独立根据自身观察输出动作。带注意力的评论家网络在训练时为了更准确地评估联合动作的价值评论家网络会接收所有智能体的观察和动作。注意力机制的作用是让当前智能体学会“关注”其他智能体中哪些信息对自己评估价值更重要。例如当智能体A试图扶起B时A的评论家网络应该更关注B的躯干姿态和稳定性而不是B的手部细微动作。注意力机制可以动态地加权其他智能体的信息从而学习到更有效的协作表征。3.2 奖励函数设计引导协作的艺术奖励函数是强化学习的“指挥棒”设计好坏直接决定智能体学到什么。在一个物理协作任务中奖励函数通常是多项的加权和任务奖励最核心的奖励。例如“成功扶起”可以定义为被扶者的骨盆高度超过某个阈值并保持稳定一段时间一旦达成给予一个大的稀疏奖励。对于搬运任务可能是物体被移动到了目标位置。模仿奖励鼓励动作像人。通常计算智能体关节角度、速度等与真人运动捕捉数据之间的误差如L2距离误差越小奖励越高。生存奖励鼓励智能体保持站立、不摔倒。可以包括保持头部高度、惩罚过大倾斜角、惩罚脚部滑动等。能量效率奖励惩罚过大的关节力矩或总能耗鼓励智能体用更省力、更优雅的方式运动。协作奖励这是体现多智能体特性的关键。例如接触奖励当协助者的手部与被协助者的身体特定部位如背部、手臂发生符合预期的接触时给予正向奖励。力协调奖励通过仿真器获取接触力奖励协助者施加的力是垂直向上的利于扶起惩罚侧向或向下的力。同步奖励鼓励两个智能体的运动在时间上同步比如迈步的节奏。注意奖励函数的调参是整个项目中最耗时、最需要经验的部分。各项奖励的权重需要精心调整否则智能体容易陷入局部最优。例如如果模仿奖励权重过高智能体可能会过于僵化地复现动作而无法适应动态物理交互如果生存奖励过强智能体可能会过于保守而拒绝进行必要的、可能导致短暂失衡的协助动作。3.3 训练流程与技巧一个典型的训练流程如下环境搭建在物理仿真器中创建两个完全相同的人形机器人模型并设置好它们之间的碰撞检测。数据预处理获取并处理真人双人协作的运动捕捉数据将其转换为仿真器所需的格式关节旋转序列。策略初始化使用行为克隆用单人站立或简单步态的参考数据对两个智能体的策略网络进行预训练让它们至少能站稳。分层课程学习直接从“扶起摔倒的人”这样的复杂任务开始训练几乎注定失败。需要设计课程阶段一训练被协助者Agent B在轻微扰动下自己恢复站立。训练协助者Agent A在不接触B的情况下移动到B身边一个合适的位置。阶段二引入简单的接触。固定B处于半摔倒姿态训练A用手接触B的指定部位如背部并施加一个微小的向上力。奖励成功的接触和向上的力。阶段三让B从一个随机的摔倒姿态开始训练A完成从移动到接触再到施力协助的全过程。逐渐增加B的初始摔倒难度。阶段四引入更复杂的扰动或在任务中途增加干扰提高策略的鲁棒性。并行采样利用现代RL框架如Ray, RLLib和仿真器如Isaac Gym的并行能力同时运行成千上万个环境实例极大地提高数据采集效率。模型保存与评估定期保存检查点并在一组独立的测试场景中评估策略的成功率、自然度等指标。4. 实操难点与问题排查实录4.1 训练不稳定的常见原因即使框架设计正确训练过程也常常像坐过山车。以下是我在实际复现类似项目时遇到的典型问题问题一智能体“装死”或做出高频抖动动作。排查这通常是奖励函数设计不当或探索噪声设置有问题。首先检查“生存奖励”是否过强导致智能体认为任何移动都可能摔倒不如不动。其次检查动作输出的平滑性在策略网络输出层后加入低通滤波器或对动作变化率进行惩罚。解决调整奖励权重降低生存奖励增加任务奖励的稀疏奖励值。在动作空间中加入对加速度的惩罚。也可以尝试使用PPO等具有信任域约束的算法它们比DDPG等算法通常更稳定。问题二协作失败一个智能体“帮倒忙”。排查观察接触力传感器数据。很可能协助者施加的力方向错误或者接触点不对。这源于协作奖励设计不够精确。解决细化协作奖励。不仅奖励接触更要奖励“正确位置”的接触和“正确方向”的力。可以设计一个“目标接触区域”只有接触发生在这个区域内才给奖励。对于力的方向可以计算施加力与理想协助方向如垂直向上的余弦相似度作为奖励。问题三策略无法泛化轻微变化就失败。排查测试时稍微改变被协助者的初始摔倒角度策略就失效。这说明训练数据分布太窄策略过拟合到了课程中的特定场景。解决在课程学习中增加更多的随机性。不仅随机化初始状态还可以随机化环境参数如地面摩擦力、智能体的部分肢体质量模拟受伤或负重。使用域随机化技术让策略在训练时见识足够多的“变体”从而学到更本质的物理协作规律提高在未见过的测试场景中的鲁棒性。4.2 仿真与现实的差异处理在仿真中训练完美的策略部署到真实机器人上依然可能失败这就是“仿真到现实的鸿沟”。对于物理交互任务这个问题更严重因为接触动力学模型极其不精确。动力学参数不确定性真实的关节摩擦力、减速比、连杆质量属性与仿真模型有差异。接触建模误差仿真中的接触力计算是近似算法与真实复杂的材料接触不同。传感器噪声与延迟真实世界有传感器噪声和执行器延迟而仿真中是理想的。应对策略系统辨识尽可能精确地测量真实机器人的动力学参数并校准仿真模型。域随机化如上所述在训练时随机化仿真中的物理参数摩擦系数、质量、阻尼、电机增益等让策略学会在一个“模糊”的物理模型中工作从而适应真实世界的不确定性。延迟建模在仿真中主动加入与真实系统类似的动作延迟和观察延迟让策略学会预测。在线自适应在真实机器人上部署后运行一个轻量级的在线学习过程微调策略以适应具体的硬件。5. 项目延伸与应用场景展望成功实现“Learning to Assist”不仅是一个算法演示它打开了一系列激动人心的应用大门。物理人机协作这是最直接的应用。未来的协作机器人Cobot不仅能在流水线上完成固定任务还能动态地理解人的意图和状态提供及时的物理辅助。例如在工厂中辅助工人搬运重物在康复中心帮助患者进行步态训练在养老院轻柔地扶起跌倒的老人。影视与游戏动画生成为电影和游戏自动生成逼真的双人或多人打斗、舞蹈、体育比赛动画。动画师只需提供高级意图如“角色A将角色B过肩摔”AI就能自动生成符合物理规律的、细节丰富的动画序列大幅降低制作成本。社交机器人研究通过分析AI智能体在协作中学到的策略我们可以反推人类物理协作中的隐含规则和沟通机制如通过微小的力进行意图传递从而加深对人类社会性交互的理解。多机器人系统将规模从两个扩展到多个可以研究更复杂的群体协作任务如多人协同搬运大型不规则物体、群体灾难救援等。这个项目的魅力在于它站在了多个前沿领域的交叉点强化学习、机器人学、计算机图形学、生物力学。每一次训练中看着两个虚拟小人从最初的笨拙抽搐到逐渐学会协调用力、成功完成协助都仿佛目睹了一种全新智能形式的萌芽。它不仅仅是让代码控制模型更是让算法去理解和驾驭复杂的物理与社会交互的基本原理。
1. 项目概述当AI学会“搭把手”在机器人学和人工智能领域教会一个智能体Agent完成一项复杂任务比如让一个人形机器人Humanoid稳健行走已经是一个极具挑战性的前沿课题。那么如果我们想更进一步让两个甚至多个智能体学会协作共同完成一个需要物理交互的任务比如一个人扶起另一个摔倒的人或者两个人一起搬运一个重物这其中的难度会呈指数级增加。这正是“Learning to Assist: Physics-Grounded Human-Human Control via Multi-Agent Reinforcement Learning”这个项目标题所指向的核心问题。简单来说这个项目研究的是如何利用多智能体强化学习在物理仿真环境中训练出能够像真人一样进行物理协作的虚拟角色。这里的“协作”不是简单的并行任务而是需要精细的、基于物理的、动态的交互例如一方提供支撑另一方借力起身。这听起来像是科幻电影里的场景但正是当前AI研究试图攻克的难题。它对于开发更智能的协作机器人、创建更逼真的虚拟角色互动、乃至理解人类协作的本质都有着深远的意义。2. 核心思路与技术选型解析2.1 为什么是多智能体强化学习要解决物理协作问题首先得明确为什么选择多智能体强化学习作为核心框架。传统的单智能体强化学习是让一个智能体在一个环境中学习通过试错来最大化累积奖励。但当环境中有多个需要学习的智能体时情况就变得复杂了。环境非平稳性对于任何一个智能体而言其他智能体也在学习和改变策略这就使得整个环境是动态变化的、非平稳的。智能体A刚学会一个动作可能因为智能体B策略的改变而失效。信用分配问题当任务成功时功劳应该归功于哪个智能体当失败时又是谁的责任在紧密的物理协作中这个问题尤为突出。规模化挑战智能体数量增加状态和动作空间的维度会爆炸式增长直接套用单智能体方法会面临“维度灾难”。多智能体强化学习正是为了应对这些挑战而生。它研究多个智能体如何在共享环境中通过感知、决策和学习实现个体或集体的目标。对于“搭把手”这样的任务每个虚拟人就是一个智能体它们必须学会观察对方的状态姿态、速度、受力等并做出能促成有效协作的动作。2.2 物理仿真器不可或缺的“训练场”“Physics-Grounded”是这个项目的另一个基石。为什么必须依赖高保真的物理仿真器如MuJoCo, PyBullet, Isaac Gym安全与成本在现实世界中训练机器人进行高强度物理交互极易造成设备损坏和人员危险成本极高。仿真器提供了一个零风险、可无限重复的试验场。数据生成效率仿真可以极快地模拟物理过程在几分钟内生成相当于现实世界数天甚至数月的交互数据极大地加速了学习过程。状态完全可观测在仿真中我们可以轻易获取每一个关节的角度、角速度、接触力等精确的内部状态这些信息对于分析和训练至关重要。而在现实中精确测量这些数据非常困难。环境可控性我们可以随意调整重力、摩擦力、物体质量等参数来测试智能体策略的鲁棒性或者制造不同的训练场景。因此选择一个高效、稳定、物理精度足够的仿真器是项目成功的前提。目前NVIDIA的Isaac Gym因其对大规模并行RL训练的原生支持在这类需要大量样本的物理控制任务中越来越受欢迎。2.3 动作捕捉与运动跟踪学习的“教材”“Human-Human Control”暗示了项目的目标之一是生成类人的运动。那么智能体从哪里学习“人类”是如何协作的呢这里通常需要引入运动捕捉数据。研究者会录制真人执行目标协作任务如双人舞蹈、搀扶、搬运的动作数据。这些数据有两个关键作用提供参考运动作为强化学习奖励函数的一部分。例如设计一个“模仿奖励”鼓励智能体的姿态与真人数据相近从而确保生成的动作看起来自然、符合人体工学。初始化策略可以通过行为克隆等模仿学习方法用真人数据对策略网络进行预训练得到一个不错的初始策略从而大幅减少强化学习随机探索所需的时间避免智能体在训练初期做出大量毫无意义的怪异动作。Motion Tracking运动跟踪在这里可以理解为智能体在遵循物理规律的同时还需要尽可能地跟踪或模仿这些真人参考运动。这就在“物理正确”和“人类相似”之间建立了一个平衡点。3. 核心算法框架与实现细节3.1 网络架构设计从独立到协同在多智能体设置中网络架构决定了智能体如何观察世界和做出决策。常见的范式有完全集中式所有智能体的观察被拼接起来输入一个巨大的“中央大脑”网络由它输出所有智能体的动作。这种方法理论上最优但难以扩展到智能体数量多或通信受限的场景且策略不易分解。完全分布式每个智能体都有自己的策略网络只根据自身的局部观察做决策。这种方式去中心化、易于扩展但智能体之间缺乏协调很难完成复杂协作。集中式训练分布式执行这是目前的主流范式也是本项目最可能采用的方案。在训练时可以使用额外的全局信息如其他智能体的观察、全局状态来帮助学习更优的协作策略但在执行时每个智能体只依赖自身的局部观察来行动。这就兼顾了策略的协作性和实际部署的可行性。Actor-Attention-Critic for Multi-Agent Reinforcement Learning这个热词指向了一种更先进的网络架构。它的核心思想是在评论家网络中引入注意力机制。演员网络每个智能体独立根据自身观察输出动作。带注意力的评论家网络在训练时为了更准确地评估联合动作的价值评论家网络会接收所有智能体的观察和动作。注意力机制的作用是让当前智能体学会“关注”其他智能体中哪些信息对自己评估价值更重要。例如当智能体A试图扶起B时A的评论家网络应该更关注B的躯干姿态和稳定性而不是B的手部细微动作。注意力机制可以动态地加权其他智能体的信息从而学习到更有效的协作表征。3.2 奖励函数设计引导协作的艺术奖励函数是强化学习的“指挥棒”设计好坏直接决定智能体学到什么。在一个物理协作任务中奖励函数通常是多项的加权和任务奖励最核心的奖励。例如“成功扶起”可以定义为被扶者的骨盆高度超过某个阈值并保持稳定一段时间一旦达成给予一个大的稀疏奖励。对于搬运任务可能是物体被移动到了目标位置。模仿奖励鼓励动作像人。通常计算智能体关节角度、速度等与真人运动捕捉数据之间的误差如L2距离误差越小奖励越高。生存奖励鼓励智能体保持站立、不摔倒。可以包括保持头部高度、惩罚过大倾斜角、惩罚脚部滑动等。能量效率奖励惩罚过大的关节力矩或总能耗鼓励智能体用更省力、更优雅的方式运动。协作奖励这是体现多智能体特性的关键。例如接触奖励当协助者的手部与被协助者的身体特定部位如背部、手臂发生符合预期的接触时给予正向奖励。力协调奖励通过仿真器获取接触力奖励协助者施加的力是垂直向上的利于扶起惩罚侧向或向下的力。同步奖励鼓励两个智能体的运动在时间上同步比如迈步的节奏。注意奖励函数的调参是整个项目中最耗时、最需要经验的部分。各项奖励的权重需要精心调整否则智能体容易陷入局部最优。例如如果模仿奖励权重过高智能体可能会过于僵化地复现动作而无法适应动态物理交互如果生存奖励过强智能体可能会过于保守而拒绝进行必要的、可能导致短暂失衡的协助动作。3.3 训练流程与技巧一个典型的训练流程如下环境搭建在物理仿真器中创建两个完全相同的人形机器人模型并设置好它们之间的碰撞检测。数据预处理获取并处理真人双人协作的运动捕捉数据将其转换为仿真器所需的格式关节旋转序列。策略初始化使用行为克隆用单人站立或简单步态的参考数据对两个智能体的策略网络进行预训练让它们至少能站稳。分层课程学习直接从“扶起摔倒的人”这样的复杂任务开始训练几乎注定失败。需要设计课程阶段一训练被协助者Agent B在轻微扰动下自己恢复站立。训练协助者Agent A在不接触B的情况下移动到B身边一个合适的位置。阶段二引入简单的接触。固定B处于半摔倒姿态训练A用手接触B的指定部位如背部并施加一个微小的向上力。奖励成功的接触和向上的力。阶段三让B从一个随机的摔倒姿态开始训练A完成从移动到接触再到施力协助的全过程。逐渐增加B的初始摔倒难度。阶段四引入更复杂的扰动或在任务中途增加干扰提高策略的鲁棒性。并行采样利用现代RL框架如Ray, RLLib和仿真器如Isaac Gym的并行能力同时运行成千上万个环境实例极大地提高数据采集效率。模型保存与评估定期保存检查点并在一组独立的测试场景中评估策略的成功率、自然度等指标。4. 实操难点与问题排查实录4.1 训练不稳定的常见原因即使框架设计正确训练过程也常常像坐过山车。以下是我在实际复现类似项目时遇到的典型问题问题一智能体“装死”或做出高频抖动动作。排查这通常是奖励函数设计不当或探索噪声设置有问题。首先检查“生存奖励”是否过强导致智能体认为任何移动都可能摔倒不如不动。其次检查动作输出的平滑性在策略网络输出层后加入低通滤波器或对动作变化率进行惩罚。解决调整奖励权重降低生存奖励增加任务奖励的稀疏奖励值。在动作空间中加入对加速度的惩罚。也可以尝试使用PPO等具有信任域约束的算法它们比DDPG等算法通常更稳定。问题二协作失败一个智能体“帮倒忙”。排查观察接触力传感器数据。很可能协助者施加的力方向错误或者接触点不对。这源于协作奖励设计不够精确。解决细化协作奖励。不仅奖励接触更要奖励“正确位置”的接触和“正确方向”的力。可以设计一个“目标接触区域”只有接触发生在这个区域内才给奖励。对于力的方向可以计算施加力与理想协助方向如垂直向上的余弦相似度作为奖励。问题三策略无法泛化轻微变化就失败。排查测试时稍微改变被协助者的初始摔倒角度策略就失效。这说明训练数据分布太窄策略过拟合到了课程中的特定场景。解决在课程学习中增加更多的随机性。不仅随机化初始状态还可以随机化环境参数如地面摩擦力、智能体的部分肢体质量模拟受伤或负重。使用域随机化技术让策略在训练时见识足够多的“变体”从而学到更本质的物理协作规律提高在未见过的测试场景中的鲁棒性。4.2 仿真与现实的差异处理在仿真中训练完美的策略部署到真实机器人上依然可能失败这就是“仿真到现实的鸿沟”。对于物理交互任务这个问题更严重因为接触动力学模型极其不精确。动力学参数不确定性真实的关节摩擦力、减速比、连杆质量属性与仿真模型有差异。接触建模误差仿真中的接触力计算是近似算法与真实复杂的材料接触不同。传感器噪声与延迟真实世界有传感器噪声和执行器延迟而仿真中是理想的。应对策略系统辨识尽可能精确地测量真实机器人的动力学参数并校准仿真模型。域随机化如上所述在训练时随机化仿真中的物理参数摩擦系数、质量、阻尼、电机增益等让策略学会在一个“模糊”的物理模型中工作从而适应真实世界的不确定性。延迟建模在仿真中主动加入与真实系统类似的动作延迟和观察延迟让策略学会预测。在线自适应在真实机器人上部署后运行一个轻量级的在线学习过程微调策略以适应具体的硬件。5. 项目延伸与应用场景展望成功实现“Learning to Assist”不仅是一个算法演示它打开了一系列激动人心的应用大门。物理人机协作这是最直接的应用。未来的协作机器人Cobot不仅能在流水线上完成固定任务还能动态地理解人的意图和状态提供及时的物理辅助。例如在工厂中辅助工人搬运重物在康复中心帮助患者进行步态训练在养老院轻柔地扶起跌倒的老人。影视与游戏动画生成为电影和游戏自动生成逼真的双人或多人打斗、舞蹈、体育比赛动画。动画师只需提供高级意图如“角色A将角色B过肩摔”AI就能自动生成符合物理规律的、细节丰富的动画序列大幅降低制作成本。社交机器人研究通过分析AI智能体在协作中学到的策略我们可以反推人类物理协作中的隐含规则和沟通机制如通过微小的力进行意图传递从而加深对人类社会性交互的理解。多机器人系统将规模从两个扩展到多个可以研究更复杂的群体协作任务如多人协同搬运大型不规则物体、群体灾难救援等。这个项目的魅力在于它站在了多个前沿领域的交叉点强化学习、机器人学、计算机图形学、生物力学。每一次训练中看着两个虚拟小人从最初的笨拙抽搐到逐渐学会协调用力、成功完成协助都仿佛目睹了一种全新智能形式的萌芽。它不仅仅是让代码控制模型更是让算法去理解和驾驭复杂的物理与社会交互的基本原理。
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
