这项由代尔夫特理工大学认知机器人学系的Jack Zeng、Andreu Matoses Gimenez和Sihao Sun等研究人员领导的研究，发表于2025年首尔机器人学习会议（CoRL 2025），研究论文的完整信息可以通过arXiv:2508.01522v1访问获得。想象一下，几台小型无人机需要合作抬起一个重物，就像蚂蚁搬家时的情景。传统的做法是让这些无人机相互"对话"，时刻汇报自己的位置和状态，然后由一个"指挥中心"统一协调大家的行动。但是，这种方法就像管理一个需要时刻汇报工作进度的团队一样，不仅沟通成本高，而且一旦指挥中心出问题，整个团队就会陷入混乱。

　　代尔夫特理工大学的研究团队提出了一个全新的解决方案。他们让每台无人机都能独立思考和行动，无需相互通信，也不需要中央指挥，仅仅通过观察被搬运物体的姿态变化就能实现完美配合。这就好比一群有默契的舞伴，他们不需要口头交流，只需要感受彼此的节拍和动作，就能完成一支优美的舞蹈。这项研究首次在真实世界中实现了完全分布式的空中搬运任务，让三台甚至四台无人机能够精确控制悬挂重物的位置和姿态。

　　研究团队采用了多智能体强化学习技术来训练这些无人机。简单来说，就是让无人机在虚拟环境中反复练习搬运任务，通过无数次的尝试和错误来学会如何配合。每台无人机只需要知道三件事情：自己的状态、被搬运物体的当前姿态，以及目标姿态。通过这些基本信息，无人机就能学会如何调整自己的动作来帮助整个团队完成任务。这种方法的巧妙之处在于，无人机之间的配合是通过被搬运物体的状态变化来间接实现的，就像通过观察绳子的张力变化来判断其他人的用力情况。

　　更令人印象深刻的是，这套系统在面对各种突发情况时表现出了惊人的鲁棒性。当研究人员故意给被搬运的物体增加额外重量时，系统依然能够稳定工作。甚至当其中一台无人机完全失效坠落时，剩余的无人机仍能继续完成搬运任务，这就像一支篮球队在少了一个队员的情况下仍能继续比赛一样。这种适应性对于实际应用来说极其重要，因为现实世界中总是充满各种意外情况。

　　一、传统方法的困境与创新突破

　　在理解这项研究的价值之前，我们需要先了解传统的多无人机协作搬运系统是如何工作的。传统方法就像一个严格等级制的公司组织，有一个总经理（中央控制器）需要掌握每个员工（无人机）的详细工作状态，然后为每个人分配具体任务。这种方法虽然能够实现精确控制，但面临几个严重问题。

　　首先是通信负担问题。每台无人机都需要实时向中央控制器汇报自己的位置、速度、姿态等信息，同时还要接收控制指令。这就像一个大公司里所有员工都要不停地给老板发邮件汇报工作进度，通信系统很快就会过载。随着无人机数量的增加，这种通信负担会呈指数级增长，最终使得系统无法实时响应。

　　其次是单点故障风险。当中央控制器出现问题时，整个系统就会瘫痪，就像公司老板生病了，所有员工都不知道该干什么。在实际应用中，这种脆弱性是难以接受的，特别是在执行重要任务时。

　　计算复杂度也是一个大问题。中央控制器需要处理所有无人机的状态信息，并计算出最优的控制策略。这个计算过程非常复杂，特别是当需要考虑无人机之间的动力学耦合关系时。研究表明，传统的非线性模型预测控制方法在处理3台无人机时需要78毫秒，而处理5台和6台无人机时分别需要174毫秒和267毫秒，计算时间随着无人机数量呈指数增长。

　　代尔夫特理工大学的研究团队认识到，解决这些问题的关键在于让每台无人机都具备独立决策能力，而不是依赖中央控制。他们的核心洞察是：在协作搬运任务中，被搬运物体的状态实际上包含了所有无人机协作所需的信息。当一台无人机向某个方向用力时，物体的姿态会发生相应变化，其他无人机通过观察这种变化就能知道如何调整自己的动作。

　　这种方法就像一群人抬沙发上楼梯。他们不需要互相喊话交流，只需要感受沙发的重量分布和倾斜角度，就能自然地调整自己的用力方向和大小。当沙发向某一边倾斜时，那边的人会自然地多用些力，而其他人则会相应调整。通过这种隐性的沟通方式，整个团队能够实现高度协调的动作。

　　研究团队将这种理念转化为一个技术解决方案：每台无人机只需要观察被搬运物体的当前姿态、目标姿态以及自己的状态，就能做出合适的决策。这样，整个系统就从一个集中式的"公司"变成了一个分布式的"合作社"，每个成员都能独立思考和行动，但又能通过共同的目标实现协调。

　　二、多智能体强化学习的魔法

　　要让无人机学会这种默契配合，研究团队采用了多智能体强化学习这个强大工具。这种技术就像训练一支球队，让队员们通过无数次的练习和比赛来培养默契。与传统的编程方法不同，强化学习让机器通过试错来学习，这更接近人类的学习方式。

　　在训练过程中，研究团队使用了"集中训练，分散执行"的策略。这就像训练一支足球队时，教练可以从场边观察整个球场的情况，给出全局指导，但在正式比赛中，每个球员只能根据自己看到的局部情况做决策。在训练阶段，系统有一个"全知"的评价者，它能看到所有无人机和物体的状态，用来评估每个动作的好坏。但在实际执行时，每台无人机只根据自己能观察到的信息来行动。

　　具体来说，每台无人机的"视野"包括四个方面：被搬运物体的当前位置和姿态、目标位置和姿态、自己的状态信息，以及一个身份标识符。这个身份标识符很重要，它让每台无人机知道自己在团队中的角色，就像足球队中的前锋、中场和后卫有不同的职责一样。

　　训练过程使用了多智能体近端策略优化算法。这个名字听起来复杂，但原理其实很直观。它就像一个渐进式的学习过程，每次只做小幅度的改进，避免激进的变化导致性能大幅下降。这种方法特别适合多智能体系统，因为一个智能体的行为改变会影响其他智能体，需要平衡的渐进式优化。

　　为了加速学习过程，研究团队还使用了参数共享技术。这意味着所有无人机使用相同的"大脑"（神经网络），但通过身份标识符来区分自己的角色。这就像培训一批新员工时使用相同的培训教材，但每个人根据自己的岗位来理解和应用这些知识。参数共享不仅减少了需要学习的参数数量，还提高了学习效率，因为每台无人机的经验都能为其他无人机所用。

　　训练过程中的奖励设计也很巧妙。系统会根据多个因素来评估无人机的表现：物体位置跟踪的准确性、姿态控制的精度、动作的平滑性、能量效率等。其中有一个特别有趣的奖励项是"下洗气流"奖励，鼓励无人机将螺旋桨产生的气流吹向远离物体的方向，避免气流扰动影响搬运稳定性。这种细节考虑体现了研究团队对实际应用场景的深度理解。

　　训练是在NVIDIA Isaac Lab仿真环境中进行的，使用消费级RTX 3090显卡，总共花费17小时完成训练。这个效率还是相当不错的，特别考虑到系统的复杂性。训练完成后，学到的策略能够直接部署到真实的无人机上，无需额外的微调，这种"零次迁移"能力证明了训练的有效性。

　　三、动作空间设计的关键创新

　　在这项研究中，如何设计无人机的动作输出是一个关键问题。这就像选择用什么样的"语言"来让无人机表达自己的意图。传统的方法通常有几种选择：直接控制螺旋桨转速（就像直接控制肌肉收缩）、控制期望的位置或速度（就像告诉手臂"移动到这里"），或者控制推力和角速度（就像控制力量大小和转动快慢）。

　　研究团队经过仔细分析和实验，选择了一个巧妙的中间方案：控制期望的线性加速度和机体角速度。这种设计就像开车时，你不直接控制引擎的每个气缸，也不只是说"我要到那里"，而是控制"我要这样加速"和"我要这样转弯"。这种中等抽象层次的控制既保留了足够的灵活性，又提供了适当的稳定性。

　　为什么这种选择如此重要？首先，直接控制螺旋桨转速虽然提供了最大的控制精度，但在复杂的搬运任务中，电缆张力和空气动力学扰动会产生不可预测的外力，这些外力很难通过简单的螺旋桨控制来补偿。这就像在颠簸的船上保持平衡，仅仅控制肌肉收缩是不够的，你需要一个更高层次的平衡系统。

　　另一方面，控制期望位置或速度虽然更稳定，但响应速度较慢，在需要快速调整的协作任务中可能跟不上节拍。这就像跳双人舞时，如果你只能说"我想移动到那个位置"，而不能快速调整动作，就很难与舞伴保持同步。

　　研究团队选择的加速度和角速度控制方案恰好在这两个极端之间找到了平衡点。加速度控制提供了快速响应能力，而角速度控制则确保了姿态的灵活调整。更重要的是，这种设计与底层的增量式非线性动态逆控制器完美配合。

　　底层控制器的作用就像一个经验丰富的司机，它能自动处理很多复杂的细节。当上层控制给出"我要向前加速"的指令时，底层控制器会自动考虑当前的风力、电缆拉力、机体倾斜角度等因素，调整螺旋桨转速来实现这个加速度目标。这种分层控制结构大大简化了学习任务，让上层的AI策略可以专注于协作逻辑，而不需要处理低层的物理细节。

　　实验验证了这种设计选择的正确性。研究团队比较了四种不同的动作空间设计：速度控制、加速度控制、他们提出的加速度加角速度控制，以及传统的推力加角速度控制。结果显示，虽然纯速度控制在某些指标上表现最好，但会产生危险的振荡现象，在实际应用中是不可接受的。而他们提出的方案虽然在某些数值指标上略逊一筹，但表现最为稳定，这在需要安全可靠的实际应用中更为重要。

　　这种动作空间设计还带来了另一个重要优势：优秀的仿真到现实的迁移能力。由于底层控制器能够自动补偿各种建模误差和外界扰动，上层学到的策略在从仿真环境转移到真实世界时几乎不需要调整。这就像学会了开车的基本原理后，换到不同品牌的汽车上也能很快适应，因为基本的"加速、转弯、刹车"逻辑是通用的。

　　四、观察空间的精妙设计

　　在多智能体系统中，每个智能体能观察到什么信息对最终性能有决定性影响。这就像组织一个团队项目，每个成员需要知道多少信息才能做出正确决策，既不能信息不足导致决策失误，也不能信息过载影响效率。研究团队在这个问题上进行了深入的探索和巧妙的设计。

　　传统的集中式方法让每个无人机都能看到"全景图"，包括所有其他无人机的状态、整个系统的历史信息等。这就像让每个员工都参与所有会议，了解公司的每个细节。虽然这样能确保决策的全面性，但也带来了信息过载和通信负担。更重要的是，这种方法在面对意外情况时很脆弱，比如当某台无人机失效时，其他无人机因为依赖这些信息而无法适应。

　　研究团队采用了一种极简主义的观察设计。每台无人机只需要知道四类信息：被搬运物体的当前姿态、目标姿态、自己的状态，以及自己的身份标识。这种设计的核心洞察是，在协作搬运任务中，物体的状态实际上编码了所有无人机协作所需的信息。当其他无人机施力时，物体的姿态变化会反映这些力的作用，观察物体状态就相当于间接感知其他无人机的动作。

　　这就像几个人一起抬钢琴上楼。你不需要看到其他人的具体动作，只需要感受钢琴的重量分布、倾斜角度和移动趋势，就能知道如何调整自己的用力方式。当钢琴向左倾斜时，你知道左边需要更多支撑；当钢琴突然变轻时，你知道其他人用力更大了。这种隐性的信息传递既高效又自然。

　　为了验证这种设计的有效性，研究团队进行了对比实验。他们比较了三种观察空间配置：完全可观察（能看到所有无人机状态）、部分增强可观察（除了物体状态还能看到其他无人机的位置），以及他们提出的部分可观察（只能看到物体状态和自己的状态）。令人惊讶的是，三种配置的学习曲线几乎完全重合，这证明了物体状态确实包含了协作所需的全部信息。

　　身份标识的设计也很巧妙。由于所有无人机使用相同的神经网络参数，身份标识让每台无人机知道自己在团队中的角色。这就像合唱团中每个人都学会了所有声部，但通过指定的角色来决定自己应该唱哪个声部。这种设计既实现了参数共享带来的学习效率，又保持了角色分化的灵活性。

　　观察历史的使用也经过了仔细考虑。研究团队发现，虽然理论上历史信息能帮助解决部分可观察性问题，但在这个特定任务中，当前的观察信息已经足够丰富。他们测试了不同长度的观察历史（从1到10个时间步），发现历史长度对性能的影响很小。这进一步证实了他们的观察空间设计的有效性。

　　这种精简的观察设计还带来了重要的实际优势。首先是通信效率，每台无人机只需要接收物体状态和目标信息，通信量大大减少。其次是计算效率，较小的观察空间意味着更快的推理速度，这对实时控制至关重要。最后是鲁棒性，当系统中的某些组件失效时，其他无人机不会因为缺少依赖信息而失效。

　　五、实验验证与性能评估

　　理论设计再精妙，最终也要通过实际实验来验证。研究团队进行了全面的实验评估，从仿真环境的对比测试到真实世界的复杂场景验证，全方位地展示了他们方法的有效性和优越性。

　　在基础性能测试中，研究团队将他们的方法与目前最先进的集中式非线性模型预测控制方法进行了直接对比。实验场景是让三台无人机协作搬运一个悬挂的物体，完成2米距离的移动，同时进行30度俯仰、-20度横滚和-90度偏航的复杂姿态调整。这个任务相当有挑战性，就像让三个人协作搬运一个不规则形状的大型家具通过狭窄的楼道转弯。

　　实验结果令人印象深刻。虽然集中式方法在某些数值指标上略有优势（位置误差0.45米对0.52米，姿态误差16.24度对22.93度），但考虑到分布式方法完全没有使用全局信息和智能体间通信，这个性能差距是完全可以接受的。更重要的是，两种方法的跟踪轨迹在视觉上几乎无法区分，都能成功完成复杂的搬运任务。

　　计算效率方面的优势更加明显。研究团队的方法在树莓派5（2.4GHz四核ARM处理器）上运行时，推理时间仅为6毫秒，运行频率100Hz。而集中式方法需要78毫秒，只能以10Hz运行。更关键的是，随着无人机数量增加，集中式方法的计算时间呈指数增长（5台无人机174毫秒，6台无人机267毫秒），而分布式方法的计算时间保持恒定，因为每台无人机都是独立计算的。

　　研究团队还测试了系统对负载不确定性的鲁棒性。他们在原有1.4公斤的负载基础上额外增加了0.216公斤的物品，包括四个可以在负载内部自由移动的小物件。这些额外物品会动态改变负载的质量分布和重心位置，对控制系统形成持续的扰动。然而，系统表现出了出色的适应能力，位置跟踪误差仅从0.60米轻微增加到0.63米，姿态跟踪误差也基本保持稳定。这种鲁棒性主要归功于底层控制器的自动补偿能力和学习策略的泛化能力。

　　在异构智能体测试中，研究团队进行了一个特别有趣的实验。他们让其中一台无人机使用完全不同的控制策略（传统的基于模型的控制器），并故意给它下达与团队目标不一致的指令，模拟恶意行为或设备故障。在实验中，这台"叛变"的无人机先是拉着负载偏离目标0.7米，然后又向相反方向推动0.3米。令人惊喜的是，其他两台使用学习策略的无人机能够自动检测到这种异常情况，并调整自己的行为来补偿，最终仍然保持负载在目标位置附近。这就像团队中有人突然改变想法，其他成员能够自然地调整配合，维持整体目标。

　　最具挑战性的测试是模拟无人机完全失效的情况。研究团队故意关闭其中一台无人机，让它悬挂在负载下方成为额外的扰动源。这种情况下，剩余两台无人机需要控制一个失去了一个自由度的系统（绕两台无人机连线的旋转变得不可控），同时还要处理失效无人机带来的额外质量和阻力。尽管面临这些困难，系统仍然成功地完成了5个自由度的控制任务，包括-180度的偏航旋转、沿z轴下降0.5米和沿y轴移动1米的复杂机动。这种容错能力对实际应用具有重要意义。

　　研究团队还进行了详细的消融研究，比较了不同设计选择的影响。在动作空间对比中，他们发现纯加速度控制虽然在数值指标上表现更好，但会产生危险的高频振荡。速度控制表现平稳但响应较慢。他们提出的加速度加角速度方案在稳定性和响应性之间取得了最好的平衡。在观察空间对比中，完全可观察、部分增强和部分可观察三种配置的学习效果几乎相同，证实了设计的合理性。

　　六、技术细节与工程实现

　　将理论算法转化为实际工作的系统需要解决许多工程细节问题。研究团队在这方面做了大量细致的工作，确保整个系统能够在真实环境中稳定可靠地运行。

　　硬件平台基于Agilicious飞行栈构建，这是一个专门为敏捷飞行设计的开源无人机系统。每台无人机重量约0.6公斤，搭载了必要的传感器、计算单元和通信设备。被搬运的负载是一个篮形结构，重1.4公斤，通过1米长的刚性缆绳与三台无人机连接。缆绳与无人机和负载之间都采用球形关节连接，允许三个方向的自由旋转。这种设计既保证了系统的灵活性，又避免了柔性缆绳带来的复杂动力学问题。

　　定位系统使用高精度的动作捕捉设备，能够以100Hz的频率提供无人机和负载的精确位置和姿态信息。虽然这种依赖外部定位系统的设计限制了方法在野外环境的应用，但对于验证算法有效性和进行受控实验是必要的。研究团队也承认这是当前方法的一个局限性，未来的工作将考虑集成车载传感器实现自主定位。

　　软件架构采用分层设计，上层的强化学习策略以100Hz频率运行，输出期望的线性加速度和角速度命令。中层的加速度控制器将这些命令转换为推力方向和大小，其中考虑了重力、估计的外部力（主要是缆绳拉力）等因素。外部力估计通过结合加速度计测量和推力估计来实现，这种方法能够较好地处理缆绳张力的变化。最底层的INDI姿态控制器以300Hz频率运行，将推力和姿态命令转换为电机转速指令。

　　仿真到现实的迁移是整个系统成功的关键。研究团队使用NVIDIA Isaac Lab构建了高保真的仿真环境，其中包含了详细的无人机动力学模型、缆绳约束、空气动力学效应等。仿真中的物理参数都尽可能匹配真实系统，包括无人机的质量、惯性矩、推力特性等。更重要的是，仿真中加入了各种随机扰动，如传感器噪声、执行器延迟、参数不确定性等，这些扰动训练了策略的鲁棒性，使其能够适应真实世界的不完美条件。

　　训练过程的计算需求相对温和。使用单块RTX 3090显卡，整个训练过程在17小时内完成。神经网络采用4层多层感知机结构，隐藏层大小分别为1024、512、256、128。输入层接收标准化的观察历史（包含3个时间步的信息），输出层产生期望的加速度和角速度命令。网络使用ReLU激活函数，输出层使用tanh激活确保命令在合理范围内。

　　奖励函数的设计经过了反复调试和优化。除了基本的位置和姿态跟踪奖励外，还包含了多个辅助项：动作平滑性奖励防止输出命令剧烈变化，能耗奖励鼓励高效的飞行，下洗流奖励鼓励无人机将螺旋桨气流导向远离负载的方向以减少扰动。每个奖励项的权重都经过仔细调节，确保不同目标之间的平衡。

　　实际部署时，每台无人机运行完整的控制栈，包括感知、决策和执行模块。通信系统只用于分发负载状态信息和目标指令，不涉及无人机之间的状态交换。这种设计大大降低了通信负担，提高了系统的可扩展性。即使通信系统出现短暂中断，无人机也能根据最后接收到的目标信息继续工作一段时间。

　　七、实际应用前景与挑战

　　这项研究不仅在学术上具有重要价值，在实际应用方面也展现出巨大潜力。多无人机协作搬运技术可以应用于许多传统方法难以解决的场景，特别是那些需要在危险、偏远或难以到达的地方进行搬运作业的情况。

　　在建筑和基础设施领域，这种技术可以用于高层建筑的材料运输、桥梁检修设备的安装、输电线路的维护等。传统方法往往需要大型起重设备或直升机，成本高昂且受到场地限制。多无人机系统具有更好的灵活性和可达性，能够在狭小空间内进行精确操作。例如，在城市环境中进行高层建筑的外墙维修时，多无人机系统可以搬运维修设备到达传统设备无法到达的位置。

　　在应急救援方面，这种技术具有独特优势。在地震、洪水等灾害现场，传统的救援设备可能无法进入，而多无人机系统可以快速部署，搬运救援物资、医疗设备或撤离伤员。由于系统的分布式特性，即使部分无人机损坏，其余无人机仍能继续工作，这种容错能力在紧急情况下尤为重要。

　　在物流配送领域，虽然单无人机配送已经开始商用化，但对于重型或大体积货物，多无人机协作搬运提供了新的解决方案。这种方法特别适合于偏远地区的物资供应，如山区医疗站的药品配送、海岛科研站的设备运输等。相比于传统的直升机运输，无人机系统具有更低的成本和更高的自动化程度。

　　然而，要实现这些应用前景，仍需要克服一些重要挑战。首先是感知能力的限制。目前的系统依赖外部动作捕捉系统提供精确的位置信息，这在实际应用中是不现实的。未来需要开发基于车载传感器的定位和感知系统，如结合GPS、IMU、视觉传感器和激光雷达的多模态感知方案。这不仅涉及硬件集成，还需要解决不同传感器数据融合、参考坐标系统一等技术问题。

　　安全性是另一个关键挑战。虽然研究展示了系统的鲁棒性，但在实际应用中必须考虑更多的故障模式和安全措施。例如，需要设计紧急情况下的负载释放机制，防止失控的无人机造成地面损害。同时需要建立完善的风险评估和管理体系，确保在人员密集区域的安全运行。

　　法律和监管框架也是实际应用需要考虑的重要因素。目前大多数国家的无人机法规都是针对单机操作设计的，对于多机协作系统缺乏相应的规定。这需要与监管机构合作，建立适用于多无人机系统的安全标准和操作规程。

　　环境适应性是技术发展的另一个方向。目前的研究主要在室内受控环境中进行，而实际应用需要面对复杂多变的户外环境，如风力扰动、温度变化、降水影响等。这需要进一步提高系统的环境适应能力，可能需要结合环境预测、自适应控制等技术。

　　可扩展性虽然理论上得到了保证，但在实践中仍需要验证。随着无人机数量的增加，系统的协调复杂度会显著提高，可能出现目前小规模实验中未发现的问题。此外，如何高效地规划和分配任务、如何处理大规模系统中的通信和计算负载等，都需要进一步研究。

　　尽管存在这些挑战，研究团队的工作为多无人机协作搬运技术的发展奠定了重要基础。他们证明了分布式控制方案的可行性，展示了系统在面对各种不确定性时的鲁棒性，为未来的工程应用提供了有价值的参考。随着相关技术的不断成熟，我们有理由期待这种技术在不久的将来能够走出实验室，为人类社会带来实际价值。

　　说到底，这项研究最重要的贡献可能不是解决了一个特定的技术问题，而是展示了一种全新的思维方式。通过让智能体学会观察和响应环境变化，而不是依赖复杂的通信和协调机制，研究团队找到了一条简洁而有效的协作之路。这种思路不仅适用于无人机搬运，也可能对其他多智能体协作任务产生启发，推动整个领域的发展。正如自然界中许多生物能够在没有中央控制的情况下实现高度协调的群体行为一样，这项研究向我们展示了人工智能系统也可以通过巧妙的设计实现类似的涌现式协作能力。

　　Q&A

　　Q1：多无人机协作搬运系统是如何在不互相通信的情况下实现配合的？

　　A：系统采用"隐性沟通"方式，每台无人机只观察被搬运物体的姿态变化来判断其他无人机的动作。就像几个人一起抬沙发，不需要互相喊话，只需感受沙发的重量分布和倾斜角度就能自然调整用力方向。当一台无人机施力时，物体姿态的变化会被其他无人机感知到，从而做出相应的配合动作。

　　Q2：这种分布式控制方法相比传统集中式控制有什么优势？

　　A：主要有三个优势：计算效率更高，推理时间仅6毫秒（传统方法78毫秒），且不随无人机数量增加而变慢；容错能力更强，即使一台无人机完全失效，其他无人机仍能继续工作；通信负担更小，无需实时交换各无人机状态信息，只需要知道被搬运物体的状态即可。

　　Q3：这项技术能在什么实际场景中应用？

　　A：主要应用场景包括：建筑工地的高层材料运输和设备安装；灾害现场的救援物资配送和伤员转移；偏远地区的重型货物运输；桥梁和输电线路的维护设备搬运等。特别适合传统起重设备无法到达或成本过高的场合，比如山区、海岛或城市狭小空间的搬运作业。