技术介绍
无人机因其视野广阔、决策与控制可分离、可用于全局指挥,与大模型的决策推理契合度高。
青鸟AI 团队凭借在 无人机控制与决策、人工智能 等领域多年的学术研究与技术积累,成功实现全国首个且目前唯一的 “大模型+无人机” 工程应用解决方案——
“Agent as Cerebrum,Controller as Cerebellum”(智能体即大脑,控制器即小脑)的控制架构。
该系统基于大模型对多模态数据的理解能力,将真实物理世界的照片、声音、无人机状态数据等多源信息融合作为智能体的感知,将对于真实世界的执行器的操作作为智能体的行为。
该架构区别于传统的端到端的机器人大模型控制,而是使用了分层规划的思路:
无人机上部署的具身智能体作为大脑这一决策生成器,专注于生成高层级的行为;
飞控单元作为小脑这一运动控制单元,专注于将高层级的行为(如期望目标点)转换成低层级的系统命令(如飞行器旋翼转速)。
各个通信节点通过ROS机器人系统相连,通过ROS中消息的订阅与发布或服务的请求与响应实现通信。
具身智能体和ROS由ROSchain作为桥梁——通过一套模块和API接口简化大模型与机器人传感装置、执行单元和控制机制的集成,为智能体接入ROS系统提供了一个稳定的中间件。
这一架构使得智能体可以专注于高层级命令的产生,对于高层级任务具备更强的智能性,对于实际的执行具备更好的鲁棒性和可靠性。
人工智能大模型会给国防建设带来革命性的变化,而无人机作为重要的工具,承担侦察打击、城市巷战、区域拒止与反拒止等重要任务。
团队现有技术可实现 无人机自主探测与打击、无人僚机的语音指挥及执行、基于大小模型协同的 云-边-端 架构的跨域异构多智能体协同、拒止环境下多智能体自组网自主协同任务规划与决策 等多种任务场景的解决方案。
人工智能作为新质生产力的重要组成部分,无人机作为低空经济的支柱力量,“大模型+无人机”也是市场发展的必然趋势。
团队现有技术可实现无人机的多功能、多任务能力与应急管理能力,通过自主路径规划摆脱预定义路线的局限,同时也降低了飞手的操作成本。现已在 基于智慧城市的低空物流应急一体化系统及交通、物流、巡检、安防、植保、救援 等民用场景进行早期落地。
青鸟AI 依托于北京航空航天大学航空学院智能无人机团队,现有硕博士研究生近三十人及全职开发人员近十人,长期从事人工智能与无人机相关研究。
团队在无人机设计、建模仿真、多智能体强化学习、大模型驱动的智能体技术等方面发表论文数十篇及授权专利数十项,并已在 国防、民用 的多个场景进行工程化落地。
现有多种合作模式:重大基金、项目联合申报 / 预研项目课题承接 / 软件服务(SaaS)采购 / 无人机全栈软硬件方案。此外,可根据客户需求定制专有合作模式。
官网:https://qingniao-ai.cn/
学术交流:zhaohaoran@buaa.edu.cn
商务合作:nancy@qingniao-ai.cn
原文始发于微信公众号(青鸟 AI):大模型驱动无人机,具身智能新架构