悟能 – 商汤科技推出的具身智能平台

悟能是什么

悟能是商汤科技推出的面向机器人和智能设备的具身智能系统。平台基于商汤的“开悟”世界模型，结合多模态大模型技术，赋予机器人强大的感知、决策和行动能力。平台包含感知层（视觉、语音、触觉等多传感器输入）、决策层（LLM+世界模型协同规划）和行动层（端到端控制机械臂和移动底盘）。平台能赋能机器人等各种终端硬件，支持嵌入端侧芯片，适配多种场景，能生成多视角视频，构建4D真实世界，实现复杂任务的自主执行。

悟能的主要功能

• 感知功能：
  • 多模态感知融合：基于视觉、语音、触觉等多种传感器输入，实现对环境的全面感知和理解。
  • 环境感知：实时识别物体、人物和空间布局，为决策提供准确的环境信息。
• 决策功能：
  • LLM与世界模型协同：结合大语言模型和世界模型，实现语言理解和物理世界知识的融合，制定合理的行动策略。
  • 任务规划：根据任务目标，生成详细的执行计划，确保任务高效完成。
• 行动功能：
  • 端到端控制：精准控制机械臂和移动底盘，实现复杂动作的精确执行。
  • 动作执行与反馈：在执行任务过程中实时调整，确保任务的灵活性和可靠性。
• 场景适配性：支持嵌入端侧芯片，适配多种智能设备和场景。