英伟达黄仁勋长女 Madison Huang 直播首秀,聊了具身智能

AI资讯3周前发布
13 0

黄仁勋大家都见得多了,但你见过他女儿讲具身智能吗?

这不,黄仁勋女儿 Madison Huang 首次公开亮相直播访谈节目,作为英伟达 Omniverse 与物理 AI 高级总监,与光轮智能 CEO 谢晨,以及光轮智能增长负责人穆斯塔法一起,对“如何缩小机器人在虚拟与现实之间的差距”展开深刻探讨。

英伟达黄仁勋长女 Madison Huang 直播首秀,聊了具身智能

光轮智能是一家专注于仿真合成数据技术的公司。和专注于大模型的企业不同,他们的核心目标是帮助 AI 更好地理解和进入物理世界。目前主要聚焦于具身智能和自动驾驶两大场景。

在一个半小时的访谈时间内,三人提出了一系列重要观点:

  • 合成数据对于解决机器人数据困境至关重要。

  • 光轮智能的 SimReady 资产不仅要视觉准确,更重要的是物理准确。

  • 英伟达和光轮智能正在共同开发 Isaac Lab Arena—— 一个用于基准测试、评估、数据收集和大规模强化学习的下一代开源框架和平台。

    ……

下面具体来看。

利用合成数据和仿真来解决机器人数据障碍

访谈一正式开始,主持人 Edmar Mendizabal(Omniverse 社区经理)就开门见山抛出了一个许多人都很好奇的问题。

英伟达与光轮智能的合作关系是如何开始的?

Madison 解答道,英伟达内部很多项目都依赖于光轮智能的支持。例如,Gear Lab 正在构建通用智能体模型,西雅图机器人实验室正在开展大量涉及接触操作和精密装配的任务。

对语言模型的研究人员来说,他们可以利用整个互联网的数据去训练 LLM。但对机器人领域来说,情况却完全不同,他们必须去手动采集数据,这也是为什么会有那么多数据采集工厂的出现。

在这种缺乏数据的情况下,英伟达认为,仿真就是解决方案,因此需要一个合成数据工厂,同时也希望合作伙伴认同 OpenUSD 的愿景,将其作为构建仿真就绪资产(SimReady Assets)的基础。

2023 年,光轮智能成立了,目标就是利用合成数据和仿真来突破机器人数据瓶颈。

英伟达黄仁勋长女 Madison Huang 直播首秀,聊了具身智能

但那时机器人领域还处于非常早期的阶段,所以他们先从自动驾驶的合成数据问题入手,随后,合作几乎扩展到英伟达的各个团队。

有意思的是,谢晨以前就是英伟达自动驾驶仿真负责人,兜兜转转,现在又在为英伟达工作了。

接下来,主持人又问道:“那现在机器人从虚拟到现实(Sim2Real)还存在哪些问题。”

谢晨回答说:

对于自动驾驶来说,Sim2Real 是最容易解决的,因为它主要依赖视觉感知。而对于机器人来说,一切都涉及物理接触,最重要的是操作能力(manipulation)。同时,它还需要灵巧手和触觉传感器配合使用,因此问题变得更加复杂。

核心问题就在于物理准确性

以冰箱为例,当你拉开门时,会感觉到磁吸密封条产生的力的作用,还有拉抽屉时会感觉到多重摩擦,这些物理特性都非常精确。

英伟达黄仁勋长女 Madison Huang 直播首秀,聊了具身智能

而要实现这种物理准确性,数据非常重要,高质量的数据是进入机器人训练系统、生成正确算法的关键。

因此,谢晨还特别提到了数字金字塔的理念。

他认为,要让具身智能真正部署到现实世界需要消耗巨量的数据,实际上比大型语言模型所需的数据还要多。这就形成了一个巨大的数据障碍,而现实世界数据无法完全解决这个问题。

英伟达黄仁勋长女 Madison Huang 直播首秀,聊了具身智能

以自动驾驶为例,现实中有大量驾驶员和汽车在道路上运行,但在工厂、家庭等环境中,机器人数量却非常有限。

因此,合成数据将成为解决具身智能数据瓶颈的最重要、最主要的数据来源

他们借助了大量物理设备来收集精确的数据,并将其实现到仿真环境中。同时,他们还设计了一些方式去对比真实世界中的力和仿真中的力,以确保二者匹配。

除了数据外,另一个令谢晨认为重要的点就是高效。

他提到,强化学习非常重要,但要运行大规模强化学习,就必须确保不同类型的仿真在计算上非常高效。

为了让大量仿真环境同时运行,他们用简单又高效的方法(如基本几何体和凸包)来检测碰撞,这样既能保持足够准确,又能节省大量计算资源。

之后,谢晨还讲到了电缆仿真。电缆既像柔性物体,但又在某些情况下又表现得像刚体,所以它的仿真其实非常困难。

为了让机器人学习如何操作电缆,光轮智能与 Newton 及英伟达合作,为电缆构建求解器,并研发仿真就绪资产来构建这种仿真。

英伟达黄仁勋长女 Madison Huang 直播首秀,聊了具身智能

众所周知,人与动物的区别是人会使用工具,所以如何教机器人正确利用工具完成特定操作变得越来越关键。

例如,让机器人在仿真中切割黄瓜是非常困难的,这不仅仅是为了数据采集,更重要的是要支持强化学习。

英伟达黄仁勋长女 Madison Huang 直播首秀,聊了具身智能

为此,光轮智能已与英伟达 Isaac Sim 实验室展开合作,共同致力于攻克仿真到现实的迁移挑战。

最后,谢晨提到,光轮智能还在与英伟达共同构建 Isaac Lab Arena—— 一个面向下一代基准测试、评估数据收集和大规模强化学习的框架平台,该项目已在 CoRL 大会上由英伟达正式发布。

黄仁勋子女

访谈结束,咱们再来扒一扒很少露面的黄仁勋的两个子女。

首先是女儿 Madison,中文名黄敏珊,现年 34 岁。

2020 年加入英伟达最初担任市场营销实习生,实习四个月后成为了 Omniverse 部门的活动营销经理,之后一直在该部门任职。

Madison 在英伟达一路担任了产品营销经理、高级产品营销经理等职务,直到今年 3 月成为高级总监。

英伟达黄仁勋长女 Madison Huang 直播首秀,聊了具身智能

令人惊讶的是,Madison 最初干的竟然是烹饪。

2012 年,她在美国烹饪学院取得了烹饪艺术工商管理学士学位,之后到蓝带厨艺学院学习制作甜点以及葡萄酒,并曾在纽约和旧金山担任厨师。

2015 年,Madison 重新回到巴黎,加入奢侈品行业,在 LVMH 公司担任市场营销与开发经理。在 LV 工作期间,Madison 还学习了伦敦政治经济学院有关数据科学的短期课程。

在 2019 年,Madison 和哥哥 Spencer 一起修读了 MIT 的短期 AI 高管课程。

之后,她于 2021 年取得了伦敦商学院的 MBA 学位,彼时她已经是英伟达的正式员工。

说完老黄的女儿,怎么能不接着提提他儿子呢?

同样“承袭父业”的,还有 Madison 的哥哥 Spencer,中文名黄胜斌,今年 35 岁。

英伟达黄仁勋长女 Madison Huang 直播首秀,聊了具身智能

他在英伟达的职位是机器人产品线经理,负责开发用于机器人的 AI 模型与仿真软件。

Spencer 在 2022 年加入英伟达,起初的职位是 Isaac Sim Cloud 团队产品经理。

前面介绍 Madison 时说过,兄妹二人曾一同参加 MIT 的短期 AI 高管课程,不过 Spencer 还额外多读了关于人机交互的课程。

之后,Spencer 先是到哈佛商学院读了短期课程,之后也读了 MBA,不过是在纽约大学,2022 年取得学位。

有意思的是,更早之前,Spencer 的身份是一名酒吧主理人。

2012 年,Spencer 在美国最大的私立艺术与媒体学院 —— 芝加哥哥伦比亚学院本科毕业,主修国际市场和文化研究两个方向。

毕业后,老黄让他专门“回老家”学了一年中文,就是在这段时间,Spencer 创立了他的鸡尾酒酒吧 ——R&D Cocktail Lab,而且一干就是八年。

据悉,这家酒吧屡获国际大奖,并曾入选亚洲 50 佳酒吧,不过目前谷歌地图显示该酒吧已经永久停业。

英伟达黄仁勋长女 Madison Huang 直播首秀,聊了具身智能

好好好,富二代要专心继承家业了是吧。

本文来自微信公众号:量子位(ID:QbitAI),作者:时令,原标题《黄仁勋长女直播亮相,聊了具身智能》

© 版权声明

相关文章