中国科学院科学家团队重大发现:揭示大语言模型如何理解事物

AI资讯3个月前发布
13 0

6月11日消息:中国科学院自动化研究所神经计算与脑机交互(NeuBCI)课题组与中国科学院脑科学与智能技术卓越创新中心联合团队宣布,首次揭示多模态大语言模型能够自发形成类似人类的物体概念表征系统。这项突破性研究为人工智能领域的认知科学研究开辟了全新方向,并为构建类人化的人工智能系统提供了重要的理论支持。该研究成果以《Human-like object concept representations emerge naturally in multimodal large language models》为题,发表于顶级期刊《自然·机器智能》(Nature Machine Intelligence)。

中国科学院科学家团队重大发现:揭示大语言模型如何理解事物

人类对自然界中物体的多维度概念化能力,是区别于其他生物的独特认知特征。当我们面对“狗”、“汽车”或“苹果”等物体时,不仅能够识别其物理属性(如尺寸、颜色和形状),还能理解其中蕴含的功能性、情感价值以及文化意义。这种多层次的概念表征构成了人类认知的核心机制。

然而,传统的人工智能研究主要关注于物体识别的准确性,而较少深入探讨模型是否真正“理解”这些物体的本质含义。论文通讯作者何晖光研究员指出:“虽然当前AI系统能够准确区分猫狗图片,但这种‘识别’与人类对猫狗本质的理解之间仍然存在显著差异。”基于认知神经科学的经典理论,研究团队创新性地构建了一套融合计算建模、行为实验和脑科学研究的综合范式。他们采用经典的“三选一异类识别任务”(triplet odd-one-out),要求大语言模型从1854种日常概念中随机选取的三元组中找出最不相似的选项,并记录了470万次的行为判断数据。这一实验首次构建了AI大语言模型的概念表征网络。

中国科学院科学家团队重大发现:揭示大语言模型如何理解事物

实验范式示意图:a为物体概念集及带有语言描述的图像示例;b-d分别展示了针对LLM、MLLM和人类的行为实验范式及其对应的概念嵌入空间。

通过对海量行为数据的深入分析,研究人员从大模型中提取出66个具有代表性的“心智维度”,并为这些维度赋予了明确的语义标签。值得注意的是,这些表征不仅在统计上显著,而且与人类的认知模式高度一致。研究发现,这些概念表征在特定脑区激活模式下表现出与人类相似的空间分布特性。

进一步研究表明,多模态大语言模型在学习过程中能够自动形成层级化的概念组织方式,这使得它们能够有效地处理复杂场景下的物体识别任务。这种自动生成的概念表征网络不仅具有高度的灵活性和可解释性,而且在某些情况下甚至能够超越人类的学习效率。

© 版权声明

相关文章