英特尔完成文心大模型4.5系列端侧开源模型部署

AI资讯2个月前发布
14 0

6月30日,百度正式对外开源文心大模型4.5系列模型。此次开源涵盖多个不同参数规模的模型,包括具有47B和3B激活参数的混合专家(MoE)模型,以及0.3B参数的稠密型模型等共计10款模型,并且实现了预训练权重和推理代码的完全开放共享。

英特尔完成文心大模型4.5系列端侧开源模型部署

值得关注的是,在此次文心系列模型的发布过程中,英特尔中国借助其OpenVINO工具套件,成功实现了对文心端侧模型的快速适配,并完成了在英特尔酷睿Ultra平台上的端侧部署工作。据介绍,OpenVINO工具套件是由英特尔开发并推出的开源优化工具套件,主要致力于提升深度学习模型的推理性能,支持跨平台部署,并能够充分调动和优化英特尔硬件资源。

从2021年开始,百度飞桨与英特尔OpenVINO就已经展开了深入合作,并进行了多维度的技术适配工作。经过双方技术团队的努力,已有包括PaddleOCR、PaddleSeg、PaddleDection在内的多个模型实现了深度优化。目前开发者可以直接使用OpenVINO进行飞桨模型的推理和部署操作,或者通过OpenVINO的模型优化器将这些模型转换为中间表示(IR)格式,从而进一步支持模型的部署与应用。

文心大模型4.5自今年3月发布以来,作为百度首个原生多模态大模型,在多模态理解和文本逻辑推理等方面取得了显著突破。其多项测试指标均展现出超越GPT4.5的性能优势,同时在API调用价格上仅为GPT4.5的1%,展现出极高的性价比。

如需获取文心大模型4.5系列模型的源代码及详细信息,可访问以下开源地址:

https://aistudio.baidu.com/modelsoverview

© 版权声明

相关文章