HY-1.8B-2Bit – 腾讯混元推出的首个产业级2Bit端侧模型

HY-1.8B-2Bit是什么

HY-1.8B-2Bit是腾讯混元推出的首个产业级2Bit端侧大模型，模型基于1.8B模型经量化感知训练（QAT）压缩推出。HY-1.8B-2Bit等效参数量仅0.3B，大小仅300MB，内存占用600MB，比常用手机应用还小。在保持原模型全思考能力的同时，生成速度提升2-3倍，已适配Arm SME2等移动平台，可在手机、耳机、智能家居等边缘设备上高效运行，实现”小而强”的端侧AI部署突破。

HY-1.8B-2Bit的主要功能

• 端侧智能推理：模型支持在手机、耳机、智能家居等消费级硬件上离线部署运行大语言模型，无需依赖云端服务。