nanochat – Karpathy开源的低成本自建ChatGPT全栈项目

nanochat是什么

nanochat是AI领域专家Andrej Karpathy发布的开源项目，以极低成本和高效流程训练小型语言模型，实现类似ChatGPT的对话功能。仅需约100美元（使用8张H100 GPU训练4小时），即可训练出能进行基础对话、创作故事/诗歌、回答简单问题的小型模型。若增加预算至1000美元（训练约41.6小时），模型性能可显著提升，能解决简单数学/代码问题并参与多项选择题测试。项目包含从数据准备、预训练、中期训练、监督微调（SFT）、强化学习（RL）到推理部署的完整流程，约8000行代码实现端到端训练，代码简洁易读，适合学习和实践。

nanochat的主要功能

• 分词器训练：使用Rust语言实现训练分词器，负责将文本转换为符号码本序列。