开yun体育网

文｜金鹿

剪辑｜博阳

10 月 14 日凌晨，AI 范围着名大家安德烈 · 卡帕西（Andrej Karpathy）发布了名为 "nanochat" 的新开源表情，他状貌这是我方写过的 " 最不受握住 " 的豪恣表情之一。

与早期仅涵盖预进修的 nanoGPT 不同，新的 nanochat 是一个极简的、从零驱动的全栈进修 / 推理经过，通过依赖项最少的单一代码库终显明一个通俗版 ChatGPT 的完整构建。

nanochat 的使用经过格外简易：你只需要租用云 GPU 处事器，运行单个剧本，最快 4 小时后就能在近似 ChatGPT 的网页界面中与我方进修的谎言语模子（LLM）对话。

nanochat 是什么？

从卡帕西提供的道理来看，Nanochat 打包了从零驱动制造一个 Chatbot 所需的通盘形势和器具，这其中包括：

1. 数据准备 : 从原始集会文本（如 FineWeb 数据集）驱动，创建分词器（tokenizer），把海量文本造成模子能长入的数字。

2. 模子预进修 : 在大规模数据上进修一个基础的 Transformer 模子，让它学习话语的语法、事实和基本推理才调。这是最耗时、最中枢的一步。

3. 对王人微调 :

a. 教唆微调 : 使用高质地的问答、对话数据，教模子如何像一个助手相通衔命教唆、与东谈主对话。

b. 强化学习 : （可选阶段）通过奖励和刑事牵累，进一步升迁模子在特定任务（如数学解题）上的进展。

4. 模子推理 : 提供了一个高效的引擎，让你可以在号召行或一个近似 ChatGPT 的网页界面中，与你亲手进修出来的模子进行及时对话。

5. 评估 ( 进修完成后，系统会自动生成一份详备的"收货单"（论述），展示模子在多个圭表测试（如数学、代码、知识推理）上的进展。

Karpathy 之前的nanoGPT表情主要关心第 2 步：模子预进修。它是一个极简的 GPT 模子进修代码，主意是为了素质，让环球长入大模子是怎样进修出来的。

而nanochat则是一个全栈（Full-Stack）表情，它不仅包含了 nanoGPT 的预进修部分，还补全了之后的所说合键形势（教唆微调、强化学习、推理、UI 界面），最终请托一个可以推行对话的聊天机器东谈主。

而终了这一切，只靠着卡帕西手敲的 8000 行代码。

卡帕西作念这个 nanochat 的真义是什么呢？

当先是讲明和学习，它是当今长入"如何从零构建一个 ChatGPT "的最勤学习贵寓。它让正常设备者和接洽者有契机用相对便宜的资本亲手"烹调"出一个属于我方的袖珍聊天模子，并完整地体验从一堆原始文本到一个智能对话助手的全过程。

其次是提供一个接洽和实验平台。 为接洽东谈主员提供了一个轻量级、可控、可复现的实验平台。他们可以在这个框架上快速测试新的模子架构、进修设施或对王人本事，而无谓动用腾贵的大规模遐想资源。

终末，X 上的网友还发掘了它的新可能，他认为这套系所有统可以成为硬件评估的新基准。

这简直太棒了。这应该成为硬件评估的新基准——咱们只需论述一个有序三元组：

● 端到端进修总资本（好意思元）

● 端到端进修总耗时（分钟）

● 在特定测试集上的详细性能进展

况且通盘过程都具备高度可复现性。

100 好意思元，重新进修一个 AI

那这个 Nanochat 到底能多省钱？

● 仅需约 100 好意思元（在 8XH100 节点上进修约 4 小时），你就能进修出一个袖珍 ChatGPT 克隆版，可以进行基本对话，创作故事诗歌，回答简易问题

（在网页界面中，披露的是一个耗时 4 小时、奢华 100 好意思元的 nanochat 模子进行对话。仍是可以写诗了。）

（nanochat 论述卡片中展示了此次 100 好意思元"速通"进修所生成的部分追忆性主意。举座后果很可以。）

● 进修约 12 小时即可在 CORE 主意上超过 GPT-2

● 淌若将预算升迁到约 1000 好意思元（进修 41.6 小时），模子会变得愈加连贯，约略处罚简易的数学和编程问题，并通过多项聘请题测试。举例，一个深度为 30 的模子经过 24 小时进修（遐想量格外于 GPT-3 Small 125M 或 GPT-3 的 1/1000），在 MMLU 上能达到 40 多分，在 ARC-Easy 上达到 70 多分，在 GSM8K 上达到 20 多分。

卡帕西躬行揭秘背后本事

在 X 平台上，卡帕西和网友张开问答对话，公开了 nanochat 的幕后设备确定和关联本事。

以下为问答精选：

问：这个模子的进修 / 基础架构是基于什么样的模子遐想？

卡帕西：nanochat 的模子架构基本上与 Meta Llama 模子近似，但进行了一些简化，并接管了一些来自其矫正版 modded-nanoGPT 表情的遐想想路。其方向是为此类规模的模子设立一个"慎重的基线"。

主要架构特征包括：

● Dense Transformer（首肯模子 Transformer）

● Rotary Embeddings（旋转位置编码），无显式位置镶嵌（positional embeddings）

● QK Norm（对 Query 和 Key 向量进行归一化）

● Embedding 与 Unembedding 权重不分享（untied weights）

● 在 Token Embedding 之后进行归一化处理

● MLP 使用 ReLU² 激活函数

● RMSNorm 中无可学习参数

● 线性层中无偏置项（bias-free linear layers）

● 采用多查询着重力机制（Multi-Query Attention, MQA）

● 输出层使用 Logit Softcap 本事

● 优化器采用的是 Muon + AdamW 组合，这很猛进程上受到了 modded-nanoGPT 的影响。卡帕西提到，他遐想昔时通过全心养息 Adam 优化器每个模块的学习率来尝试移除 Muon，但当今这项职责尚未完成。

问：我是否可以用我方的数据来进修它？比如我通盘的 Notion 札记、健康数据，以及和其他大模子的对话记载？就像打造一个信得过懂我的个东谈主聊天机器东谈主？

卡帕西：我以为这个代码库并不合乎这个用途。你可以把这些微型模子遐想成幼龄儿童（比如幼儿园阶段），它们如实不具备那些大型模子的原生才略。淌若你用我方的数据对它进行微调 / 进修，可能会获取一些看似师法你文风的道理回复，但最终后果会显得很约略。

要终了你期待的后果，可能需要这么的经过：先整理原始数据，在此基础上进行无数合成数据重写（这形势很辣手，不确定性高，属于接洽范围），然后选用顶尖开源大模子进行微调。过程中可能还需要羼杂无数预进修数据，以免在微调过程中亏本模子原有的智能水平。

因此，说真话，要让这套经过完竣运作于今仍属于前沿接洽范围。

当今最可行的非本事有计划，是把通盘贵寓导入 NotebookLM 这类器具，它可通过 RAG 本事（即分块检索参考）处理你的数据。你的信息剖析过高下文窗口授递给模子，但不会改换模子自身的权重。诚然模子不会信得过 " 禁闭你 "，但这可能是刻下最容易终了的近似有计划了。

问：这些代码有若干是你手写的？

卡帕西：代码基本上全是手写的（合营 Tab 键自动补全）。我尝试过几次使用 Claude/Codex 这类 AI 编程助手开yun体育网，但后果所有不可，总体上反而帮不上忙。可能我的代码库立场太偏离它们进修数据的立场了。