01-深度解读报告：Stanford Alpaca
数据依据（源数据唯一依据声明）
- 节点：Stanford Alpaca: An Instruction-following LLaMA Model
- 发布形态：本项目无 arXiv 论文，正式发布载体为 GitHub README（tatsu-lab/stanford_alpaca）+ CRFM 官方博客（crfm.stanford.edu/2023/03/13/alpaca.html）。本报告全部事实与数字仅引自
00-源数据提取.md（源数据提取子 Agent 于 2026-08-26 从两处一手源抓取：README 14,463 字节，博客纯文本约 12.6KB，均完整）。（推断：因无同行评审论文，一切技术细节的最终权威锚点是 GitHub README 而非学术文献，这是 Alpaca 作为"开源事件"而非"论文"的典型特征。） - 发布日期：2023-03-13（官方博客发布日）
- 机构与作者：Stanford CRFM + NLP Group + HAI；Rohan Taori、Ishaan Gulrajani、Tianyi Zhang、Yann Dubois、Xuechen Li（五位学生作者贡献相等、顺序随机抽取）；Carlos Guestrin、Percy Liang、Tatsunori B. Hashimoto（导师）
- 关键数字速览：52,000 条唯一指令数据 / 数据生成成本 <$500 / 训练成本 <$100（3 小时 × 8×A100 80G）/ 总复现成本 <$600 / 175 条种子指令 / 盲评 90 : 89（Alpaca 胜 90 场 vs text-davinci-003 胜 89 场）
- ⚠️ 任务侧勘误（重要）：外部广为流传的"Alpaca 复刻了 175B LLaMA"的说法，在本报告所依据的两处一手源中均不存在。Alpaca 仅微调 LLaMA 7B（13B 仅给出超参、未单独公布效果）。源中的"175"实为 self-instruct 种子指令条目数（175 条人工撰写 instruction-output 对），而非模型规模。本报告的所有推理凡涉及此点，一律以 7B 为基座，并对流传说法按勘误标注。
摘要（约 300 字）
Stanford Alpaca 是 2023 年 3 月由斯坦福 CRFM 团队发布的指令跟随模型，其本质是一次"成本与复现性"的示范性实验：以开源基座 LLaMA 7B，配以 52,000 条由 text-davinci-003 生成的指令数据，经约 3 小时、8×A100 80G 的全参微调，得到在初步盲评（90 场胜 vs text-davinci-003 的 89 场）与定性观察上"行为近似"于闭源 SOTA 指令模型的产物。整条复现链路（数据生成 + 训练 + 权重恢复）总成本低于 $600，关键在于数据引擎对 self-instruct 管线的五项改造（换更强教师、激进批量解码 20 条、简化管线、单实例化、新写 prompt.txt），把单位数据成本压到极低。它同时验证并推广了"weight diff"发布范式以规避 LLaMA 非商业许可，也坦诚披露了幻觉（超过其教师模型）、毒性与未做安全对齐等局限。Alpaca 的历史意义不在模型能力在于把"指令微调"从大厂专利变成学术可复现操作，引爆了后续大量开源复刻（Vicuna、ShareGPT 谱系等），被视为开源 LLM 生态的分水岭事件。
一、问题定位：学术界为何"看得见摸不着"指令跟随模型
1.1 背景性缺口：能力近在咫尺，可达性为零
2023 年初，指令跟随（instruction following）能力已被验证为让大语言模型从"续写机器"变身为"对话助手"的关键钥匙。ChatGPT/InstructGPT 的实践表明，通过人类反馈强化学习（RLHF）或指令微调，模型能够依据用户自然语言指令给出有用、顺手的回应。然而根据博客 Overview 的表述，当时学术界普遍缺乏能够面向研究者免费获取、可复现的指令跟随模型——这一能力主要集中于闭源大厂（OpenAI 等）与受控的环境里。（推断：这句表述点出了 Alpaca 的立题动机——它瞄准的不是"性能竞赛"，而是"能力可达性的民主化"，这是开放式研究与商业机密之间的核心张力。）
博客明确写道："学术界缺乏可及的指令跟随模型"（原文为对研究生态缺口的陈述），这构成 Alpaca 要解决的"问题"。问题不是"能不能做出指令跟随模型"，而是"在尊重版权与许可的前提下，学术界能否以极低成本重建一个够用的指令跟随模型"。
1.2 三重约束，构成解题边界
Alpaca 的问题不是一个单纯的技术题，而是被三个现实约束框定的工程与伦理题：
- 基座约束：当时最强的开源基座是 Meta 发布的 LLaMA（2023-02），但 LLaMA 权重不可再分发、且许可禁止商业用途。直接改基座名称、直接发布微调权重都会触碰许可红线。
- 数据约束：要训练指令跟随模型就需要海量的"指令-输出"配对数据。真实的人类指令数据要么稀缺、要么被商业条款保护（text-davinci-003 的 API 服务条款明确禁止用它训练与之竞争的模型）。
- 算力约束：面向学术界的"低成本"意味着必须在学术界能轻易拿到的算力（个位数 A100、数小时）内完成，不能依赖媲美大厂的数十万 GPU 小时。
这三个约束共同塑造了 Alpaca 全部的设计取舍，也是理解后文所有方法选择的钥匙。
二、概念内核：这一节点在"重新发明什么"，以及它复用的既有概念
2.1 核心概念：指令微调（Instruction Tuning）与 Self-Instruct
Alpaca 复用的第一个核心概念是指令微调——用（指令, 期望输出）这样的配对数据对预训练语言模型做有监督微调，使模型学会"遵循指令"。这不是 Alpaca 的发明，但对这个概念的"平民化"是它的贡献。
第二个是 Self-Instruct（Wang et al.，2023）。Self-Instruct 是一套"用模型自己生成数据来训练自己"的管线：从一个手工写好的、规模很小的"种子指令集"出发，让模型以 in-context 方式批量生成新指令，并为每条指令生成输出，从而把少量的人类种子扩展成大规模训练数据，再用它微调模型。Alpaca 直接借用并改造了这一管线。
2.2 Alpaca 独有的概念增量
Alpaca 自身的"概念内核"可以浓缩为三个词，这三者都不算全新的理论，但组合起来产生了质变：
- "强基座 + 便宜数据"的乘法效应：它不再把注意力放在"如何设计更聪明的训练算法"，而是论证——只要基座足够强（LLaMA 7B），即便数据是"便宜批量生成的"而非"昂贵人工标注的"，指令跟随能力也能逼近闭源 SOTA。数据质量的重要性，在"强基座"面前被显著稀释（推断：这是 Alpaca 最重要、也最具争议的隐含命题）。
- "可复现成本"作为一等公民：Alpaca 把"复现到底要花多少钱"从论文里的一句话，变成了项目的主张本身（摘要直接标注了 <$600）。它暗示：对一项研究贡献的评估，除了能力指标，还要看"旁人复现的门槛"。
- "发布即合规"的工程学：在 LLaMA 不可再分发的约束下，Alpaca 不发布完整权重，而是发布权重差（weight diff），让持有 LLaMA 原始权重的用户自行恢复。这一"差值发布"范式成为后续开源微调模型的通行做法，本身就是一种概念创新。
2.3 概念澄清：Alpaca 不是"训练新模型"，而是"微调一个已有模型"
需要特别澄清的是（呼应源数据勘误），Alpaca 并没有从零训练、也没有"复刻 175B LLaMA"。它是一个在 LLaMA-7B 基础上做全参指令微调的产物。所谓的"175"在源数据中明确是 self-instruct 种子指令的数量（175 条），而非模型参数规模。理解这一点，才能准确评估它的贡献层级：Alpaca 的功劳是"把微调这一步做得便宜且可复现"，而不是"造了一个更大的模型"。
三、方法拆解：一张低成本的"指令跟随"配方
Alpaca 的完整方法可拆为三大件：数据引擎（生成 52K 数据）→ 训练配方（全参微调）→ 发布工程（weight diff 规避许可）。其中数据引擎是贡献最核心、也最体现"低成本"智慧的部分。
3.1 数据引擎：Self-Instruct 管线的五项改造（低成本的关键）
Alpaca 生成 52,000 条数据的成本低于 $500，这在当时是惊人的低价。根据 README 与博客，它基于 self-instruct 管线做了 5 项针对性修改，项项都在压缩成本或提升质量：
- 换更强教师（Better teacher）：以 text-davinci-003 取代 self-instruct 原用的
davinci来生成指令与输出。教师模型更强，生成质量更高，自然降低了对后续筛选与补数的需求。 - 新写 prompt.txt（A new prompt）：显式写出指令生成的要求（例如说明要生成多样化、有信息量的指令）。README 自述该 prompt 含一处小错误，后经 PR #24 修复。这里用"prompt 工程"显式刻画指令多样性，是低成本数据质量的先决条件。（推断：prompt.txt 的质量直接决定了生成数据的多样性与可用性，所谓"导师"其实就是一段精心编写的提示词。）
- 激进批量解码（Batch decoding）：一次生成 20 条指令，而 self-instruct 是逐条生成。批量解码显著摊薄了每次 API 调用的固定开销与 token 成本，是成本骤降的主力（推断：这是把 $500 压下来的最直接杠杆）。
- 简化管线（Simpler pipeline）：丢弃 self-instruct 中"分类任务/非分类任务"的区分逻辑。省略了繁琐的任务类型路由，直接统一生成，减少了一次次级调用与复杂度。
- 单实例化（Instance-only, one output per instruction）：每条指令只生成 1 个输出实例，而 self-instruct 对每条指令生成 2–3 个。把重复生成的冗余砍掉，直接减半以上的生成工作（推断：Alpaca 只要"能用"即可，不要"每个指令多版本对比"，这是质量/成本权衡上的明确取舍）。
净效果：52K 样本、总成本 <$500，且团队宣称初步分析显示其数据分布比 self-instruct 官方发布的数据更多样（以 root verb × direct object 的分布图佐证）。这等于抛出一个论点：数据多样性的提升，未必需要更贵，适当改改生成流程即可实现。
3.2 训练配方：极简全参微调
Alpaca 的训练配方站在"标准 Hugging Face 训练栈"之上，几乎只用现成组件，毫无玄学：
| 配置项 | 7B | 13B |
|---|---|---|
| --- | --- | --- |
| batch size（全局） | 128 | 128 |
| learning rate | 2e-5 | 1e-5 |
| epochs | 3 | 5 |
| max length | 512 | 512 |
| weight decay | 0 | 0 |
- 分布式：采用 FSDP full_shard auto_wrap（自动包裹
LlamaDecoderLayer）+ bf16/tf32 混合精度。同一脚本换 wrap 类为OPTDecoderLayer即可兼容 OPT 系列——再次体现"复用现成栈"的思路。 - 调度：cosine 调度 + warmup_ratio 0.03；全局 batch 128 在多卡处理时通过降低 gradient_accumulation_steps 保持一致。
- 资源：初始 run 为 3 小时 × 8×A100 80GB，多数云厂商定价下 <$100。
- OOM 三档降级：若显存不够，按 FSDP + CPU offload → DeepSpeed stage-3 双 offload → LoRA 的顺序降级。README 估算：朴素微调 7B 约需
7×4×4 = 112GBVRAM，而 LoRA 低秩切片后可降到 约 28GB，从而让消费级显卡也能训练。（推断：这套"降级阶梯"是给后来所有开源复刻者的实用指南，也是"7×4×4 估算"成为社区传诵数字的原因。）
3.3 发布工程：weight diff 规避 LLaMA 许可风险
这是 Alpaca 最具"范式意义"的方法之一。由于 LLaMA 权重不可再分发，Alpaca 选择不发布完整微调权重，而是发布与 LLaMA-7B 的权重差（weight diff），托管于 huggingface.co/tatsu-lab/alpaca-7b-wdiff。用户需自行将 Meta 原始 LLaMA 权重转成 HF 格式，再用 weight_diff.py recover 恢复完整权重。
- 优点：既满足了"模型可复现"的诉求，又没有违反 LLaMA 的许可约束——因为你根本没有分发 LLaMA 权重，而只是分发一个"差值补丁"。
- 影响：这一"差值发布"迅速成为后续开源微调模型发布的通行范式（Vicuna、ShareGPT 谱系及其他基于 LLaMA 的微调项目纷纷效仿），并成为"如何在商用与非商用许可的缝隙里做学术开源"的标准答案之一。
3.4 推理模板
存量的推理模板分两种：有 input 时用三段式（Instruction / Input / Response），无 input 时用两段式。demo 推理统一采用"空 input"版模板。这个模板细节看似琐碎，实则决定了"推理时喂给模型什么格式"，与实际使用体验直接相关（推断：提示模板的稳定统一，是保证微调后模型在 inference 时指令跟随稳定的隐性前提）。
四、证据链：Alpaca 到底"多像" text-davinci-003？
Alpaca 的"效果证据"有一个鲜明特征：以定性 + 小样本盲评为主，缺乏严格的量化基准。这是它作为"开源事件"而非"严谨论文"的必然印记，也是批判性分析的核心抓手。
4.1 正向证据（"它确实做到了"）
| 证据 | 内容 | 强度评估 |
|---|---|---|
| --- | --- | --- |
| 盲配对人评 | 5 位学生作者在 self-instruct 评测集上做盲配对比较：Alpaca 7B 胜 90 场 vs text-davinci-003 胜 89 场 | 正向，但样本量小、评委即作者本人、且未做统计显著性检验 |
| 交互式定性观察 | 博客称"often behaves similarly to text-davinci-003 on a diverse set of inputs"（在多样输入上行为常与 text-davinci-003 相似）；回答风格偏短（继承了教师的短输出风格） | 正向，但为定性、非量化 |
| 多样性对比 | 52K 数据的 root verb / direct object 分布较 self-instruct 种子更丰富 | 正向，但仅为定性图示，无统计表 |
| 复现可信度 | 团队称用公开命令可复现出与 demo 同等质量模型（README 给出 Python 3.10 实测） | 正向，声明性质，未附独立第三方复现 |
4.2 负向证据（团队主动披露的反面案例）
- 幻觉是主要失败模式：博客举例——模型答"坦桑尼亚首都为 Dar es Salaam"，实际应为 Dodoma（Dar es Salaam 是 1974 年前的旧首都）。更关键的是，Alpaca 的幻觉频率甚至高于它的教师 text-davinci-003。这是一个重要的、诚实的反例：用强教师生成数据，未必能继承教师的事实准确性，反而可能放大幻觉（推断：这与"蒸馏可能导致教师幻觉向下游传播"的机理相符，是 Alpaca 隐含揭示的一个深层问题）。
- 其他问题：毒性、刻板印象亦存在；团队明确自认"we have not yet fine-tuned the Alpaca model to be safe and harmless"（尚未做安全对齐）。
4.3 证据链的强度判断
综合看，Alpaca 的证据链属于"方向正确、幅度存疑"：
- 证明了的：用强基座 + 便宜自生成数据 + 学术算力，可以做出一个与 SOTA 闭源指令模型"行为近似"的模型——这一定性主张有较多佐证。
- 未严格证明的：Alpaca 是否"更好"或有竞争力？90 : 89 的小样本盲评 + 评委即作者 + 无显著性检验，在统计意义上不足以支撑"Alpaca 胜过 text-davinci-003"的结论，合理的解读应是"两者在定性水平上接近、互有胜负"。
- 诚实加分项：团队主动披露幻觉反例与未做安全对齐，这种坦诚反而增加了"它是真实研究而非营销"的可信度。
五、批判性分析：表面的"便宜神话"之下，藏着哪些深层问题
Alpaca 最打动人的是"<$600 复现 SOTA"的故事，但批判性审视会发现这个故事在多个层面都存在张力或简化。
5.1 成本的"便宜"是相对的，且存在隐性成本
- <$600 的数字口径：数据生成 <$500（一次性 API 费用）+ 训练 <$100（一次性云 GPU）。这确实低廉，但不含 LLaMA 基座自身的训练成本与获取成本——LLaMA 是 Meta（及大量算力）训练出来的，Alpaca 是站在巨人肩膀上摘果子。（推断：Alpaca 的"低成本"高度依赖"已有强开源基座"这一前提，如果基座不存在，这个 $600 无从谈起；因此它更像"复现成本低"，而非"从零训练成本低"。）
- 隐藏的隐性成本：数据生成的 prompt 工程调试（含 prompt.txt 的错误与修复）、weight diff 恢复流程对用户的操作门槛、以及后续因缺乏安全对齐而要承担的治理成本。这些都不计入那个 $600。
5.2 数据生成"自举"可能放大质量缺陷
Alpaca 用 text-davinci-003 生成 52K 数据，再教"学生"模型。这条蒸馏链路存在一个系统性风险：教师模型的事实错误、偏见、毒性会被"高保真"地复制甚至放大到学生身上。证据链中"Alpaca 幻觉频率高于其教师"这一反例，恰恰印证了这种风险。批判性结论是："用更便宜的数据蒸馏"并不天然等价于"用更便宜获得好模型"，数据生成方向的偏差会随模型规模复现。这是后来大量低质开源指令数据被诟病"幻觉高、格式差"的根源之一。
5.3 评测薄弱：能力主张缺少硬基准背书
这是 Alpaca 最大的软肋：
- 无基准：项目没有在 HELM、MMLU、HellaSwag、TruthfulQA 等当时已存在的公开基准上做系统评测（博客只把它列为"Future directions"中的 HELM 评估）。它对自己的评价主要靠"小样本盲评 + 主观观察"。
- 评测协议不透明：评测集（题目清单、评判标准、题目数量、置信区间）均未公开。90 : 89 这样精确到场的数字，因缺乏协议细节而难以被社区复核或复现。
- "行为近似"≠"能力相当"：定性上的"similar behaviors"不能替代量化上的能力对齐。把两者混同，容易造成"开源已追平闭源"的过度乐观（推断：当时社区对 Alpaca 的传播普遍放大了"接近 GPT"的一面，而低估了"评测薄弱"的一面）。
- 13B 只给了超参没给效果：README 给了 7B/13B 的超参表，但 13B 的评测结果从未单独公布——这削弱了"方法论可外推到更大尺度"的证明力。
5.4 安全与伦理：一个未经对齐的模型被推向了公共 demo
Alpaca 发布时明确承认"未做安全对齐"，但仍上线了交互 demo。团队的发布决策是一个复杂的风险评估（博客"Release decision"一节）——权衡了两点：
- 风险面：能力可行性被揭示（可能引发滥用）vs 学术防御性研究收益（让研究者能研究指令模型的漏洞与防护，而非只有大厂掌握）。
- 缓解措施：demo 上线时采用三层防线——OpenAI content moderation API 内容过滤 + Kirchenbauer et al. 2023 的输出水印（置入可检测水印）+ 严格的非商业条款。此外，demo 还通过众包收集用户反馈以弥补评测之不足。
批判性观察是：这些缓解措施（尤其内容过滤与水印）是"草台班子式"的权宜之计，无法根本解决模型本身的不可靠。事实上后续 Update 明确表示 demo 已下线，原因正是托管成本与内容过滤器不足（推断：这印证了"未经对齐的模型直接面向公众"在工程与治理上不可持续，也是 Alpaca 团队一次迫于实际的收缩）。
5.5 许可困境："开放开源"的边界与伪开放质疑
Alpaca 在许可上自相矛盾又被迫如此：
- 代码 Apache 2.0，但数据集（alpaca_data.json）与 weight diff 均为 CC BY NC 4.0，仅限非商业研究使用。
- 三重禁止商用：① LLaMA 非商业许可传染；② text-davinci-003 服务条款禁止训练与其竞争的模型；③ 模型缺乏安全措施不宜商用部署。
- 批判性结论：Alpaca 表面上"完全开源"，实则是一个"受限共享"——它把数据的非商业约束与 weight diff 的设计，一并写成"全套开源"故事的一部分。这提示我们：当"开源模型"的基座与数据都背着非商业条款时，所谓的"开源社区生态"其实是在一个许可缝隙里运作，其长期可持续性存疑。
5.6 可复现性的"一次性"与"可证伪性"缺失
Alpaca 强调复现成本 <$600，并给出公开命令声称可复现出同质量模型。但：
- 一次性发布：没有持续的版本管理、没有基准回归、没有独立第三方复现报告。
- prompt.txt 已知错误（PR #24）对数据的实际影响未量化——一个连项目自承有错的生成提示词，其错误对 52K 数据质量的边际影响究竟多大，源中无答案。
- 批判性结论：Alpaca 的"可复现"更多停留在"命令可跑"层面，而非"结论可证伪"层面——它是工程可复现（reproducible）而非科学可证伪（falsifiable）的范式。
5.7 与后世节点的对照洞察（推断）
在历史序列中，Alpaca 暴露出的一系列短板（无基准、幻觉传播、许可受限、未对齐）恰恰被后续节点逐一补全：
- Vicuna / ShareGPT 谱系：用真实用户对话数据取代"种子自生成"数据，缓解了"自举放大缺陷"问题；且普遍更强调用更大模型（13B+）与更强评测。
- 后续安全对齐研究：把 Alpaca"未对齐"的直接教训转化为对 RLHF/DPO 等对齐方法的重视。
- 开源基准化：用更系统、更公开的评测（并透明化协议）回应"评测薄弱"，走向可复现的科学评估。
这一对照说明：Alpaca 的价值与其说是"它做对了什么"，不如说是"它开启了哪一串亟待解决的问题"——它为社区留下了一个既鼓舞人心又布满坑洞的起点。
六、启示与影响：一个 "$600 实验"如何引爆整个开源 LLM 生态
6.1 历史地位：开源 LLM 生态的分水岭事件
Alpaca 于 2023-03-13 发布，在那个时间点上，具备指令跟随能力且（受限）可及的模型极其稀有。它一举把"指令跟随"从大厂的封闭黑盒，拉进学术界的可操作区间。用源内表述概括：它证明"强基座 + 便宜的自生成指令数据 + 3 小时学术级算力"即可逼近闭源 SOTA 的指令跟随表现，把指令微调从大厂专利变为学术可复现操作。这是对此后几个月"开源大模型大爆炸"（Vicuna、gpt4all、ShareGPT 谱系等）的直接点火。
6.2 最直接的三条范式遗产
- weight diff 发布范式：在不可再分发的基座权重之上，通过发布"差值"实现"可复现且合规"。这成为后续所有基于 LLaMA/受限基座做微调的开源项目的通用手法。
- self-instruct 数据生成的规模化与廉价化：把"用教师模型批量生成训练数据"从实验变成工程，并把成本压缩到极低（批量解码 20 条 + 单实例化 + 简化管线），确立了一条"数据蒸馏式指令微调"的成熟路线。
- "成本可复现"作为衡量标准：首次把"别人复现它的代价"写进项目主张，开启了社区对"复现成本/学术可负担性"的关注，影响深远。
6.3 它真正的"洞见"：强基座使廉价数据变得可用
回看 §2 提出的核心命题——在强基座面前，廉价批量生成的数据足以逼近昂贵人工数据的效果。这是 Alpaca 最深刻的、可迁移的洞见。它暗示了后续开源模型的一个共同技术哲学：预训练基座（大算力堆出来的）才是最昂贵、最稀缺的资源；在此之上，指令微调（相对便宜的）反而是可以被社区廉价复制的层。这重塑了社区对"哪一层才值得竞争"的认知——事后看，这直接导向了"开源力量主攻微调与数据、而非重训基座"的分工格局。
6.4 局限它也埋下了"开源幻觉"的种子
Alpaca 的乐观叙事（"开源已逼近闭源"）在传播中被放大，而其"评测薄弱、幻觉泛滥、未对齐、许可受限"的一面被稀释。批判性提醒是：Alpaca 证明的是"成本与复现性"的可行性，而非"能力全面追平"的事实。它在技术史上是里程碑，但在能力结论上被高估。这一认知对于正确评估后续开源模型的真实差距，仍然是重要的过滤器。
6.5 对当下（2026）的回望价值（推断）
站在 2026 年回望，Alpaca 的意义愈发清晰：
- 它开启的"基座-微调-数据-发布"分层生态，已成为开源 LLM 的主流形态。
- 它警示的那些问题——数据蒸馏的偏差传播、未对齐直接上线的治理成本、许可缝隙的不可持续、评测的透明化——正在被后续每个节点以更高标准逐一回应与补全。
- 它作为一个"低成本、高溢出"的研究事件，几乎没有任何后续工作能复制其"以 ~$600 撬动整个生态"的杠杆比，因为后续竞争已把成本与能力门槛都抬高了。
6.6 一句话总结
Alpaca 不是靠算法创新取胜，而是靠"把已有的配方拼装得足够便宜、可复现、且合规地开放出来"这一点，撬动了整个开源 LLM 生态的引爆。它最大的贡献是开启了一串问题，而不是解决它们；它最持久的遗产是"强基座 + 廉价数据 + 差值发布"的组合范式，以及"复现成本也应被当作研究贡献来衡量"的观念。
附：数据依据——关键数字索引（唯一依据：00-源数据提取.md）
| 数字 | 含义 | 备注 |
|---|---|---|
| --- | --- | --- |
| 52,000 | 唯一 instruction 数据条数 | output 由 text-davinci-003 生成，约 40% 带 input |
| <$500 | 52K 数据生成总成本（OpenAI API） | 归功于批量解码等五项改造 |
| <$100 | 初始训练成本（3h × 8×A100 80G） | 多数云厂商定价 |
| <$600 | 全链路复现成本 | 博客摘要口径 |
| 175 | self-instruct 种子指令条目数（⚠️ 非模型规模） | 勘误：外部误传为 175B |
| LLaMA 7B | Alpaca 实际基座 | 13B 仅给超参、未单独公布效果 |
| 90 : 89 | 盲评：Alpaca 7B 胜 90 场 vs text-davinci-003 胜 89 场 | 5 作者、小样本、无显著性检验 |
| 20 | 单次批量解码生成的指令条数 | 成本骤降主力 |
| 128 / 2e-5 / 3 | 全局 batch / lr(7B) / epochs(7B) | 13B: lr 1e-5, epochs 5 |
| 112 GB → 28 GB | 朴素微调 7B 估算显存 → LoRA 后 | "7×4×4" 社区传诵数字 |
| Alpaca-7B-wdiff | weight diff 托管仓库 | 用户自行恢复完整权重 |
*本报告基于 00-源数据提取.md（唯一数据依据）撰写；所有未直接标注"（推断）"的陈述均引自该源文件；标注"（推断）"处为本报告作者基于源内上下文的分析推理，非一手来源陈述。*