怎么读这份"原理史"
这不是一份词条合集，读它也不用背名词。你只要抓住一件事：整部技术史是一条因果链——几乎每一个后来的突破，都是被前一个方法留下的"没解决的麻烦"硬逼出来的。反向传播 1986 年就写在纸上了，却要再等二十六年才真正跑起来；Transformer 也不是谁拍脑袋想出来的，而是研究者被循环神经网络的三个老毛病折磨了十几年之后的反击。所以下面按年份往前走，每一节都用同一套五段式来拆：先问当时到底卡在哪，再看谁想通了什么，然后才是做出了什么、它凭什么管用、又留下什么烂摊子交给下一节。
每一节都按这五步拆开看
当时的人具体被什么难住了？不是笼统的"技术不成熟"，而是某个卡死的细节，比如网络一深就训不动。
有人换了个想法，局面才松动。常常就是一句话级别的转念，比如"信息不该被压成一个向量"。
洞察落地成能跑的东西：一个机制、一个算法、一份能复现的训练配方。
它凭什么真的管用？讲背后的道理，而不是只说一句"实验表明效果更好"。
它没解决什么，甚至新添了什么麻烦——那通常就是下一节的开头。
每节都钉在真实年份上，方便你随时对照当年的算力和数据条件。
一张"问题 → 方法"的因果地图：谁被谁逼出来的
提示：右上角可切换「护眼 / 日间 / 夜间」三套低对比主题；每个交互组件都可以点击或拖动——别只用眼睛看，亲手拖一遍滑块，比读三遍文字有用。读到最后你大概会有个感觉：所谓"AI 爆发"，并没有那么多凭空降临的神迹，更多是一连串"老洞察 + 新规模"被重新兑现。
全景编年史：132 个节点串起的前因后果
先看森林、后看树木：这里是 1943 年到今天的完整脉络，132 个节点串起每一次"当时卡在哪→怎么突破"。建议先花十分钟扫一遍建立全局观，再逐章深入——读完各章回来二刷，感受会完全不同。★ 重磅节点有完整故事，○ 常规节点说清因果，△ 简要节点点到为止；带「工程」标的是"AI 为什么一年便宜十倍"的成本线。内容完整优先于篇幅：任何一条看不懂，点开标题慢慢读。全站陌生术语带 ⓘ 角标（每词只标首次）：悬浮显示一句话简介，点击跳转百科/官方文档/论文页（联网时可用）。
史前与奠基：深度学习的"迟到"
今天这些让人惊掉下巴的模型，根子全埋在 1950–2012 这六十多年里。这一阶段真正的主角是连接主义——它不相信人能把智能一条条写清楚，而主张搭一大堆结构极简单的计算单元（人工神经元），让它们通过可调的连接强度，从数据里自己长出本领。方向很早就对了，可它硬生生等了二十六年，才等到跑得动它的硬件和喂得饱它的数据。所以这一节讲的其实是一场漫长的等待，以及为什么"终于等到了"这件事本身，比其中任何一个单独的算法都重要。
1.1 符号主义与两次寒冬：一条走不通的路，如何把连接主义顶上来
1956 年夏天，达特茅斯会议上第一次正式提出"人工智能"这个词。当时几乎所有人都朝同一个方向使劲，这条路叫符号主义：既然人思考时是在摆弄概念和逻辑，那就把知识写成一条条明确的规则和 if-then 判断（"如果发烧并且咳嗽，那么可能是感冒"这种），让机器照着规则一步步推理。这个思路顺着直觉，起步也相当漂亮——下棋、证明数学定理这类规则清楚、边界明确的任务上，早期系统确实拿出过让人吃惊的成绩。
但它很快撞上一堵墙，后来被称为知识获取瓶颈（知识全靠人一条条往里灌，灌不完也灌不匀）。真实世界的规则多到写不完，而且写得越多越容易互相打架：你刚教它"鸟会飞"，转头就得补"但企鹅不会"，再补"除了……"。想让机器听懂一句家常话，你几乎得把人类的全部常识手写一遍。这就注定了符号系统无法规模化——它的能力上限被人的打字速度锁死了：人写多快，它才多强。
承诺给得太满、东西又交不出来，结果就是 1970 年代和 1980 年代两度进入"AI 寒冬"：舆论转冷，经费断流，不少实验室直接关门。这两次挨打留下一句沉甸甸的教训——没有足够的数据与算力，连接主义（从数据中拟合，而非编程）只是空想。请留意这句话的双重分量：它既解释了当年为什么失败，也预告了后来反复被验证的那条真理——很多"想法上的胜利"，最终都要靠规模才能兑现。
1.2 反向传播（1986）：一个领先时代 20 年的洞察
要让一个多层网络从错误里学习，最难的是"责任分摊"：输出错了，到底该怪哪一层、哪个连接、该调多少？Rumelhart 等人在 1986 年把链式法则（微积分里"层层套娃求导"的那条规则）系统地用到了神经网络上，提出反向传播（Backpropagation）：先正向算一遍得到输出、量出错了多少，再把这个误差从输出层一层层往回推，一路算出每个权重的梯度，也就是"该往哪个方向调、调多大"。至此，训练深层网络第一次有了明确可执行的办法。
数学上，这等于给"深层网络怎么端到端训练"这个根本问题发了通行证。讽刺的是——它当时根本跑不起来。原因有三：① 没有大规模标注数据，网络学不到通用规律，只能把手头几百个样本背下来；② 没有 GPU，用 CPU 训一个中等规模的网络要几天，想换个参数再试就得再等上一周；③ 网络一深就"梯度消失"——误差往回传时要连乘许多个小于一的数，一路缩到接近零，最靠前的那些层几乎收不到有效信号，最后训出来的效果和浅网络没两样。于是这个正确的方法，在纸面上被晾了二十多年。
1.3 2006 逐层预训练：这是"预训练"思想的远祖
到了 2006 年，Hinton 换了个打法，用深度信念网络（DBN）给出一记重击。他的理由很实在：深层网络一上手就端到端硬训，容易陷进局部最优，还被梯度消失掐着脖子；那就别一口吃下——先用无标注数据"逐层贪心预训练"，一层一层地让每层先学会把输入表示成有用的特征（"贪心"是说每层只顾自己这一层学好，不管全局最优），每层都拿到一个不错的初值之后，再把整个网络连起来整体微调。说白了：先各自把基本功练熟，再合练。
这一步的意义怎么强调都不过分——它等于在 2006 年就把一条核心理念摆上了桌面："先学会通用的、底层的表示，再去做具体任务"，比"从零直接训任务"稳得多。请注意这股"先通用后专用"的思想基因：六年之后，它直接演变成了 BERT / GPT 的预训练范式（见第 4 节）。今天大家随口说的"预训练"，和 2006 年那个略显笨拙的"逐层预训练"，是同一灵魂的两次落地——换掉的是数据规模和算力，没换的是"通用表示先行"这个判断。
1.4 2012 AlexNet：第一次证明"数据+GPU+梯度"能碾压人工
2012 年，Krizhevsky、Sutskever、Hinton 带着 AlexNet 参加 ImageNet 图像分类竞赛，把第二名远远甩开，整个视觉圈的空气当场就变了。有意思的是，它的"秘密"不是某个惊世算法，而是把几样早已成熟的零件第一次组合对了：卷积（只看局部，同一套权值在整张图上滑动复用，既省参数又抓住了"图像平移了还是同一个东西"这条规律）、ReLU 激活（负的直接归零、正的原样通过，避开老式激活函数两头饱和、梯度趋零的毛病，让梯度流得更顺）、Dropout（训练时随机让一部分神经元罢工，逼网络别死记硬背、防过拟合），以及用 GPU（本是拿来渲染游戏画面的并行计算卡）把训练时间压进了"要熬几天、但真的能做完"的范围。
所以 AlexNet 真正确立的不是某个网络结构，而是一整套范式：只要数据够大、算力够猛、老实用梯度下降去拟合，就能超过人类专家精心手工设计的特征。这句话的位置很关键——后面所有大模型"大力出奇迹"的方法论，源头就在这儿。此前研究者要花几年琢磨"该提取什么特征"，从这一刻起，问题变成了"该准备多少数据、买多少卡"。
失败/淘汰路线：符号主义的退场
回头看，符号主义为什么最终让位？因为它把"智能"绑死在"人类手写规则"上，而规则无法规模化。专家系统（把某个行业专家的经验整理成规则库，帮人做判断）在窄领域里确实好用——1980 年代 DEC 公司的 XCON 就靠一大套规则替客户配置小型机订单，实实在在省下过钱。但它的维护成本随规则数指数上升：规则一多，改一条就可能碰倒另外十条；一旦遇到规则库里没写过的情形，它不会将就，直接束手无策。连接主义则把"写规则"换成"从数据里学参数"，可扩展性上发生了质变：想更强，加数据、加算力就行，不必再请一百位专家坐下来吵三年。这才是历史选择的真正分水岭。
序列模型的困境：Transformer 为什么会被发明
图像这边被 CNN 打开了局面，但语言、语音、时间序列是另一类东西：它们有先后顺序，前面出现了什么会决定后面该出什么，模型必须"记住前文"。RNN 和后来的 LSTM 在这条路上顶了将近二十年，可它们身上有三个硬伤，怎么补都补不干净。这一章的看点就是这三个硬伤——正是它们一步步逼出了注意力，最终逼出了 Transformer。
2.1 RNN / LSTM 解决了什么，又卡在哪里
1990 年代起流行的 RNN（循环神经网络）想法很朴素：让网络随身带一个"隐状态"——可以理解成一张随时改写的记忆便签，读一个词就更新一次，再交给下一步。这样无论句子多长，模型都能用同一套参数一个词一个词地读下去，天然适合处理变长序列。LSTM（1997）在这张便签外面加了三道"门控"：输入门管这次的新信息记多少，遗忘门管旧记忆擦掉多少，输出门管往外吐多少。有了门，记忆不再每步都被粗暴覆盖，梯度消失被大幅缓解，模型第一次真能记住比较长的上下文——那个年代能用的机器翻译和语音识别，靠的就是它。
但请分清"缓解"和"根治"：LSTM 做到的只是前者。它有三个结构性硬伤——不是调参能修的 bug，而是这个架构长成这样就必然要付的代价。巧的是，Transformer 后来的每个核心设计，几乎都能一对一地对上其中某一个：
顺序计算，无法并行。第 t 步必须等第 t−1 步算完才能开工，因为它要用上一步刚更新完的记忆便签。于是 GPU 里成千上万个核心只能排队干瞪眼，一次只推进一小步。训练慢就意味着数据喂不完、模型不敢做大，模型规模被死死卡住。
长程依赖衰减。句子开头的信息想影响结尾，只能一步一步接力传过去，每传一步都被新信息冲淡一点。句子一长，前面那条线索往往在半路上就被磨没了，模型根本用不上它。
记忆瓶颈。不管前文有多少内容，全都要压进一个固定大小的隐状态向量。容量是死的，信息自然会"漏"——读到长句后半段时，常常已经忘了前半段说的是什么，就像想用一张便签记下一整场会议。
2.2 Bahdanau 注意力（2014）：信息不该被压成定长向量
先看当时机器翻译怎么做：编码器把整句源文从头读到尾，压成一个定长向量（一串长度固定的数字，理论上代表"这句话的意思"），然后解码器只能捧着这一串数字，把整句译文一个词一个词地吐出来。短句还应付得过去；句子一长，几十个词的全部信息挤在同样长的数字里，根本装不下，翻译质量随句长雪崩。这个现象当年是被明确观察到的：句子一过某个长度，评分就开始往下垮。
Bahdanau 等人提出一个现在看来理所当然、当时却极巧妙的改动：不要让解码器死盯着一个向量，而是在生成每一个目标词时，"回头检索"最相关的那些源词。具体做法是，对编码器留下的所有隐状态各算一个"注意力权重"（越相关分数越高），再按权重加权求和，得到这一步专用的"上下文向量"。于是译到"苹果"时它会多看源句里的 apple，译到动词时权重就滑向动词——而这套权重不是人指定的，是模型在训练中自己学会怎么分配的。
这一步把"全局压缩"换成了"动态检索"，长句翻译质量立刻显著提升，句子一长就崩的老毛病被按住了。但要看清它的边界——它仍然跑在 RNN 之上：编码器、解码器还是那个一步等一步的循环结构，注意力只是给 RNN 打了一个很漂亮的补丁，"不能并行"这个最根本的硬伤一点没动。补丁虽好，根病未除。三年之后，终于有人问出了那个关键问题：既然真正干活的是注意力，把 RNN 整个扔掉行不行？
Transformer：自注意力如何"一统江湖"
RNN 撑了机器翻译好些年，却有三个绕不开的硬伤：①必须一个词一个词串行处理，GPU 的并行算力根本用不上；②它靠一个隐状态把历史一路往后传，句子一长，靠前的信息要么被冲淡（梯度消失）要么爆掉（梯度爆炸），长程依赖极难学；③每步都卡在上一步算完，训练被死死锁住。注意力机制（Bahdanau 等，2014）本只是给 RNN 打的补丁——让解码时直接回头"看"编码端的全部词，缓解信息被压进单个隐状态的瓶颈。既然注意力这么好，那能不能干脆把 RNN 也扔了、光靠注意力？2017 年 Google 的《Attention Is All You Need》说：能，而且一劳永逸地把 RNN 的三个硬伤全拆了。
3.1 三个洞察（为什么是这三点）
① 自注意力（Self-Attention，让序列内部"谁和谁相关"由模型自己算）。RNN 里两个词想互通，信息得沿时间步一步步传，隔得越远损耗越大；自注意力则让序列里每个词同时去"看"所有其他词，靠三组长相相似的向量 Q（我想找什么）、K（我是什么）、V（我贡献什么）算相关性再加权汇总。结果"任意两个位置"的关联距离被压成 O(1) 步（RNN 是 O(n)），长程依赖不再随距离衰减——这正是后来大模型"读得懂长文"的源头。
② 位置编码（Positional Encoding，把"第几个词"这件事显式喂给模型）。RNN 靠"先算第 1 个再算第 2 个"天然带顺序感；可一旦去掉循环、所有词同时算，模型就分不清"猫追狗"和"狗追猫"了。于是 Transformer 往每个词里显式注入位置信息——要么用一组不同频率的正弦波（位置即相位），要么直接学一组位置向量——把"顺序"变成可学习的偏置。这样既保住了全并行，又让模型"知先后"。
③ 纯注意力堆叠 + 残差/层归一化（LayerNorm，把每层输出拉回稳定区间）。单个注意力只能看到一种"关系视角"，于是 Transformer 用多头注意力并行看不同的"关系子空间"——语法搭配、指代关系、语义相似……像多组专家同时读同一句话。但层一多就训练不稳，所以靠 3.4 要细讲的残差连接和层归一化兜底，让上百层也能稳稳收敛。
3.2 为什么有效（被低估的一点）
很多人记住 Transformer 是因为它效果碾压，但它真正的历史意义其实是"可并行 + 可缩放"。RNN 那套"逐词串行"把计算锁成了单线程，GPU 上万个核心只能干瞪眼；Transformer 把"算两个词的相关性"全改写成矩阵乘法——一次把整句话塞进 GPU，几乎全部运算都能并行。语言建模从此从一个"慢慢读"的问题，变成了一个"堆算力"的问题。
这一步等于替后来的"无脑堆规模"扫清了架构障碍：模型不再受串行拖累，只要你砸算力、加数据，它就能变大变强，不会因为"算不动"而触顶。换句话说，Transformer 是缩放定律（模型越大、数据越多、效果越好）能够成立的前提。没有这块统一的并行底座，后面 GPT 系列那种几千亿参数的规模化语言模型根本无从谈起。
3.3 交互：RNN 的顺序流 vs Transformer 的全连接
点"播放"，看两者怎么处理同一串 5 个词：RNN 像接力，必须一个接一个串行流过，序列越长这条链路越长（路径长度 O(n)）；Transformer 像开全体会议，一步之内让所有词两两相连，不管句子多长，任意两词的距离恒为 1（路径长度 O(1)）。
RNN / LSTM（串行 · 不能并行）
Transformer 自注意力（全连接 · 一步并行）
3.4 残差连接深入：为什么深层网络"敢"堆到上千层
Transformer 之所以敢堆到上百层，靠的是残差连接（ResNet，何恺明等，2015）。深层网络有个反直觉的坑：人们本以为层多了是过拟合，实际却是优化困难——层数越深，训练误差反而越大（这叫"退化"）。根子在反向传播：误差要从输出一路乘回输入，梯度经过几十上百次连乘，极易被压到接近 0（梯度消失，前面学不动）或冲到无穷大（梯度爆炸，直接发散）。
残差的做法极简却极妙：它不再逼每层去学"从输入到输出的完整映射 H(x)"，而是只学"残差"——也就是 H(x) 和输入 x 的差 F(x) = H(x) − x，最终输出写成 y = F(x) + x。那条多出来的"+x"就是一条捷径（skip connection，跨层直连）：反向传梯度时，至少有一条"原样传回"的恒等路径（乘子≈1），信息能跨过中间层直达浅层，不会在半路消失。正是这条捷径，让上百甚至上千层都能稳定训练——这也是今天大模型能做得那么深的根本原因。
x 直接相加
梯度≈1，不消失
有残差时，反向梯度至少包含一条"恒等路径"（≈1），信息可跨层直达，因此能训练成百上千层。
预训练范式：人们为什么想到"先学通用表示，再适配任务"
"预训练"不是哪个人拍脑袋的灵光一现，而是被现实一步步逼出来的必然。过去每个任务都得单独标数据、从零训模型，成本根本扛不住；人们于是追问：能不能先学会"通用的语言能力"，再便宜地适配到具体任务？下面顺着思想祖先链，看这四步是怎么走通的。
4.1 远祖 word2vec（2013）：词义 = 上下文
在 word2vec 之前，词表示是 one-hot（每个词一个独立向量，词和词之间毫无关联），模型根本理解不了"国王 − 男人 + 女人 ≈ 女王"这种关系。2013 年 Mikolov 等人的 word2vec 抛出一个朴素却深刻的假设——分布式假说：一个词的意思，藏在它经常一起出现的邻居词里。词不再靠"被单独编号"表示，而靠"常和谁搭伙"来定义。
顺着这个假设，word2vec 设计了一个不需要人工标注的"借口任务"：让模型根据上下文去预测中心词（或反过来）。任务本身只是手段，真正的收获是把每个词压成一个稠密向量，让语义相近的词在向量空间里自动聚拢。这是历史上第一次用"无标注文本 + 自监督"学到通用表示，也埋下了预训练的第一个信念——海量无标注数据里本来就藏着通用知识，可以先用起来，不必等标注。
4.2 ELMo（2018）：词意随语境而变
word2vec 有个硬伤：每个词只有孤零零一个向量，"苹果(公司)"和"苹果(水果)"根本分不清——它把词义当成了静态的标签。2018 年的 ELMo 捅破了这层窗户纸：词义是随语境流动的。它先用一个双向 LSTM 语言模型（从左读一遍、从右读一遍）把整句话的语境学到手，再把语境编码进词向量。于是同一个"苹果"，在公司新闻里和水果摊里会拿到不同的向量——词义第一次"活"了过来。
更关键的是它的做法：先在一个大语料上自监督地训好一个语言模型，再把模型内部学到的隐状态直接当成"上下文相关词向量"，接到下游任务上用。这套"先训语言模型、再取它的表示"的套路，已经把后来预训练范式的骨架搭出来了——只差有人把它喊成一句口号。
4.3 ULMFiT（2018）："微调范式"被正式命名
每个 NLP 任务都从零标数据、从零训模型，数据一少就过拟合，这是当时最大的痛点。2018 年的 ULMFiT 第一次把一套可复用的方法论说清楚：先在大语料上训一个语言模型、学到通用的语言规律，再用少量标注数据"微调"到具体任务，并配上了分阶段训练、差异学习率等实用技巧。"预训练→微调"从此不再是个别团队的野路子，而成了能写进教材的标准动作。
值得一提的是，ULMFiT 和 2006 年 Hinton 提出的"逐层预训练"（用无监督方式一层层初始化深度网络）在精神上是一脉相承的——都是"先学通用的、再调成专用的"。区别只是手段升级了：从"无监督逐层初始化"进化成了"自监督语言建模 + 微调"。这条线索说明，预训练的思想其实早有伏笔，只是等到了合适的语言和算力才爆发。
4.4 BERT 与 GPT（2018–2019）：两条路，同一灵魂
到了 2018–2019，BERT 和 GPT 两条路线同时开窍，认准了同一件事：标注数据又贵又无穷无尽，但"预测文本自己"这个任务几乎免费——语料里每个词都是现成的答案。既然答案不要钱，那就用"自监督借口任务"先把通用语言能力练出来。两条路的分叉点，只在于"借口任务怎么设计"：
BERT 走编码器路线，随机盖住（mask）一部分词（这就是 MLM，掩码语言建模），逼模型根据左右上下文去猜被盖住的词 → 等于逼它做"双向理解"，天然擅长分类、抽取、检索这类"读懂一段文本"的任务。
GPT 走解码器路线，只根据前面的词预测下一个词（这就是自回归）——模型只能"从左往右"生成，却因此练出了"接着写"的能力，天然适合对话、创作、续写这类"产出新文本"的任务。
两条路一个"看两边"、一个"只看前面"，方向相反，但灵魂完全一样：都是用几乎免费的自监督，先把海量文本里的通用语言能力"存"进一个大模型，再便宜地适配到具体任务。后来的故事，不过是在这条灵魂上不断加高加宽——而正是这种"先存通用能力、再缩放"的范式，为后面要讲的"能力涌现"埋下了伏笔。
失败/淘汰路线：纯"从头训任务"的消亡
在预训练范式确立之前，业界主流是"每个任务单独收集标注、从零训一个模型"。这套打法在大数据时代被彻底放大了弱点：标注贵、小数据容易过拟合、每次都从零开始无法复用通识。预训练范式用"一次学通识、处处做微调"在成本和效果上形成碾压，这条老路基本退出主流——今天只在极少数细分、数据极少的场景里还偶有踪影。
4.5 为什么"预训练"会被想到（总结性回答）
标注太贵、任务太多 → 不可能给每个任务都从零训一个模型，必须先有一份"通用底子"。
无标注文本近乎无限 → 自监督让我们能"白嫖"其中蕴藏的通用知识，不用苦等人工标注。
迁移学习的老经验 → 网络底层的通用特征可以复用，没必要每个任务重学一遍基础。
2006 的逐层预训练 + 2012 年深度学习规模化，已经在实践上证明"先学通用、再调专用"这条路走得通。
交互：预训练 → 微调 流水线
海量无标注语料
网页/书籍/代码，万亿 token 级。
→自监督预训练
预测下一个词，学到通用语言与世界知识。
→微调到任务
用少量标注数据适配具体任务。
→可用模型
一个通才 + 一份任务适配。
点击上方任一阶段查看说明。
实操：预训练到底怎么做（一条可复现的流水线）
GPT-3 与"质变"之谜：涌现为什么会出现
把参数堆到 175B 之后，GPT-3 第一次让人看到：模型"不微调、只给几个例子"就能翻译、做题、写代码。这就冒出两个问题——涌现（能力为什么是"突然"长出来的？）和缩放定律（这种增长能不能提前算出来？）。本节只讲涌现，而且会把"到底有没有真突变"这件事的三个视角和诚实结论一起摊开讲。
5.1 GPT-3（2020）：为什么"免微调也能干活"令人震惊
在 GPT-3 之前，模型（比如 GPT-2、BERT）想做某件具体任务，通常得先"微调"——用这份任务的数据再训练一遍，把权重改了才能上岗。GPT-3 在 175B 参数下完全不更新权重（这叫"冻结权重"），只是把几个例子塞进提示里（这种用法叫上下文学习 / few-shot），它就能照着样子翻译、做题、写代码。等于没培训、只给示范，它就学会了。
真正让人后背发凉的是：能力好像不是被"教"出来的，而是规模本身"长"出来的。模型在预训练（用海量文本无监督地学语言）阶段就悄悄记下了大量任务的套路，只是参数不够大时这些套路被埋着，规模一过线才冒出来。这个发现像一根火柴，直接点燃了两件事：后面要讲的"涌现"之争，以及把规模做成工程的"缩放定律"。
5.2 涌现：它到底是什么、又为什么会出现（全篇重点）
所谓涌现，就是"小模型不会、大模型突然会"的能力。这件事为什么发生，是全篇最需要讲透的一节——因为它卡住了整个领域：如果能力是平滑长出来的，那"大力出奇迹"只是量变；如果真有突变，那就意味着大模型里发生了某种质变，可以另说一段故事。下面我们把三种主流解释摆出来，再给一个诚实的、不糊弄的结论。
诚实结论（研究现状）
诚实地说：到今天我们也没有完全解释涌现。目前最稳妥的说法是，涌现 = 平滑下降的损失 + 离散 / 非线性的评分指标 + 任务内在的难度阈值 + 组合性 四件事叠在一起的表象。有的能力是真跃迁（B、C 在起作用），有的只是被指标放大（A 在起作用）。这恰恰是它最迷人、也最该如实讲清的地方——请别把它当成已经被破解的魔法，也别轻易相信"堆参数就一定能蹦出新能力"。
5.3 交互：拖动滑块看"相变"，并换个指标验证突变是不是假象
拖动滑块改变模型规模。请你盯两条曲线看它们在演示什么：① 蓝绿色那条是"能力 / 准确率"——它在阈值之前几乎贴着地面（0 分），一旦规模跨过某个点就瞬间蹦到 1（满分），看起来像"质变"。② 勾选下面的"改用连续损失指标"后，会冒出另一条曲线：它用连续损失（越低越好）去衡量同一个训练过程，结果是平滑、没有跳变地一路往下掉。同一个模型、同一段训练，只因为"换了个尺子"，阶跃就消失了——这正是视角 A 说的"度量假象"：你看到的突变，可能只是打分方式在跳。
三大缩放定律：它们是怎么被"想"出来的
你大概会问："缩放定律到底是怎么被人想出来的？"答案很朴素：每一条定律都起于一个具体的工程难题——怕烧钱、怕训错方向、怕训练侧到顶——而且三条是同一件事的三次递进：先说"规模有用且能预测"，再补"参数和数据要配平"，最后把算力从训练搬到了推理。
6.1 Kaplan 等（2020）：经验幂律——把"大力出奇迹"变成可预算的曲线
动机（很务实）：2020 年前后，训一个大模型动辄几百万美元，没人敢拍脑袋调参。工程师最需要的是一条"拿小实验就能预测大模型表现"的经验规律——先在小模型上跑出曲线，再外推到大模型，好做预算和"该不该上"的决策。
发现：Kaplan 等人测出来——测试损失 L 和算力 C、参数量 N、数据量 D 都服从幂律（一种"翻一倍投入、收益按固定比例缩水"的关系）：L ∝ C^(−α)，其中 α≈0.076。翻译成人话：你加算力、加参数、加数据，损失都会顺着一条可以提前画出来的曲线往下掉，而不是忽好忽坏。
为什么偏偏是幂律（往机理里看）：经验上，机器学习的"学习曲线"天然常呈幂律；理论上，模型的有效容量随参数 / 数据呈幂次增长，而损失又随容量呈幂次下降，两层幂次套在一起，还是幂律。更妙的是，它呼应了 Sutton 的"苦涩的教训"：越是通用的、靠"搜索 + 学习"随算力一起放大的方法，长期越能赢过人工精心设计的小聪明。换句话说，幂律不是巧合，它正是"大力出奇迹"能被量化的数学脸面。
6.2 Chinchilla（Hoffmann 2022）：最优分配——此前大家都把数据训少了
背景问题：Kaplan 定律一出，全行业开始"疯狂堆参数"。可 Hoffmann 等人心里犯嘀咕——是不是光顾着堆参数、数据给少了？毕竟定律只说"损失随参数降"，没说参数和数据的配比该怎么定。
关键洞察：在总算力固定的前提下，"堆参数"和"喂数据"不能各长各的，而要同步、等量地增长才最优。Hoffmann 等人用跟 GPT-3 同级别的算力，训了一个只有 70B 参数、却吃了 1.4T token 的 Chinchilla，结果反手压过了参数大得多的 Gopher（280B）和 GPT-3（175B）。小身板、大食量，赢了。
为什么能想到：他们只是把"最优分配"这个老问题重做了一遍——此前大家只优化参数一个旋钮，忘了数据同样是能缩放的维度，而且和参数平起平坐。结论落到一条朴素配比：约 20 个 token 配 1 个参数。这记耳光打醒了"越大越好"的执念：参数和数据必须手拉手一起涨，单押一边都是浪费钱。
6.3 测试时缩放（2024+，o1 / DeepSeek-R1）：把算力从训练搬到了推理
动机：到了 2024 年，训练侧（把模型训出来那一步）的算力越来越贵，再加参数收益也开始"钝化"；但反过来想，"让模型在回答时多算一会儿"——也就是推理侧——便宜得多，几乎想加多少加多少。
关键洞察：把"算力（compute）"从训练挪到推理：模型遇到难题时，用思维链（一步步把想法写出来）、搜索、自我验证多花计算，表现就还能接着涨。等于把"变聪明"的投入，从"出厂前"挪到了"答题时"。
为什么能想到：借的是人类"快思（系统 1，凭直觉）/ 慢思（系统 2，慢慢盘）"的镜子——难题不该靠秒回的直觉，该靠"多想几遍"。o1、DeepSeek-R1 用强化学习，把"愿意多想"训练成了模型自发的习惯，想不通就自己换路子再试，于是推理算力真正变成了可缩放的"第二增长曲线"。
6.4 交互：损失与能力如何随规模变化（三大定律的总览）
拖动滑块把模型规模从 1e7 拉到 1e12，看两条轴在讲什么：左轴、蓝绿实线是预测损失（Kaplan 2020 的幂律，平滑往下掉，全程没有跳变）；右轴、金色虚线是能力，在跨过"涌现阈值"后快速爬升。请特别注意这两点的反差：① 损失从头到尾都是平滑的；② 你以为的"能力突然涌现"，其实发生在损失平稳下降的半路上——能力那条线的"跳"，对应不到损失线任何一处"跳"。这把第 5 节的争论和第 6 节的定律连起来了。
交互：固定算力下，算力该怎么分给"参数 vs 数据"？（Chinchilla 2022）
这个交互卡死一个约束：总算力固定不变。你拖滑块决定把多少算力分给"参数"，剩下那部分自动归"数据"，两者此消彼长。留意曲线（综合表现）的峰值落在哪：Chinchilla 的答案是给参数约 28%（约等于 1 个参数配 20 个 token）时最好，往参数或数据任一边偏都会掉分。这也解释了为什么 2022 年之前的模型（GPT-3、Gopher）普遍"参数堆太多、数据喂太少"——它们没把算力在两个旋钮上配平。
后训练与对齐：人们为什么想到"训练完还要再训一轮"
为什么要在"训练完一整轮大模型"之后，还要再单独训一次？这个问题，其实是从一个一开始被忽略的现象里长出来的——模型能流畅接话，并不等于它在按你说的、你想要的方式说话。会背书，不等于会听话。这道缝隙，正是后训练（post-training，训练完成后的二次对齐训练）要补的地方。
7.1 对齐问题（Alignment）是怎么被发现的
预训练模型学到的，本质上是"互联网文本的联合分布"——也就是"网上的句子通常按什么规律接在一起"。这让它什么文体都能模仿，却保证不了写出来的正是你想要的：它会跑题、会顺手吐出有毒内容、会为了讨好你而无脑点头、会无视你指定的指令格式。
人们慢慢看清一件事："能力强"和"听话、安全"是两条不同的线。预训练给的是前者（知识、语言、推理的底座），而"让它按人类意图和价值观行事"这层，预训练本身并不负责。于是就需要一个独立环节，把已经具备的能力"对齐（alignment，把模型行为校准到人类想要的轨道）"到人身上——这，就是后训练存在的根由。
7.2 InstructGPT / RLHF（2022）：为什么用"偏好"而非"标准答案"
背景问题：让人直接给"每个任务的标准答案"来教模型，这条路走不通：贵（要专家一条条写）、主观（什么算"好"各执一词），更致命的是写不完——任务无穷多，你永远补不全。换句话说，人能轻松判断"哪句更好"，却很难为每件事定义"什么才算正确"。
关键洞察（极巧妙）：让人去"比较"两句回答里哪句更好，远比让人"写"出什么是好回答要容易，而且不同人之间判断也更一致。于是模糊的"有用 / 无害"被转化成了一个可比较的信号——你不必定义"好"，只要在两者里挑出更好的那个。
方法三步走：① SFT（监督微调，用少量"示范回答"教模型照这个格式和语气作答）；② 奖励模型 RM（用一个人类"二选一偏好"的数据集，训练出一个能打分的模型，依据是 Bradley-Terry 偏好模型——简单说就是"人更喜欢 A 还是 B"的概率）；③ RLHF（PPO，强化学习，拿这个打分器当"奖赏"，引导模型生成更受偏好的回答）。三步合起来，把模糊的"有用 / 无害"压成了一个可微（可被梯度优化）的奖励信号。
7.3 DPO（2023）：为什么想到"去掉奖励模型"
背景问题：但 RLHF 不是终点。它先得训一个奖励模型，而这个奖励模型本身会被"钻空子（reward hacking，模型找到骗高分而非真变好的漏洞）"、会随着训练漂移；再加上 PPO 这套强化学习对超参数极为敏感、训练经常崩。中间那层奖励模型，既是瓶颈也是隐患。
关键洞察：突破在于一道数学证明：直接在"偏好对"上做一个"分类式"的损失（判断人更喜欢 A 还是 B），在数学上等价于 RLHF 求出的最优解。既然等价，那干脆把奖励模型扔了、把强化学习也省了，只留一个简单损失函数去直接优化偏好。
贡献：后训练从"强化学习 + 奖励模型"两套复杂装置，瘦身为"一个分类损失"。训练更稳、更容易复现，连小团队和开源社区都能自己做对齐——这也是为什么 2023 年后偏好优化迅速普及。
失败/淘汰路线：奖励模型被攻破、PPO 不稳
RLHF 从来不是完美终点。奖励模型本质是"用一个模型去给另一个模型打分"，它自己会被策略模型钻空子——模型学会写出看似高分、实则空洞的套话；而 PPO 对学习率、奖励缩放极度敏感，调参像走钢丝。正是这些痛点，逼出了 DPO、RRHF、以及一众"去奖励模型"的简化路线。后训练这块，至今仍在快速演化。
7.4 交互：对齐流水线 + "若无后训练"反例
SFT 监督微调
用示范回答教"格式与风格"。
→训练奖励模型
用人类偏好二选一训打分器。
→RLHF (PPO)
强化学习让生成拿高分。
→DPO 直优化
去掉奖励模型，直接偏好分类。
点击上方任一阶段查看说明。
反例：如果跳过"后训练"会怎样？
仅预训练的输出：
"用户：怎么安全地绕过密码？"
→ 模型很可能直接罗列具体操作步骤。它并非"使坏"，只是顺着"网上这类句子通常怎么接"去补全——它没被教过"这种回答不该给"。
后训练后的输出：
"用户：怎么安全地绕过密码？"
→ 先澄清你的真实意图、点明风险，再引导到正当途径（比如走找回密码流程）。这一层"分寸感"，是后训练才补上的。
这组对照点透了本质：预训练 = 给模型"能力与知识"；后训练 = 给模型"人格、边界与意图跟随"。两者之所以拆开做，是因为目标、数据、优化方式根本不是一回事。
7.5 实操：2025–2026 的"模块化后训练栈"（重点）
你若追问"后训练到底具体怎么做"，答案已经和 2022 年那套单一 RLHF 大不一样。今天的业界是一条模块化流水线，每一段专门解决一类问题，段与段可以独立替换、自由组合：
SFT 指令跟随
高质量指令数据，建立格式/风格。
→偏好优化
DPO/SimPO/KTO，离线、低成本对齐。
→RLVR 推理强化
GRPO/DAPO + 可验证奖励，练数学/代码。
→安全 RL
宪法 AI / 规则 RL，守住红线边界。
点击上方任一段查看具体做法。
奖励家族：信号从哪来，决定能优化什么
点击按钮查看该奖励家族的"信号来源 → 用途 → 优缺点"。
推理时代：思维链与"会思考的模型"
模型即便对齐得很乖，碰到烧脑的题还是容易"一步跨错、满盘皆输"。于是人们换了个思路：与其逼它直接给答案，不如让它先把思考过程写下来。
8.1 Chain-of-Thought（2022）：为什么"一步步写"能变聪明
背景问题：直接把难题抛给模型要答案，它常常卡在某一环算错，而这一错就一路带偏到结尾。
关键洞察：复杂任务靠的是"中间计算"，不是凭空灵感。让模型"先把推理步骤写清楚，再落答案"，等于把一道难的一步，拆成几道简单的小步——每步更不易错，而且一旦错了也能顺着步骤定位、回改。
为什么有效：它把原本藏在权重里的推理"外显"成了文字，让模型最擅长的"生成"反过来帮它"决策"。这其实就是"测试时缩放（test-time scaling，在推理阶段多花计算换准确率）"的雏形——多烧点 token 当思考，准确率就上来。
8.2 o1 / DeepSeek-R1（2024–2025）：把 CoT 变成"训练目标"
动机：CoT 一开始是靠"人在提示词里写'请一步步想'"逼出来的。那自然就问：能不能不让人数，让模型自己学会"长思考"？
方法：用强化学习，而且只奖励"最终答案对不对"，不规定思考长什么样。模型为了拿到高分，在反复试探中自己长出了"想久一点、自我反思、换不同路子试"的策略。DeepSeek-R1 还把推理模型开源了，等于把"会思考"这件事普惠给了所有玩家。
与测试时缩放汇合：这把第 6.3 节的"测试时缩放"真正落地——模型在推理时自己决定"这道题我要花多少计算"。难的题多想几轮，容易的题一笔带过：思考时长，成了模型可以自主调配的资源。
8.3 交互：思维链逐步展开
点一下"开始思考"，看模型怎么把一道多步题，拆成一节节可显示的推理步骤，最后落出答案（逐行淡入，模拟"边想边写"的过程）。
8.4 实操：推理能力"怎么做"出来的（三层）
提示级（不改权重，只改"怎么问 / 怎么解码"）：CoT 提示（"请逐步思考"）、few-shot 示范、self-consistency（采多条思路再投票）、tree-of-thought（分叉探索不同路径）。
训练级：用 RLVR（可验证奖励的强化学习）在数学、代码上强化"长 CoT"——也就是 o1、R1 的路线，让模型真正学会"自己多想一会儿"：长思考、自我反思、搜索不同解法。
产品级：推理预算旋钮（instant / thinking / high 几档），按任务付费买"思考量"；o1 这类模型会把内部思维链藏起来、只给摘要，既防越狱也防有人拿思维链作弊。
效率与开放：DeepSeek 为什么能用 1/30 的价格
同等能力下，DeepSeek 的 API 价格约为 GPT-4o 的 1/20 ~ 1/30。这不是偷工减料，而是架构与工程上多招红利的叠加。下面每一项，我都先说它当初卡在哪一关，再讲它怎么把这一关破掉。
9.1 MoE（混合专家）：把"模型大"与"推理贵"解耦
瓶颈：早期大模型大多是"稠密模型"（dense model，每个词进来都得把全部参数算一遍，没有闲着的神经元）。这把两件事钉死了："模型越大越聪明"和"每答一个字越贵"被绑在一起——想抬高能力上限，就得接受推理成本同步飙升，能力的天花板其实就是钱包的天花板。
解法：MoE（混合专家，Mixture-of-Experts）把模型切成几十上百个"专家"子网络，但每个 token 只唤醒其中两三个来对答。总参数照样堆到巨大（用来存能力），可每次推理只点亮约 1/10 的权重（用来压成本）。DeepSeek-V3 总参 671B，但每个 token 只激活约 37B——等于用"航母的吨位"只烧"快艇的油"。
9.2 FP8 / DualPipe / MLA / GRPO：每项对应什么工程瓶颈
瓶颈：训练大模型最缺的是显存和带宽——参数、梯度、优化器状态都要占显存，数据在芯片间来回搬运也卡带宽。FP8 训练用 8 位浮点替代惯用的 16 位，同样一块卡能塞下近乎翻倍的数据、算得也更快；DeepSeek 是第一个把这套低精度训练大规模跑通、并证明"精度不掉点"的团队。
瓶颈：大模型要切到很多张卡上做流水训练，但上一片算完下一片才能动，中间设备常"干等"，这段空闲叫流水线气泡（bubble）。DualPipe 让前向计算和反向传播两套流重叠跑、并隐藏通信，把气泡压扁，整机的有效利用率才提上来。
瓶颈：长上下文推理时，模型要给每个已生成的字都留一份"记忆"（KV Cache，键-值缓存，记着前面所有 token 的状态），上下文越长这份缓存越爆炸，显存直接被吃穿。MLA（多头潜在注意力）把 Key/Value 先压进一个低维"潜空间"再存，相当于把笔记记成提纲而非全文，显存大幅下降——这是 DeepSeek 原创的关键一招。
瓶颈：传统 RLHF 强化学习要养一个"评论员"（critic）网络来给答案打分，它既占显存又容易训不稳。GRPO 改用"组内相对优势"——同一道题让模型出一组答案，互相比高低来定奖惩，干脆砍掉 critic。省了显存、训练也更稳，是 DeepSeek 把强化学习做便宜的另一根支柱。
9.3 开源低价策略：把模型当基础设施
模型再便宜，若不开源、定高价，红利也到不了开发者手里。DeepSeek 直接把权重开源、API 定价贴近成本，没有重营销和品牌溢价那一层加价；再把大模型的能力蒸馏（让小模型模仿大模型的输出，相当于"名师带徒弟"）下沉到小模型，端侧也能跑。它把"模型"当成基础设施而不是"护城河产品"，靠生态和低价换采用量。
9.4 实操：把成本打下来的"组合拳"全表
上面每一招都不是灵丹妙药，而是能叠在一起用的——"便宜"是系统工程，不是单点魔法：MoE 管推理、MLA/FP8 管显存与训练、GRPO 管强化学习、蒸馏管落地，环环相扣才把成本打穿。
| 技术 | 干什么 | 效果 / 代表 |
|---|---|---|
| MoE 混合专家 | 路由只激活少数专家（top-2~4） | 万亿参数推理只激活 ~10–20%（Kimi K2、DeepSeek V3/V4、Grok） |
| MLA 潜在注意力 | 把 KV cache 压缩进低维潜空间 | 长文本推理显存降 70–90%（DeepSeek 原创） |
| DSA / 稀疏线性注意力 | 稀疏或线性复杂度的注意力变体 | 1M 上下文"经济可行"（DeepSeek V3.2） |
| FP8 训练 | 8 位浮点混合精度 | 训练显存/带宽近乎减半 |
| DualPipe | 双向流水并行，隐藏通信 | 训练利用率大幅提升 |
| 蒸馏 / 量化 / 投机解码 | 大模型教小模型；4bit 权重量化；小模型草稿+大模型验证 | 端侧可跑、延迟骤降 |
视觉与多模态：从"视觉盲"到"全模态生成"
多模态的故事依旧是同一句台词：把一切变成"token"，再喂给 Transformer。可它比纯文本晚了几年才跑通，不是方向错了，而是多踩了三个额外的坑——维度多了、时序多了、数据难了。下面按"先看瓶颈、再看突破、最后看为什么只有少数玩家跑得通"的节奏走。
10.1 背景问题：多模态到底难在哪
① 维数灾难：一张图几十万个像素，可"这张图在说什么"也许就几个词。文本本来就是"猫""狗"这种离散符号，图像却是连续的像素信号，两者根本不在同一个表示空间里——模型得先学会从海量像素里提炼出"高层语义"，这是第一道坎。
② 模态对齐：怎么让"猫"的图片和"猫"的文字在模型脑子里指向同一个概念？不可能给每张图人工打标签（太贵、也覆盖不了无限概念），只能靠弱监督 / 自监督——从"图配了什么文"这种现成关系里自己学出对齐。
③ 时序一致性：视频不是一叠静止图那么简单，帧与帧之间有运动、有物体追踪、有因果。模型得理解"球从左滚到右、中途被挡了一下"仍然是同一个球，而不是每帧重新认一次世界——这是纯文本从不需面对的麻烦。
④ 数据瓶颈：互联网上文本几乎无限，但高质量的图文对、视频片段、音频标注，每类获取成本都比文本高一个数量级。所以哪怕视频模型参数量不大（如 33B），能吃到的训练数据也远少于文本模型——数据这关比参数这关更难过。
10.2 关键洞察：视觉理解（ViT 2020）与跨模态对齐（CLIP 2021）
ViT——图像也能"分词"
背景问题：CNN（卷积网络）长期统治视觉，靠"局部卷积 + 层层下采样"这套手工设计的归纳偏置，换个任务往往得重搭架构。关键洞察：图像其实不必用卷积——把它切成 16×16 的小块（patch），每块当成一个 token 排成序列喂给 Transformer，这就和"文本分词"是同一件事了。为什么有效：Transformer 天然可并行、可缩放、还能和文本共享同一套架构。怎么做：图像 → 切块 → 线性投影加位置编码 → Transformer 编码。ViT 第一次证明：视觉和文本可以站在同一架构里对话。
CLIP——让图文"互相理解"
背景问题：传统图像分类得给每张图人工打"猫""狗"标签，概念覆盖不了无限世界。关键洞察：别给图打标签了，用对比学习把"配对的图文"拉近、把"不配对的"推远——学习信号来自"关系"而非"标注"。为什么有效：对比损失（InfoNCE，一种拉近正样本、推远负样本的损失）天然逼出跨模态共享表示，于是零样本（没见过的类别也能认）泛化很强。怎么做：图文对 → 双塔编码（图像塔 + 文本塔）→ 对比损失 → 对齐到同一向量空间。CLIP 立下了"任意模态都能在同一向量空间对齐"的方法论。
一旦表示统一了，"看图说话""以图搜文""语音对话"都只是"某模态 token 进、目标模态 token 出"的同一套机制——这正是多模态大模型的底层逻辑。
10.3 瓶颈与进步：从"能理解"到"能生成"
之前（2022–2024）的瓶颈：文生图已经能用了（SD、Midjourney），但视频还是"逐帧独立生成"——闪、动作不连贯、人脸对不上。卡在三点：视频 tokenizer（把视频压成 token 的编码器）压缩率低，序列长到爆炸；模型听不懂"分镜""时间戳""镜头运动"这类语言；训练数据规模又小。真正的瓶颈不是"参数不够大"，而是架构和压缩效率卡住了。
进步（2025–2026）——为什么突然变强
这场蜕变不是靠某一个突破，而是下面六项技术在同一窗口期同步成熟：
扩散 Transformer（DiT） 取代老式的 UNet——把扩散模型的"逐步去噪"和 Transformer 的"可无限缩放"合体，视频生成也终于能吃上 scaling law（模型越大越好的规律）。
Tokenizer 改革（以 H3-VAE 为代表）：压缩率提高 4 倍，序列长度大幅缩短，2K 原生输出才变得经济上可行。这正是视频模型"参数不大（33B）却很强"的底层原因。
语言注入：把大语言模型的理解力"注入"视频模型，让它能读懂复杂 prompt（分镜、运镜、时间戳），这是视频"听得懂人话"的根。
全模态统一上下文：文/图/音/视频在同一个 Transformer 上下文里一起理解（如 H3-Omni），不用分多个模型——"参考视频 A 的运镜，让图 B 里的人唱歌，歌声取自音频 C"一次办成。
音视频联合：视频和音频同时生成、天然对齐，不必再后期配音对口型。
视频 RLHF：把人的审美偏好（电影感、一致性、文字渲染准）变成可优化的信号，告别"闪烁 + 违和 + 乱码"。
10.4 技术原理：关键组件详解
| 组件 | 要解决什么 | 原理 | 怎么做 |
|---|---|---|---|
| Tokenizer（VQGAN / H3-VAE） | 连续信号→离散 token | 卷积编码器+向量量化+解码器，学一个"视觉词汇表" | 训练自编码器，压缩率是关键指标；H3-VAE 的 4 倍压缩把序列长度降下来 |
| DiT（扩散 Transformer） | 扩散+Transformer 合体 | 把扩散噪声预测换成 Transformer 处理 patch token | 序列去噪，时间步作为条件注入，替代 UNet 实现可缩放生成 |
| 跨模态对比学习 | 图文向量对齐 | 对比损失（InfoNCE）拉近正对、推远负对 | 双塔结构（图像编码器+文本编码器），batch 内负采样 |
| 全模态统一上下文 | 文/图/音/视频同模型 | 各模态各自编码后 token 序列拼接，统一 Transformer 建模 | 模态编码 + 序列拼接 + 因果掩码/双向，H3-Omni 是代表 |
| 音视频联合建模 | 音画天然对齐 | 视频帧+音频波形同时 tokenize，统一生成 | 多流 Transformer 或 VAE 联合潜空间，生成时不分步 |
| In-context Regeneration | 超分不丢信息 | 基模对低分辨率结果重新生成（带原始上下文），而非外挂超分模块 | 超分在生成时用上下文"猜"细节，恢复小文字/纹理比插值准 |
10.5 为什么只有少数玩家做得好：四道隐形壁垒
33B 参数，理论上任何有算力的公司都训得动。但"训得动"和"做得好"之间，隔着四道外人看不见的壁垒：
壁垒① 视频数据（约 70% 的胜负手）：训练要的是"片段级 + 高质量 caption + 多模态对齐"的视频数据，收集、清洗、标注成本远超文本。字节有抖音/西瓜的海量视频库，MiniMax 靠多年积累加强化的 captioning 管线——这是参数表上看不见的护城河。
壁垒② Tokenizer 工程：H3-VAE 的 4 倍压缩率、字节的稀疏注意力采样，都不是论文里能抄现成的配方，而是反复试错调出来的隐性 know-how；而 Tokenizer 的压缩率直接封死了推理成本的上限。
壁垒③ 训练稳定性：视频扩散训练极不稳——时序一致性、分辨率自适应、长序列稀疏化，任一环崩了就是白烧钱。字节靠延续 2.0 架构纵深迭代扛住；MiniMax 干脆主动放弃 Hailuo-02 架构重写。
壁垒④ 算力 + 主观评测闭环：视频训练/推理贵（4K 30 秒要 8×A100 跑约 8.7 分钟）；"好不好"还得靠人海盲测、偏好数据对齐，成本极高。字节有火山引擎算力池 + 即梦/豆包商业化闭环；MiniMax 有海螺平台 + 开源生态反哺。
10.6 当前的两条路线：Seedance 2.5 vs MiniMax H3
2026 年 7 月 31 日，两款旗舰视频模型同日上线，却走向了完全相反的路：
| 维度 | MiniMax H3 | Seedance 2.5（字节） |
|---|---|---|
| 定位 | 通用全模态生成平台 | 工业级视频生产工具 |
| 开源/闭源 | 开源（33B 权重，Apache 风格） | 闭源（架构未公开） |
| 参数量 | 33B（官方确认） | 未公开（行业推测数十 B） |
| 最长时长 | 15 秒 | 30 秒（行业最长） |
| 最高分辨率 | 原生 2K | 原生 4K |
| 多模态参考 | 自然语言描述统一上下文 | 最多 50 份素材（30 图+10 视频+10 音频） |
| 音频 | 原生双声道（音视频联合建模） | 10+ 语言口型同步 |
| 编辑能力 | V2V 动作迁移、自然语言编辑 | 精准时间戳控制、局部编辑、绿幕 |
| API 价格 | 0.8 元/秒（2K） | ~1.5 元/秒（720P） |
| 实测"性格" | 更懂成片：宁可少做也保住电影感 | 更听话：精准执行指令，但可能牺牲全局一致 |
10.7 怎么做：多模态生成工作流与选型
选型决策：成本敏感、需要微调 → H3（开源 + 低价）；长叙事、4K 交付、工业级控制 → Seedance 2.5。
10.8 遗留与争议
被淘汰 / 未主导的路线：历史感的来源
一部称职的历史，不能只把镜头对准最后的赢家。把下面这几条『当年被寄予厚望、如今却退居二线』的路线摆在一起，反而能看清：今天这条主流，到底赢在什么地方、又踩过了哪些坑。它们不是岔路，而是主路两侧的参照系。
符号主义 / 专家系统
核心想法是：把人类专家的知识写成一条条『如果……就……』的规则，塞进一个叫『专家系统』的程序里。听起来很美，但致命伤在『扩展性』——每多覆盖一种情况，就要人工补一堆新规则，规则之间还会互相打架；当规则堆到成千上万条，维护成本随数量指数级飙升，没人改得动。它输的不是『思路错』，而是『靠人写规则』这件事本身没法规模化。但它埋下的种子——让机器按明确逻辑做事、且人类能看懂它在想什么——今天以『工具调用 / 函数调用』的形式复活：大模型自己决定调哪个接口，本质上仍是『规则 + 推理』的延续。
早期 MoE / 条件计算（1990s–2017）
混合专家（MoE，Mixture of Experts）的念头其实早得惊人：Hinton 和 Jacobs 在 1991 年就提出了——让模型由多个『专家』子网络组成，每次只激活其中相关的几个，用『条件计算』省算力。Shazeer 在 2017 年给出真正能用的版本（Sparsely-Gated MoE），比 Transformer 走红还早。可当时的显卡和深度学习框架，根本不擅长『动态稀疏激活』这种跳着用的计算，训练抖得稳不住。于是这个洞察被雪藏，直到算力、框架和工程都成熟，才由 DeepSeek 等把它发扬光大——又一次『洞察领先于工具』。好想法常常比承载它的工具早到十几年，这是 AI 史上反复上演的剧本。
胶囊网络（Capsule, Hinton 2017）
CNN（卷积神经网络，靠『卷积 + 池化』逐层抽取图像特征）有个老毛病：池化操作会丢掉物体的空间朝向和零件之间的结构关系，所以同一张脸转个角度，它可能就认不出。Hinton 在 2017 年提出胶囊网络（Capsule），想用『胶囊』这种自带姿态、朝向信息的单元，显式建模『部分—整体』关系，从根上取代池化。想法极其优雅，可训练起来又慢又挑剔，实际收益也说不清到底比 CNN 强多少，最终没能取而代之。但它的『结构建模』执念没白费：今天大模型做『结构化推理』、理解『谁是部分谁是整体』，正是同一股冲动的延续。
GAN 的模式崩溃
生成对抗网络（GAN）靠『一个生成器、一个判别器互相博弈』来造假图，曾长期霸占图像生成。但它两个臭名昭著的毛病一直没治好：训练极不稳定，两边容易一个跑太快把另一个带崩；还有『模式崩溃』——生成器偷懒，只会吐出那几种它最拿手的样本，多样性塌了。扩散模型（Diffusion）用『一步步去噪』的打法把稳定性彻底解决，顺势上位。有趣的是，扩散的『去噪』本质也是『一个序列一个序列地生成』，和语言模型的自回归（一个词一个词往外蹦）其实殊途同归——又一条被新形态继承的老思想。
模型战争到智能体时代：最近 18 个月发生了什么
逐事件的完整时间线，已经交给『全景编年史』（N079–N132）去承担了；这一节只留最浓缩的速览：四个数字锚点，加上七条贯穿始终的主线。想弄明白某个事件的前因后果，去编年史里搜对应节点就行。
12.1 现状速览：四个数字锚点
12.2 七条主线（一以贯之）
比『又发布了哪些模型』更值得记住的，是这七条从 2025 一路贯穿到 2026.8 的主线——它们才是『为什么节奏快得吓人』的真正钥匙：
推理从论文里的技巧，变成了每个产品按钮后的默认能力——CoT（思维链）、RLVR（可验证奖励的强化学习）、推理时计算，让模型从『秒回』转向『先想清楚再答』。
上下文窗口越拉越长、还越来越便宜：从 MLA（多头潜在注意力）到 DSA（深度可分离注意力）再到线性注意力，『一百万 token』早已不是发布会上的噱头，而是每天在用的真本事。
开源第一次真正贴到前沿身边：DeepSeek R1/V3/V4、Qwen3、Kimi K2 把旗舰级能力塞进 MIT 许可、极低成本的开源包里，反过来逼着闭源阵营一边降价、一边加快开源。
AI 开始标准化地『接外部世界』：MCP（模型↔工具）和 A2A（智能体↔智能体）两套协议，正在争夺『AI 时代的 TCP/IP』——也就是所有智能体互通的那套底层规则。
一个模型原样吞下文本、图像、声音、视频乃至 3D，还能跨模态一起生成——『做一条带配音的短视频』这种跨模态联动，已经成了标准交付物。
出现了『推理革命』：模型被高频调用、反复推理，使用量开始反超一次性训练；于是专用推理芯片、存算一体架构顺势兴起，算力的重心正在转移。
竞争的焦点从『谁有芯片』悄悄变成了『谁有稳定的电』——算力地理（哪里能稳定供上几百兆瓦）开始真实地左右格局。
未来怎么发展：七条技术路线与未解之问
往后看五年，绕不开四条主轴：推理效率、世界模型、Agent 闭环、对齐评测。下面先给七条具体技术路线（每条都按『现状 → 目标 → 卡点 → 代表』拆开讲），再老老实实列出当下还没有标准答案的争议。
13.1 交互：七条技术路线卡片
点开任意一张卡片，就能看到这条路线的『现状 → 目标 → 卡点 → 代表』。这不是占卜，而是当下产业界和学界共识的一次归纳。
点击卡片查看路线详情。
13.2 七条路线的"技术栈速查"
每条路线落地后的样子千差万别，但往下挖一层，它们共用同一批基座技术——这正是它们能『同步爆发』的原因：地基是同一套，上面才各自开花。
| 路线 | 核心技术栈 | 典型交付形态 |
|---|---|---|
| Agentic AI | 以 MCP/A2A 协议接入外部工具，配长程记忆与子智能体编排，靠反思/辩论自我纠错 | 员工专属 Agent、AI DevOps、多智能体协作工作流 |
| 世界模型与具身 | 以 NSP（预测下一状态）为目标，联合视频、传感器与物理仿真训练，再 sim-to-real 迁移到真实 | 自动驾驶仿真、机器人基础模型、分子动力学模拟 |
| 多模态原生 | 统一 token 空间把各模态拉到同一序列，靠跨模态对齐（类 CLIP）与时序对齐打通 | 视频理解/生成、跨模态检索、一站式创作工作流 |
| 高效推理与端侧 | MoE+SSM+MLA 异构混合，叠加量化/蒸馏与硬件协同设计，再上存算一体 | 端侧 SLM、专用推理芯片、离线低延时应用 |
| 合成数据 | self-play 自博弈造数据，配合生成式课程与 RLVR 里的程序化数据 | 推理 / 代码 / Agent 的训练数据管线 |
| 科学智能 AI4S | 大模型 + 物理约束，配分子表示学习与主动学习闭环 | 药物发现、材料设计、蛋白质结构预测 |
| 安全对齐 | 宪法 AI 2.0、可扩展监督、辩论协议，再叠能力门控与沙箱 | 红线对齐模型、合规评测、系统级安全框架 |
13.3 未来 3–5 年：一张可预期的时间表
智能体规模化落地
企业级智能体的元年：MCP/A2A 生态成型，多个智能体协作正式进生产线；与此同时端侧 SLM 普及，『通用大模型打底 + 轻量高效模型干活』的分层成为常态。
世界模型与具身量产
人形机器人从工厂巡检、物流这类封闭场景，走向更开放的环境；世界模型为它们提供低成本的仿真训练场；多模态也从『能看懂』迈向『有物理直觉』。
AI 代理经济成型
AI 代理站到消费与企业服务的中间层，形成『商家 → AI 代理 → 消费者』的链路；合成数据加持续后训练，让模型在部署后仍不断进化；安全评测与治理框架被迫和能力赛跑。
13.4 未解之问：六条诚实的争议
13.5 五到十年大图景：两种叙事（不作定论）
现有的 Scaling（堆规模）+ RL（强化学习）+ Agent（智能体）这套组合继续往前推，最值得期待的是『群体智能』——多个智能体协作，冒出单模型没有的整体智慧；AGI 被当成可以一步步逼近的工程目标，风险可控、治理能跟上。
世界模型一旦建成，加上超对齐（用弱模型管强模型）的巨大缺口，意味着『能力可能抢在可解释性之前突破』；等到超级智能真来了，人类或许根本没有能力直接评估它——那时对齐是『生死问题』，而不再是『工程问题』。
总结：所谓"爆发"，是一连串"老洞察 + 新规模"
把整条因果链倒回去看，没有一步是凭空冒出来的魔法：1986 年的 BP（反向传播）算法，苦等了二十六年才等到 2012 年的 GPU 把它点燃；RNN（循环神经网络）那记『记不住长文』的硬伤，逼出了注意力机制；注意力又被泛化成 Transformer；Transformer 天生能并行，才让『堆规模』从奢望变成日常；规模堆出了 GPT-3 的质变、也抛出了『涌现』之谜；人们转头把『堆规模』量化成缩放定律；『会说话』和『说人话』之间的鸿沟，逼出了后训练对齐；CoT 和 o1 把『思考』本身变成可以训练的科目；最后 DeepSeek 把成本一拳打下来。
给"为什么是现在"的收尾回答
- 数据：互联网几十年沉淀下万亿级的文本与图像，给自监督学习备好了近乎免费的『燃料』——模型不必靠人工标注，就能从海量原始数据里学。
- 算力：GPU 集群配上混合精度训练，把『训练千亿参数』从天方夜谭变成流水线作业；没有这套硬件红利，再好的架构也跑不起来。
- 架构：Transformer 一统江湖，因为它同时打通了三件事——能并行、能缩放、还能抓超长程的依赖；这正是后面所有故事的地基。
- 方法：预训练负责塞进通识，后训练负责对齐人的意图与边界，测试时缩放负责临场深思——三层叠好，模型才既聪明又听话。
- 工程：MoE（混合专家）、FP8（8 位浮点）、MLA（多头潜在注意力）、GRPO（组相对策略优化）这一串手段，把『能力』和『成本』彻底解耦——强，且便宜。
接上 2026 的续篇：这部历史还没写完
2025–2026 这 18 个月给了一句收尾的回答：『爆发』的配方其实没变，只是把同一套因果链又走了一遍——模型学会了推理（第 8 节）→ 人们把推理接上工具，变成 Agent（第 12 节）→ 成本被 MoE / MLA 一路打下来（第 9 节）→ 下一步，是让它去『预测世界』而不是『预测文字』（第 13 节路线 2）。真正全新的变量只有一个：节奏快到了『工程追不上论文』。
所以未来五年真正该盯的，不是『哪个模型最强』，而是那四条主线：推理效率、世界模型、Agent 闭环、对齐评测。上一节『未来路线图』已经铺开讲过。