DeepSeek V4 Pro翻车之谜，居然被字节扒出来了？|观察

DeepSeek又上新模型了？

(资料图片)

是的，前两天服务器崩溃刚刚送完钱，转手就掏出了V4.1 FLash的1017新版本。

这下实锤了，什么崩溃，明明是上新前想给大伙儿送点福利罢了（bushi。。。

不过话说回来，这次的Flash我们还在测，今天世超想聊聊的，是为什么更新的又是Flash模型，V4Pro又到哪里去了。

毕竟那可是差点把梁圣干成牢梁，还下架又上架，秽土转生了一波的神奇模型啊。

就没人解释解释，V4 Pro到底哪儿出毛病了？

诶，有的兄弟有的，这不，隔壁字节的 Seed 团队就挖出来了一些线索，说是模型的上下文压缩出问题了。。。

扒拉完这篇 Seed 的论文，世超觉得，这车翻得不冤，但大蓝鲸它也真没毛病嗷。

具体来说，V4 Pro 这回不是单纯的记性变差了，而是患上了某种有规律的选择性失忆。

论文里，研究人员拿 DeepSeek 自己的推理代码做了个实验，让 V4 Flash 补全一段代码。

结果发现，只要往前面的注释里加几个无关紧要的等号，上下文变长点，模型就会在正确和错误答案中间反复横跳。

而且这玩意儿还不是随机的，每隔 4 个 Token，就会重复一轮。

按论文里的专业说法，这叫相位敏感性。

翻译成大白话就是 V4 Pro 这条大鲸鱼非常挑食，你给它的上下文，它会挑着吃。

如果大伙儿经常用 AI，应该能感受到，模型的注意力一般集中在头和尾，中间信息经常丢失。

这回的发现则更加细致，不只是提示词整体，每个小部分里面，同样的信息，你给它调调位置，人模型可能就不乐意看了。

好家伙，谁给我小鲸鱼整这么矫情了？

研究者们继续挖，发现原来跟 V4 Pro 的压缩策略有莫大关系。

为了维持量大管饱的超高性价比，DeepSeek 给 V4 系列模型上了一套 CSA+HCA 的组合压缩方案。

问题大概率就出在这儿，因为这俩是分块压缩的，逻辑相当简单粗暴。

比如 CSA，就是每 8 个 Token 压成一个块儿，每隔 4 个 Token 压一次，块与块之间有重合部分。

你看，这不就对上了，上面的实验里，规律也正好是 4 个 Token 一轮次。

出于严谨性，Seed 的老哥又搞了个加强版的插针实验做补充，把 16000 对数据塞进 128K 的上下文，让模型从中找出指定答案。

这回测了 4 个 V4 模型，分别是 V4 Pro 没有后训练的 Base 版和 0813 的正式版，以及 V4 FLash 的 Base 版和正式版。

成绩跟大伙儿预想的基本没差，尤其是 Base 基础版模型，Pro 的准确率波动范围有足足 34.7%，Flash 更是直接干到了 40.23%，酣畅淋漓的大起大落。

更难崩的是经过后训练的正式版里，Flash 的稳定性反而要压 Pro 一头，怪不得差评如潮呢。。。

而且即使正式版修补了一些不稳定的毛病，但还是存在规律的波动，没法根除。

到这儿，其实已经能看出，只要用上 CSA+HCA 的组合技的，或多或少都有点问题。

但找到了病灶，还是不知道病因呐，而且影响模型性能的因素太多，架构、训练的特殊性等等都会干扰最后的表现。

所以研究员们选择控制变量，剔除干扰因素，继续做实验。

他们拿隔壁千问 Qwen3-0.6B 的小模型当新底座，用不同的压缩策略，从头训练了一批模型。

这回算是真相大白了。

不用这种分块策略的，基本稳成了一条线，但只要加入分块算法，周期性就会凸显出来。

而且这周期还会随着压缩步长同步变化，步长几个 Token，周期也是几个 Token，一眼鉴定为亲生的。

那到底为啥分个块儿就能导致间歇性失忆呢？

从这些训出来的小模型中，研究者们也找到了一些解释。

比如按咱正常人的理解，几个 Token 压成块儿，那自然应该平分权重，但模型却不是这么想的。

他们练着练着，就会找着一个固定口味儿，而且还是萝卜青菜，各有所爱。

比如其中的一个模型，它内部的第 14 层喜欢前面，第 10 层偏爱中间，第 9 层则中意后面。

这么压缩下来，甭管你这上下文有用还是没用，只要不在它乐意的地段儿上，那人家是瞅都不瞅一眼的。

到这儿，就跟当初折腾 DeepSeek Harness 的记忆有点对上号了。

因为 DeepSeek V4 Pro 时神时鬼，社区开发者整出了不少神奇的路子，让它发挥正常实力。

当时流行的操作是开极简模式，或者开头只给它开放俩工具，等它渐入佳境，再把完整工具放出来。

现在看，跟它的记忆缺陷可能就有很大关系，叠加上过拟合之类的潜在因素，那可不就越用越抽象了。。。

那问题来了，DeepSeek 为啥非得走这条风险奇高的路子呢？

答案倒也直白得很，因为眼下大伙儿都在搞组合压缩，而 DeepSeek 好像一直是其中最激进的那批。

前段时间风头正盛的 Kimi-K3，用的是 KDA + Gated MLA；GLM-5.3-Flash 则是 KDA + DSA + MLA；千问的 Next 架构又换成了 QSA + Gated DeltaNet。

说白了，该怎么压这事儿，眼下就没有什么最好的法子，都是摸着石头过河，主打一个百家争鸣。

但有意思的是，顺着大伙儿的策略往回看，你会发现，这片江山，其实有不少是 DeepSeek 这条鲸鱼一点点打下来的。

MLA 是 DeepSeek V2 搞出来的，DSA 是 V3.2 推出的，哪怕是 QSA，也在论文中明确表述了，就是按着 DSA 的思路改进的。

这些压缩策略细节各不相同，但原理和思路有很多类似的地方的，主要就是三条路线：建目录索引，保存状态的变更，还有就是压缩记忆本身，也就是 KV 值。

这打眼一瞧也知道，第三条路又直接效率又高，但同时，风险肯定也大的一批。

DeepSeek 不可能不知道这条路难走，但它还是像之前那样，蒙着头往前冲了一把，只不过这回翻了个大的。。。

后面的 V4.1 Flash 救火的的时候，它仍然没放弃这条路子，而是掏出了船新的 CSA2，搭配上跨层 KV 复用和 FP4 KV 的组合压缩技。

虽然实验中还是带点儿周期波动，但比V4 Pro小了太多。

而且昨天还掏出了新的 V4.1-Flash-1017 版本，靠着后训练发力，重新拿回了性价比天花板，算是挽回了一波口碑。

这其实就是开源的意义所在了，这个坑之所以能这么扒出来，就是因为 DeepSeek 把模型权重和技术方案公开了。

别人不光能测它到底好不好用，还能拆开看哪里出了问题，然后拿别的开源模型做实验，慢慢找到背后的规律。

要是换个闭源模型，同样时神时鬼，咱多半只能在社区里交流一下玄学提示词，吐槽它是不是偷偷降智了。

至于问题究竟出在哪儿，就不是大伙儿能操心的了。

所以说 V4 Pro 这波翻车，给到一个不亏是没毛病的。

因为像这种经验，并不只对 DeepSeek 自己有用，这么一通扒拉下来，到底怎么压更有效率，大伙儿才能更有眉目。

毕竟别看现在的模型，个顶个的百万上下文，其实也是各有各的水分呐。

真要把这功能落实，让模型能吃进去还能好好吐出来，估摸着还得段时间的摸爬滚打。

而迭代技术的成本总是得有人支付的，越激进就越容易翻车，代价也就越贵。

不过要是人人都怕翻车，又哪来的迭代呢？

这么一想，梁圣这回虽然被干成了牢梁，但给大伙儿趟出来的坑，倒也算没白趟。。。

撰文：风华

编辑：江江 & 面线

美编：素描

图片、资料来源：

arxiv：Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression

标签： 算法 翻车 上下文 新模型 flash token deepseek

　　 原标题：DeepSeek V4 Pro翻车之谜，居然被字节扒出来了？|观察