90书院(90shuyuan.com)更新快,无弹窗!
稍微适应了一下升级后的大脑,徐辰估摸着DeepSeek的论文应该是发出来了。
(请记住台湾小説网→??????????.??????网站,观看最快的章节更新)
他打开电脑,熟练地登录arXiv,输入了关键词。
果然,那篇论文赫然在列。
徐辰在公寓里下载了这篇论文,仔细研读了一遍。
论文的核心原理极其惊艳,直击当前大语言模型(LLM)的软肋:现有的Transformer架构虽然通过MoE(混合专家)实现了「条件计算」,但缺乏原生的知识查找机制。
当模型需要回忆一个静态事实的时候,比如「巴黎是法国的首都」,它只能通过消耗宝贵的注意力机制和前馈网络层去「重新计算」和「模拟提取」。这就像是让一个顶级数学家去死记硬背电话号码,极大地浪费了推理算力。
而DeepSeek给出的解法,正是「条件记忆」。
他们引入了一个名为「Engram(记忆印迹)」的模块,将经典的N-gram嵌入现代化,实现了O(1)时间复杂度的常数级知识查找。简单来说,模型不再需要死记硬背,而是学会了「查字典」。
论文中还提出了一条「U型缩放定律」,证明了将大约20%到25%的稀疏参数分配给Engram模块时,模型性能达到最优。更恐怖的是,由于Engram的查找是确定性的,它完全可以绕开昂贵的GPU显存(HBM)限制,直接从廉价的主机内存(DRAM)中进行运行时预取,几乎没有额外的性能开销。
「干得漂亮。」
徐辰看着论文里的架构图,暗自点头。
以他升级后的信息学LV2的眼光来看,梁文锋的这个成果,和系统当初给出的那个完美的D-LTMN方案相比,其实做了一些工程上的妥协。
系统方案更偏向于底层硬体架构的微调,而DeepSeek则是在现有的GPU集群和Transformer框架下,做到了软体层面的极致压榨。
「这算是……系统方案的『青春版』?」
徐辰摸了摸下巴。
但这已经足够惊艳了。
不出意外,这篇论文将在接下来的几个月里,成为整个AI界讨论的焦点。
……
徐辰猜得没错。
此时的曼哈顿下城,摩根史坦利大楼。
高级分析师约翰·史密斯正对着电脑屏幕发呆,手里那杯昂贵的冷萃咖啡已经在那儿摆了半个多小时,冰块化了一半,也没动一口。
屏幕上是一份还没写完的研报草稿——《英伟达:算力帝国的黄昏还是黎明?》。
约翰感觉自己的头发都要掉光了。
现在的华尔街,简直就是个精神分裂的疯人院。
一方面,整个美股全靠那几只科技巨头撑着,尤其是英伟达,简直就是全村的希望。只要AI的故事还在讲,只要大模型还需要烧钱买卡,纳斯达克就能接着创新高,大家的年终奖就有着落。
如果英伟达倒了,AI泡沫破裂,美股大盘就会瞬间崩盘,引发系统性的金融危机。到那时,不仅他的饭碗保不住,整个华尔街都要排队去跳楼。
所以,上头的指令很明确:「看多!必须看多!不能让泡沫破了!」
但另一方面,现实的数据却像是一记记响亮的耳光。
年初那个中国小子搞出来的SLRM架构,已经让训练端对GPU的需求砍了一半。现在好了,DeepSeek又搞出了个Engram,直接在推理端把显存需求给废了!
「这日子没法过了……」
他在研报里敲下了一段极其纠结的文字:
【……我们注意到,近期来自中国研究团队的SLRM架构与Engram模块,在优化大语言模型(LLM)的KVCache显存占用及推理计算量方面取得了显着进展。这表明,在纯文本推理端,算力边际成本递减的趋势正在加速。】
【基于DCF(现金流折现)模型及对未来三年TAM(总潜在市场)的重新评估,我们预计北美四大云服务商(CSP)在纯文本推理端的Capex(资本支出)增速将出现拐点。Engram架构的O(1)常数级查找特性,实质上打破了『显存墙』的物理限制,导致单Token的算力与显存成本呈断崖式下降。因此,我们将英伟达2026财年的营收预期下调12%,目标价由145美元下调至115美元。】
写完这段,约翰又觉得太悲观了,可能会被老板骂「唱空美股」。
于是他又加了一句找补的话:
【当然,如果考虑到未来AI应用场景的爆发式增长,市场总需求的急剧膨胀将完全对冲单Token算力成本下降带来的负面影响,英伟达的算力护城河依然深不可