AI写的代码,人类来不及审:英伟达1.2万行代码优化Kimi K3,另开新战场?
FIELD
NOTE

ARTICLE DETAIL

热点资讯

从事实、趋势与实践出发,为您梳理文章中的关键信息,帮助读者更高效地理解内容重点。

ORIGINAL REPORT

AI写的代码,人类来不及审:英伟达1.2万行代码优化Kimi K3,另开新战场?

新球体育热门杯赛-赛程与在线直播编辑部
348 阅读
约 5.5 分钟

文 | 斯凯有话说 2026年10月16日,vLLM官方博客发布了一篇技术复盘,标题很技术流:《Hyper Optimizing Kimi K3 in vLLM: Moving Fast and Responsibly》。 署名作者是英伟达CentML的工程师Benjamin Chislett。他做了一件事:用一段1.2万行CuTe DSL编写的Megakernel,将月之暗面2.8万亿参数的Kimi K3推理速度大幅提升。据SemiAnalysis测算,在相同的GB300 NVL72硬件上,K3达到423 tok/s/user的推理速度,性能提升1.68倍。vLLM博客原文报告的数据则是:batch 1下超过840 tokens/s,多个测试配置下解码吞吐提升1.5—2倍。 没有换一张卡。没有上更先进的制程。没有等下一代芯片。 但真正让这件事值得深挖的,不是那1.68倍。 是博客里的一句话,被绝大多数中文报道忽略了: “Agent-optimized inference code is outpacing our review and maintenance workflow.” 智能体优化的推理代码,正在超过人类团队的审查和维护速度。 这句话翻译成大白话就是:AI写的代码,人类来不及审了。 一个工程师、1.2万行代码、AI辅助开发 先看技术层面发生了什么。 Kimi K3不是普通模型。它的Stable LatentMoE架构有896个专家,每次推理激活16个。这种极端稀疏的MoE,在训练端是“用更少激活参数撬动更大容量”的利器,但在推理端是工程噩梦。据SemiAnalysis分析,K3一次前向计算的HBM带宽需求约1.5TB,每次前向触发超过120次All-to-All通信。解码阶段是典型的内存带宽受限场景,计算单元大部分时间在等数据搬运。 传统推理引擎的解码过程,由一连串独立内核完成:注意力一个、MoE路由一个、专家计算一个、通信一个。每一个内核启动有开销,每一次内核间数据交换要经过显存读写。 Megakernel的核心思想是算子融合:把分散的解码内核合并成一个高度融合的超级内核,减少启动开销、合并内存访问、让计算和通信尽可能重叠。 1.2万行代码的含金量,是把“通用硬件跑通用模型”的默认效率,替换成了“专用硬件跑专用模型”的极致效率。硬件没变,模型没变,变的是“数据在硬件上怎么走”。 而写这1.2万行代码的过程,本身就是一个信号。vLLM博客明确写道:“Coding agents can now help with some of the hardest parts of model optimization: writing complex GPU kernels, performing cross-operator fusions, overlapping computation with communication, and tuning execution across different batch sizes and GPU configurations.”团队“使用了智能体辅助开发来构建统一的CuTe DSL解码路径”。 这不是“AI独立写完了全部代码”。人类工程师Benjamin Chislett是项目的主导者和架构设计者。但在最困难的部分——复杂GPU内核编写、跨算子融合、通信重叠、不同批次和GPU配置下的调优——AI承担了相当大的工作量,以至于人类的逐行审查跟不上了。 “来不及审”意味着什么 博客里还有一个细节,中文报道几乎没有提及。 vLLM团队为了应对这个局面,发布了一个fast-track model optimization RFC。核心思路不是“让人类审得更快”,而是改变性能工作的组织方式。博客原文列出了四条原则:Isolate changes(隔离变更)、Bound the scope(限定范围)、Validate correctness systematically(系统化验证正确性)、Scale validation(扩大验证)。 更重要的是这句话:“Human reviewers still judge the design and the evidence, but they can start from a high-level abstraction, instead of a line-by-line code review.” 人类审查者仍然判断设计和证据,但他们可以从高层抽象开始,而不是逐行审代码。 翻译一下:人类从“写代码的人”变成了“设计验证框架和风险边界的人”。 AI写代码,人类管流程。这不是未来,这是2026年10月16日vLLM博客里写着的现状。 这件事的分量

about image
分享这篇内容

让更多人看到有价值的信息

返回资讯列表

YOU MAY ALSO LIKE

推荐阅读

继续浏览平台精选内容,发现更多行业观察。

TRENDING NOW

热点内容

从正在发生的行业事件到读者关注的热门话题,我们将值得关注的内容集中呈现,方便您快速了解当前讨论焦点。

查看全部资讯
马斯克在美国中期选举共和党失利后,财富损失超过600亿美元

HOT / 1

马斯克在美国中期选举共和党失利后,财富损失超过600亿美元

11月4日,共和党输掉中期选举,而且输掉多个深红州,可以说是惨败。 现在马斯克也面临巨大麻烦,特朗普考虑特赦马斯克, 但只能赦免联邦刑事罪行,无法赦免州级罪行,也不能阻止国会调查。 在马斯克砸下近5亿美元,以及利用社交媒体抨击民主党,操纵选举,抨击德克萨斯州参议员候选人之后,共和党遭遇惨败。 共和党不仅失去参众两院多数席位,也失去德克萨斯州参议员、州长,这显然是共和党的重大挫折。 被马斯克猛烈抨击

中国APEC峰会召开在即,高市早苗愿参加,但提出一个特殊要求,中方没满足就要抗议

HOT / 2

中国APEC峰会召开在即,高市早苗愿参加,但提出一个特殊要求,中方没满足就要抗议

再过几天,2026APEC峰会就将在中国深圳召开,而日本方面也开始有些坐不住了。 日本方面通过日本媒体放出消息,表示高市早苗愿意来中国参加APEC峰会,但提出了一个要求。 那就是高市早苗在深圳APEC峰会上不能被“冷遇”,待遇要和其他国家领导人看齐。 尤其是在镜头前,不能显得高市早苗“被冷落”,不然日本方面就要对中方的安排进行抗议。 按照部分日本媒体的说法,日本方面认为如果高市早苗在深圳APEC峰

不打了!马尔卡宁右手骨折!NBA又一球星受伤倒下

HOT / 3

不打了!马尔卡宁右手骨折!NBA又一球星受伤倒下

爆料王Shams:马尔卡宁右手遭遇非移位性骨折,至少休战一个月......爵士官方已经确认了该消息。 值得一提的是,马尔卡宁之前,爵士另一位内线核心小贾伦杰克逊便因右膝内侧副韧带(MCL)撕裂高挂免战牌。 爵士作为常年鱼腩球队,本赛季尽管天赋云集可照样摆脱不了人见人欺的命运,迄今为止仅仅取得1胜10负战绩西部垫底,马尔卡宁出战了其中八场比赛,场均登场30.9分钟贡献18分6.8板2助,投篮命中率3

76人赢了!逆转猛龙!避免连败!上演超级暴扣...

HOT / 4

76人赢了!逆转猛龙!避免连败!上演超级暴扣...

今日,76人在主场对阵猛龙,詹姆斯轮休,韦德代替他进入首发。猛龙首发阵容是奎克利、沃尔特、巴雷特、博伊尔斯、珀尔特尔。 开局后,猛龙率先在内线得分,布朗两罚全中,双方攻防节奏挺快,76人第一个运动战进球来自马克西 埃奇库姆单挑上篮,马克西借助掩护投进三分 但是!恩比德膝盖被撞,痛苦倒地,76人赶紧叫个暂停,沃克换下他 猛龙趁机打出12-0高潮,马克西两罚一中,埃奇库姆的救球打到对方身上出界,拿到球

合同纠纷+大麻禁赛!哈雷尔吐槽CBA:讨厌这段经历

HOT / 5

合同纠纷+大麻禁赛!哈雷尔吐槽CBA:讨厌这段经历

北京时间11月15日消息,前新疆男篮外援哈雷尔在播客节目中公开炮轰自己的CBA经历,直言非常讨厌在中国打球的这段时光。值得注意的是,哈雷尔本赛季因大麻兴奋剂违规被CBA官方禁赛,CBA生涯争议收场。 哈雷尔坦言自己仅在CBA待了两个月,全程极不适应。他抱怨驻地并非一线城市,遇到电梯抽烟、当地人异样注视、语言不通等问题,让他倍感隔阂。饮食方面他完全无法适应当地餐食,直言无法接受整鱼头上桌等饮食方式,