厂商自己测的,年底才小规模上机。
OpenAI 公布自制推理芯片 Jalapeño 的第一批成绩
星期二,OpenAI 交出自制推理芯片 Jalapeño 的第一批对照成绩。公司说用 SemiAnalysis 的公开考题 InferenceX 来测,这块芯片在三个公开模型上,单位功耗能做的活更多,端到端延迟也更低。对照对象是当时成绩最好的商用系统,TechCrunch 写明是英伟达现役的 Blackwell。The Verge 转述公司数字:单位功耗大约多做一点五到一点九倍,延迟大约短一点七到三点六倍。官方页还写,最大的公开模型 Kimi 上,峰值单位功耗大约高一点五倍,端到端延迟大约短三点四倍。这些都是厂商自己测的。
所以怎样。推理就是模型已经训好、拿来回答和干活的那一步。OpenAI 现在主要靠别人的芯片来跑这一步。自己做出能上机的芯片,意味着它想把模型、软件和硅片一起设计,好少花电、少等人。硬件负责人 Richard Ho 对记者说,年底只会上很小一批,真正铺开要到明年。公司同时说,不会因此换掉英伟达和其他伙伴。芯片是和博通一起做的。还没大规模上机,也还没被第三方复测。
该不该信。考题是公开的,数字是公司自己报的。额定功耗七百瓦,公司说实测持续功耗不超过五百五十瓦。对照的是现在能买到的最好成绩,等 Jalapeño 真正铺开,对手可能已经换代。财务官另发一稿讲全栈经济,那是公司叙事,不是独立审计。
接下来盯两件事。一是年底那一小批有没有真的装进机房。二是有没有第三方按同一套考题复测。在那之前,不要把「比英伟达快」写成已经量产的事实。