手机浏览器扫描二维码访问
437 傲慢的代价（第1页）
孟繁岐并不是第一次听说DeepSeek的名字，虽然此前DS在大众之中不能说是完全无人知晓，但说它是籍籍无名也不为过。
比起天然拥有海量客户的互联网大厂们推出的AI模型，DS即便免费，但终究天然地在积累用户方面有着巨大的劣势。
孟繁岐此前注意到DS，主要便是因为他们的技术路线与孟繁岐的几个设想相似。
由于在降低技术成本上颇有建树，DS的API价格要低于市场平均水平许多，这使得它慢慢积累了一些技术型的用户。不过这个规模在孟繁岐眼中，还远远上不了桌。
前两个月，DeepSeek已经迭代到了第三代。
逐渐缩小的性能差异并没有引起孟繁岐足够的重视。
而今天，详细的技术报告以及R1版本的发布，才终于让他明白，自己实在是后知后觉。
震撼到孟繁岐的并不是单纯性能上的逼近，而是诸多技术细节透露出的海量信息。
比如，FP8的成功实现。
孟繁岐有些不相信这个事实。
半精度和FP8是他一直在大力推动的事情，而现在，DS反而成为了首个在超大规模模型上证明了FP8训练完全可行的公司。
孟繁岐沉着脸，翻阅着DS的技术报告，他们对框架内部的操作细节并不吝啬。
哪些核心操作做了FP8的量化，在什么步骤应该转回BF16，又在哪里应该使用全精度FP32计算，标注十分详细。
向量层、输出层、MoE门控模块、标准化运算和注意力运算模块进行了精度保留，而前向，激活反向，权重反向则用FP8执行。
针对前向反向采用FP8会带来的许多问题，报告中也知无不言。
在低精度训练框架中，由于FP8格式的指数位较少导致其动态范围受限，经常出现数值溢出和下溢的问题。传统方法是将输入张量的最大绝对值映射到FP8格式的最大可表示值，将输入分布对齐到可表示范围内。然而，这种方法使得低精度训练对激活值中的极端值特别敏感，可能导致量化精度显著下降。
孟繁岐也走到过这一步，部分FP8，部分BF16FP32。仅仅如此是不够的。
DS最终采用的方案是在核心算子内部GEMM操作里引入缩放因子，这同样是孟繁岐曾经考虑过的事情。
但closeai最终没有这样做，因为英伟达显卡的FP8并不直接支持这一功能。
长期居于龙头位置的closeai程序员们并没有选择下苦工用其他的方式实现这一功能，而是选择了与英伟达沟通，以求让英伟达在下代硬件框架中支持细粒度缩放格式。
孟繁岐回忆起那个时候，欲言又止。
这称得上是错误吗？其实也不见得。
因为closeai的建议为英伟达提供了重要参考。
下一代硬件框架中支持该功能无疑是非常正确的决定。
但...没有它真的就做不了吗？很显然，DS回答了这个问题，现有的条件之下，技术并不是无法实现的。
另一件让孟繁岐感到扼腕叹息的事情，是双方在“稀疏”这一概念上的分歧。
在FP8问题上，孟繁岐与DS是一致的。
银河记事 她似春光明媚 我在西游交易万物 炮灰表小姐苟命日常 异界大乱斗之乱的很 西游之开局加入聊天群 什么？我体内有一座剑山 改局之谋 一诺千金断绝尘 丹道龙皇 我的御兽养成计划 寡人刘玄德 神环啸 善男信女 携猫主子勇闯星域 激荡一九九五 霸总战神之当代侠侣 年代文女配重生后踹了男主 陆总请滚开，别打扰我种地 影视世界里的假道士
长生者仙
关于长生者仙是开始，还是结束？他拥有逆天神通，却只想做一任侠，不管凡世还是仙界，他只想潇洒一把。奈何，命运却总牢牢地扯住他...
钓系美人如何咳血手册
世人皆知，天衍宗苍梧峰傲骨铮铮的拂知剑尊，违背伦常爱上了自己徒弟殷岭西。无数风月话本辗转茶楼酒肆，剑尊被人钉在引诱无辜单纯徒弟的耻辱柱上。却无人知晓，那被引诱的单纯徒弟，此时正吻了吻自己师尊眼角沁出的泪，满意的勾唇笑道师尊，辛苦了拂知抚上他的背，面色苍白的摇摇头，清冷的眼底带着柔色，你真的心悦于我么？殷岭西忽略自己心底的异样，假装深情道此生唯一。拂知看着这个已经被自己收回了百分之八十还不自知的碎片，神色更温柔了。后来，殷岭西魔族皇室身份暴露，逃回魔族领地。拂知掐着点赶过来，正好听见少皇殿下，不知道那拂知剑尊的滋味如何啊殷岭西语气慵懒，不怎么样和木头似的没意思，我腻味了就回来了。下面的人哄堂大笑，我刚还听说，那剑尊挨了剑阁十三刑，要离开师门来找我们殿下殷岭西神色骤变你说什轰！魔宫大门被暴虐的灵力轰的粉碎。殷岭西抬头看去。狂风中，白衣染血满身血痕的师尊，神色冰冷到极点，剑锋森寒，再说一遍。面上人设不崩，拂知叹气，可算是可以收网了。碎片二毁欲×国师乖。碎片三贪欲×逍遥医仙别哭。魔蝎小说...
波本你是真酒还是假酒
早川花英从横滨政府旗下秘密孤儿院中一睁眼，远处五栋高耸入云的大楼分外夺目。她转回头，一群小萝卜头正围着电视看假面超人，米花电视台放送。早川花英战术后仰，啊呀，她这是穿越了啊！由于七岁没有觉醒异能力，她被人收养，过着普通生活。直到被启用。上司早川，我们需要你卧底进酒厂。早川花英没问题！FBI前辈有攻略，她抄抄！上司你要接触的是他。早川花英认出金发黑皮帅哥OK！充满正义感的警察先生不会害她！魔蝎小说...
真千金的女儿是个狠人
（评分刚出的，慢慢上涨中，无CP金手指目标明确）闲着无聊，虞轻轻被这方世界的意识忽悠了，投身到齐王妃肚子去拯救镇国将军府免遭灭门的惨案，可是，不是说好的投身成真千金的吗，这咋还降辈份了？真千金变成真千金的女儿了？那就重来？什么？不可以重来，那也就将就将就吧！虞张氏我和老头子腿脚不便，我孙女替我教训儿子咋了，打...
人鱼小姐与她的饲养员
赵舒清第一次见到被困在水箱里的林风时，就被她绝美的身姿震惊了，作为一名海洋学者，赵舒清迫不及待的抚摸起人鱼的漂亮蓝色尾巴，人鱼浑身不由自主的颤抖，一双漂亮的海蓝色眼睛不敢置信的看着她，当赵舒清想进一步摸索对方隐秘之处的时候，却被人鱼小姐‘啪’的甩了一个大嘴巴，转身游回了水箱最深处。于是，赵舒清连夜恶补了关于人鱼的资料1人鱼的尾巴只有伴侣才能摸2人鱼的发情期在三四月份，每只人鱼一生只有一个伴侣3人鱼求偶时会主动献出自己的鱼鳞，但并没有人类收到过人鱼的鳞片4人鱼同样具有思维和语言能力，长时间与人类接触可以学习人类的语言5魔蝎小说...