手机浏览器扫描二维码访问
437 傲慢的代价（第1页）
孟繁岐并不是第一次听说DeepSeek的名字，虽然此前DS在大众之中不能说是完全无人知晓，但说它是籍籍无名也不为过。
比起天然拥有海量客户的互联网大厂们推出的AI模型，DS即便免费，但终究天然地在积累用户方面有着巨大的劣势。
孟繁岐此前注意到DS，主要便是因为他们的技术路线与孟繁岐的几个设想相似。
由于在降低技术成本上颇有建树，DS的API价格要低于市场平均水平许多，这使得它慢慢积累了一些技术型的用户。不过这个规模在孟繁岐眼中，还远远上不了桌。
前两个月，DeepSeek已经迭代到了第三代。
逐渐缩小的性能差异并没有引起孟繁岐足够的重视。
而今天，详细的技术报告以及R1版本的发布，才终于让他明白，自己实在是后知后觉。
震撼到孟繁岐的并不是单纯性能上的逼近，而是诸多技术细节透露出的海量信息。
比如，FP8的成功实现。
孟繁岐有些不相信这个事实。
半精度和FP8是他一直在大力推动的事情，而现在，DS反而成为了首个在超大规模模型上证明了FP8训练完全可行的公司。
孟繁岐沉着脸，翻阅着DS的技术报告，他们对框架内部的操作细节并不吝啬。
哪些核心操作做了FP8的量化，在什么步骤应该转回BF16，又在哪里应该使用全精度FP32计算，标注十分详细。
向量层、输出层、MoE门控模块、标准化运算和注意力运算模块进行了精度保留，而前向，激活反向，权重反向则用FP8执行。
针对前向反向采用FP8会带来的许多问题，报告中也知无不言。
在低精度训练框架中，由于FP8格式的指数位较少导致其动态范围受限，经常出现数值溢出和下溢的问题。传统方法是将输入张量的最大绝对值映射到FP8格式的最大可表示值，将输入分布对齐到可表示范围内。然而，这种方法使得低精度训练对激活值中的极端值特别敏感，可能导致量化精度显著下降。
孟繁岐也走到过这一步，部分FP8，部分BF16FP32。仅仅如此是不够的。
DS最终采用的方案是在核心算子内部GEMM操作里引入缩放因子，这同样是孟繁岐曾经考虑过的事情。
但closeai最终没有这样做，因为英伟达显卡的FP8并不直接支持这一功能。
长期居于龙头位置的closeai程序员们并没有选择下苦工用其他的方式实现这一功能，而是选择了与英伟达沟通，以求让英伟达在下代硬件框架中支持细粒度缩放格式。
孟繁岐回忆起那个时候，欲言又止。
这称得上是错误吗？其实也不见得。
因为closeai的建议为英伟达提供了重要参考。
下一代硬件框架中支持该功能无疑是非常正确的决定。
但...没有它真的就做不了吗？很显然，DS回答了这个问题，现有的条件之下，技术并不是无法实现的。
另一件让孟繁岐感到扼腕叹息的事情，是双方在“稀疏”这一概念上的分歧。
在FP8问题上，孟繁岐与DS是一致的。
激荡一九九五 什么？我体内有一座剑山 西游之开局加入聊天群 炮灰表小姐苟命日常 改局之谋 异界大乱斗之乱的很 银河记事 携猫主子勇闯星域 她似春光明媚 我的御兽养成计划 善男信女 神环啸 寡人刘玄德 丹道龙皇 一诺千金断绝尘 我在西游交易万物 陆总请滚开，别打扰我种地 影视世界里的假道士 霸总战神之当代侠侣 年代文女配重生后踹了男主
被夺气运重生后，小师妹杀疯了
关于被夺气运重生后，小师妹杀疯了前世，谢宁被庶妹暗害，被夺气运，惨死兽爪之下。疼爱她的娘亲和外祖一家也因为自己，在庶妹的迫害下疯的疯死的死！重活一世，谢宁势必揭穿庶妹的恶毒面具！改变师兄们的悲惨命运！让师父这条大粗腿屹立不倒。这一世，势必要将自己失去的一切都夺回来！...
超级神武道
地球联邦时代，开发基因潜能成为人类赖以生存的依靠。一部十八重的基础心诀，开启了基因全面异变时代。一套武道修炼系统，将这种异变推到了巅峰。重回一百三十年前，我当无敌天下！（新人新书，求收藏推荐）各位书友要是觉得超级神武道还不错的话请不要忘记向您...
小美人重生后被献给了暴君
上辈子余星被瑞王花言巧语所骗，最终落得苟延残喘，遭世人唾骂，惨遭嫡姐毒害。重活一世，他拒绝了瑞王，却被他记恨在心，以祸心之名将他进献给禹国暴君。他想逃却被整个京城的人盯着，他们视他为祸害，将他强行塞入马车，送往禹国，保陈国无忧。余星痛恨他们，仇视他们！他以为自己会在禹国惨遭迫害，却没想到迎来了所有人欢迎。他在宫里战战兢兢，唯恐惹怒暴君，没想到一向不近男女的暴君，却朝他走来，拉着他的手，朝着巍峨大殿走去。下方大臣齐齐朝他叩拜。余星！再后来禹国攻入陈国皇宫，暴君带着他居高临下睥睨着一身狼狈的瑞王。魔蝎小说...
吃了一口太岁肉，我杀穿仙路
关于吃了一口太岁肉，我杀穿仙路2030年，灵气复苏，天地转变，古法再次站上历史舞台。2130年，随着名山秘境开启，远古洪荒重新融入现在这方天地。一位位耳熟能详的神灵逐渐从时间长河回归，新法古法发生文明碰撞。一条新的长生路再现世间...
异世种田：我走在天灾前面
关于异世种田我走在天灾前面年仅10岁的文希，被系统安排去平行世界拯救女主，30年后任务完成，返回蓝星，直接死亡。系统告诉她蓝星已经毁灭，把她传送到绿星了。坑货系统却自己走了，什么都没给她留。文希没办法，她想好好活着，领用领地轰轰烈烈的开始她的种田生活。文希已经接受事实，开开心心的做领主，坑货系统却回来了。共同面对绿星的多灾多难，而文希每一次，都能在灾难降临在她身上之前，提前知晓避开或拿到解药。只不过，为什么她的领地，那么吸引变异动物，文希觊觎它们身上美味的肉，看着都留口水。可她打不过啊危险绿星，文希努力生活。...
我的26个变态女客户
关于我的26个变态女客户秦宇是个孤儿，老天给他关上门的同时，也给他开了一扇窗。让他拥有秒杀当红小鲜肉的颜值，跟188的身高。在高人指点下，秦宇做起了职业护花使者！他的客户个个都是极品大美女，却没一个正常人。有大学美艳校花但有厌男症。有地下世界的女王却是女神经。有上市公司的高冷女霸总无奈心狠手辣。有当红一线女星可沉迷扮演各种角色分不清现实。还有个主动倒贴的大美女却是个最后遇到一真爱你腰上怎么有胎记，难道有情人终成兄妹？看秦宇如何在各种修罗场中游刃有余。万花丛中过，片叶不沾身，追夫火葬场，结局爽又爽！...