熬夜阁

手机浏览器扫描二维码访问

162 网络的重参数化(第2页)

实际上,马斯克没有对这件事情抱有特别大的希望。在他看来,孟繁岐上次给出的方案已经好到非常离谱了。

在这个大家才刚开始复现DreamNet,还没把残差的原理和一些变种搞明白的时间点,孟繁岐已经针对各种不同平台的其他运算设备,做了相当多的实验。

从而通过优化算子结构,调整特定计算过程的方式,将这个核心的骨干网络参数量减少了接近十倍。

运算快了这么多,性能却没什么变化,这已经非常不得了了。

马斯克有这一问,也是私下里的随口一提。

但他名头太大,以往自己做的事情又太疯狂,导致孟繁岐听着他那颇为低沉,有磁性的声音之时,当了真。

还真以为这是个非常严肃认真的需求。

“自动驾驶的热度确实也快起来了,我专门针对这方面做点优化工作,也不算亏。”

孟繁岐一边利用着重生优势开始抄底一些车企的股票,一边开始着手实现一个巧妙的加速并且节省内存的方式。

这个新的优化办法叫做网络结构的重参数化。

这半年来,视觉方法性能的突飞猛进来自于孟繁岐提出的残差方法,也就是将y=F(x)变为y=F(x)+x。

这里的写法比较简便,将一系列复杂的操作,抽象归纳为F(),在实际运算过程中,这个F()还是比较复杂的,往往需要算上好一会。

但在计算的时候,就有一个问题了,原本y=F(x)运算开始的时候,就不再需要继续存储x这个变量了,因为它已经在参与F(x)的运算。

在运算过程当中,它会变成其他的中间变量,然后最终变为我们所想要的y。

可在残差办法当中,y=F(x)+x,x这个原始的输入,是不能够舍弃的。

必须有空间一直被占用着,用来存放这个x,因为它还等着最后加上去呢。

在比较复杂,分辨率比较高的任务当中,这个变量的大小是相当可观的。

这种情况有没有办法可以规避?规避之后,残差方法带来的性能提升能不能不要被影响?

答案当然是肯定的,完全可以做到。

孟繁岐准备实现的这种结构重参数化,其最核心的思想就是模型训练和实际使用推理的分离。

首先构造一系列结构(一般用于训练),并将其参数等价转换为另一组参数(一般用于推理),从而将这一系列结构等价转换为另一系列结构。

在现实场景中,训练资源一般是非常丰富的,可以在大型的服务器上得到。

而推理的时候,计算资源往往会比较有限,因此大家更在意的是推理时的开销和性能。

想要训练时的结构较大,具备好的某种性质,比如性能特别好,准确率特别高。

但在推理的时候,则把结构变小变快,同时在数学上等价于大型的结构。

孟繁岐的这个新办法,就提供了这种可能,他相信,重参数+移动端网络的算力削减,将会成为自动驾驶领域的一大催化剂。最新网址:

本站网站:

神环啸  我的御兽养成计划  寡人刘玄德  年代文女配重生后踹了男主  我在西游交易万物  炮灰表小姐苟命日常  什么?我体内有一座剑山  银河记事  携猫主子勇闯星域  西游之开局加入聊天群  善男信女  改局之谋  激荡一九九五  陆总请滚开,别打扰我种地  她似春光明媚  霸总战神之当代侠侣  影视世界里的假道士  一诺千金断绝尘  异界大乱斗之乱的很  丹道龙皇  

热门小说推荐
被夺气运重生后,小师妹杀疯了

被夺气运重生后,小师妹杀疯了

关于被夺气运重生后,小师妹杀疯了前世,谢宁被庶妹暗害,被夺气运,惨死兽爪之下。疼爱她的娘亲和外祖一家也因为自己,在庶妹的迫害下疯的疯死的死!重活一世,谢宁势必揭穿庶妹的恶毒面具!改变师兄们的悲惨命运!让师父这条大粗腿屹立不倒。这一世,势必要将自己失去的一切都夺回来!...

超级神武道

超级神武道

地球联邦时代,开发基因潜能成为人类赖以生存的依靠。一部十八重的基础心诀,开启了基因全面异变时代。一套武道修炼系统,将这种异变推到了巅峰。重回一百三十年前,我当无敌天下!(新人新书,求收藏推荐)各位书友要是觉得超级神武道还不错的话请不要忘记向您...

小美人重生后被献给了暴君

小美人重生后被献给了暴君

上辈子余星被瑞王花言巧语所骗,最终落得苟延残喘,遭世人唾骂,惨遭嫡姐毒害。重活一世,他拒绝了瑞王,却被他记恨在心,以祸心之名将他进献给禹国暴君。他想逃却被整个京城的人盯着,他们视他为祸害,将他强行塞入马车,送往禹国,保陈国无忧。余星痛恨他们,仇视他们!他以为自己会在禹国惨遭迫害,却没想到迎来了所有人欢迎。他在宫里战战兢兢,唯恐惹怒暴君,没想到一向不近男女的暴君,却朝他走来,拉着他的手,朝着巍峨大殿走去。下方大臣齐齐朝他叩拜。余星!再后来禹国攻入陈国皇宫,暴君带着他居高临下睥睨着一身狼狈的瑞王。魔蝎小说...

吃了一口太岁肉,我杀穿仙路

吃了一口太岁肉,我杀穿仙路

关于吃了一口太岁肉,我杀穿仙路2030年,灵气复苏,天地转变,古法再次站上历史舞台。2130年,随着名山秘境开启,远古洪荒重新融入现在这方天地。一位位耳熟能详的神灵逐渐从时间长河回归,新法古法发生文明碰撞。一条新的长生路再现世间...

异世种田:我走在天灾前面

异世种田:我走在天灾前面

关于异世种田我走在天灾前面年仅10岁的文希,被系统安排去平行世界拯救女主,30年后任务完成,返回蓝星,直接死亡。系统告诉她蓝星已经毁灭,把她传送到绿星了。坑货系统却自己走了,什么都没给她留。文希没办法,她想好好活着,领用领地轰轰烈烈的开始她的种田生活。文希已经接受事实,开开心心的做领主,坑货系统却回来了。共同面对绿星的多灾多难,而文希每一次,都能在灾难降临在她身上之前,提前知晓避开或拿到解药。只不过,为什么她的领地,那么吸引变异动物,文希觊觎它们身上美味的肉,看着都留口水。可她打不过啊危险绿星,文希努力生活。...

我的26个变态女客户

我的26个变态女客户

关于我的26个变态女客户秦宇是个孤儿,老天给他关上门的同时,也给他开了一扇窗。让他拥有秒杀当红小鲜肉的颜值,跟188的身高。在高人指点下,秦宇做起了职业护花使者!他的客户个个都是极品大美女,却没一个正常人。有大学美艳校花但有厌男症。有地下世界的女王却是女神经。有上市公司的高冷女霸总无奈心狠手辣。有当红一线女星可沉迷扮演各种角色分不清现实。还有个主动倒贴的大美女却是个最后遇到一真爱你腰上怎么有胎记,难道有情人终成兄妹?看秦宇如何在各种修罗场中游刃有余。万花丛中过,片叶不沾身,追夫火葬场,结局爽又爽!...

每日热搜小说推荐