雪笋肉丝面
2024-04-07 16:57 香港大学 算法工程师
关注
如果往深里说，可以结合上Lipschitz常量，self-attention的Lipschitz常量比较大，也就是上下界浮动大，BN层无法有效约束。这个点比较深，还可以延伸到LN的变体RMSNorm。
虽然从理论上可以讲的很深，但其实主要还是实验上有效，这些八股属实没意思。
查看原帖
3 3
相关推荐
查看4道真题和解析 04-17 12:35
哈尔滨理工大学 C++ 
投递哔哩哔哩等公司6个岗位 点赞 评论 收藏
分享
04-27 10:54
门头沟学院 Java 
点赞 评论 收藏
分享
从零开始的转码生活：Mark很受用，学习了！希望博主能更新更多的案例拆解和分析
点赞 评论 收藏
分享
牛客热帖
更多
正在热议
更多
# 聊聊这家公司值得去吗 #
228305次浏览 2152人参与
# 秋招最大的收获是什么？ #
33734次浏览 295人参与
# 你认为哪个岗位找工作最卷 #
7723次浏览 28人参与
# 职场上哪些事情令人讨厌 #
16413次浏览 79人参与
# 一人一个landing小技巧 #
77792次浏览 1111人参与
# 职场人，说说你的烦心事 #
8148次浏览 62人参与
# kpi面有什么特征 #
28863次浏览 160人参与
# 为了找工作你投递了多少公司？ #
7636次浏览 100人参与
# 大家每天通勤多久？ #
41797次浏览 328人参与
# tplink提前批进度交流 #
162483次浏览 1375人参与
# 找工作前vs找工作后的心路变化 #
9508次浏览 101人参与
# 聊聊你的职场新体验 #
157177次浏览 1367人参与
# 经纬恒润求职进展汇总 #
118822次浏览 1027人参与
# 通信硬件牛牛的实习日记 #
7037次浏览 65人参与
# 硬件人你反向读研了吗 #
41696次浏览 629人参与
# 入职第一天，你准备什么时候下班 #
55254次浏览 351人参与
# 好未来求职进展汇总 #
17986次浏览 153人参与
# 担心入职之后被发现很菜怎么办 #
126148次浏览 752人参与
# 晒一晒你收到的礼盒 #
67755次浏览 398人参与
# 一觉醒来，秋招难度下降一万倍…… #
77097次浏览 632人参与