09-04 17:31 门头沟学院算法工程师发布于甘肃

关注

字节大模型

和各位佬讨论一下，lora的AB两个矩阵一个全零初始化，一个是高斯随机初始化，这俩初始化方法到底能不能互换？
我看网上有人说互换了训练会变慢或者停滞，有人说不会，这俩矩阵是对称的
#一人一道大厂面试题##我的秋招日记##字节#

全部评论

推荐最新楼层

坚果墙2024

东南大学信息技术岗

trick 可以全高斯随机初始化，只需让W_0 = (W-A_0*B*0)

点赞回复分享

发布于 09-13 21:04 广东

练习时长15坤年

北京理工大学算法工程师

我记得原文上说A高斯B零初始的效果最好，互换也可以训练倒是

点赞回复分享

发布于 09-05 18:08 北京

大模型界的路边一条

四平职业大学服装/纺织设计

不能

点赞回复分享

发布于 09-05 00:31 北京

12-12 19:07

济南大学 Java

秋招-库洛游戏-游戏服务器开发-一面（挂）

两个技术一起面，一人一句追问，压力相对比较大（录音文件上传AI生成）ArrayList 和 LinkedList 的区别是什么？两个线程同时往 ArrayList 插入数据会发生什么？扩容期间插入会导致死循环吗？相同长度的 ArrayList 和 LinkedList 遍历速度哪个更快？为什么连续内存区域遍历更快？在 ArrayList 遍历过程中往中间插入数据会有什么问题？会抛出什么异常？异常如何检测插入操作？HashMap 的结构是什么？红黑树的好处是什么？为什么用红黑树而非平衡二叉树？Java 的 GC 算法有哪些？如何检测对象是否可回收？哪些对象可被标记为 GC Root？类加载器的双...

面筋（烤面筋）

点赞评论收藏

昨天 04:05

已编辑

蚌埠坦克学院嵌入式软件开发

经纬恒润嵌入式一面面经

9本水硕，投递经纬恒润成都的嵌软。timeline：9.10投递/9.22一面/9.24通知一面过并发笔试/9.27写笔试。一面通知邮件里要求填写个问卷，但问卷链接点不开，就没管。后面没收到任何通知，可能是因为这个。公司口碑一般，当时也有更好的流程在推进了，就放任它石沉大海了。一面：23min自我介绍毕业时间、当前课业任务等闲聊如何考虑职业路线选择项目深挖（程序优化思路、软件和硬件上分别做了什么工作、解决过最棘手的问题）用过哪些通讯协议，简单介绍作用深入介绍IIC和SPI原理和时序（结合项目提问）对ADC进行一次读取，用的哪个协议，时序是什么FreeRTOS任务有几种状态介绍FreeRTOS中...

发面经攒人品

点赞评论收藏

11-21 12:39

中国石油大学（华东） Java

27找第一份实习

可以帮忙点评简历吗，虚心求教

影04714：把图书管理系统那个项目经验内容适当的减少掉，然后改成据为己有不要说团队项目，因为图书管理系统这类常见的谁来了都能独立写出来，提问能圆过来即可

点赞评论收藏

11-06 23:30

已编辑

Xcccc25：几点开的？23？

点赞评论收藏

12-14 20:37

复旦大学 Java

Docker面试题

1.Docker 容器和虚拟机的主要区别是什么？Docker 容器和传统虚拟机在资源隔离和运行方式上存在显著差异：1、架构： Docker 容器使用轻量级的隔离方法，共享宿主机的操作系统核心。相比之下，虚拟机则包括完整的操作系统副本和虚拟化的硬件资源。2、性能： 由于Docker 容器不需要完整的操作系统，它们启动更快，性能开销较小。3、资源占用： Docker 容器通常占用更少的存储空间和内存，因为它们共享宿主机的核心和部分资源。4、隔离性： 虚拟机提供了较高级别的隔离，因为每个虚拟机运行在完全独立的环境中。Docker 容器的隔离性相对较低，但仍然足够用于大多数应用。2.Dockerfil...

点赞评论收藏

招聘动态

出海营销领先企业钛动科技

全站热榜

创作者周榜

正在热议

# 选完offer后，你后悔学机械吗？ #