蔚来大模型强化学习训练一面

1、自我介绍2、训练和推理的并行策略大模型训练和推理常见的并行策略主要有数据并行、张量并行、流水线并行和专家并行。数据并行是每张卡放一份完整模型，不同卡处理不同 batch，然后通过 All-Reduce 同步梯度。它实现简单，但模型太大时单卡放不下。张量并行是把同一层的权重按列或者按行切到多张卡上，每张卡只算一部分，再做通信聚合，适合单层参数特别大的场景。流水线并行是把不同层分配到不同 GPU 上，让不同 micro-batch 像流水线一样流动，能解决单卡放不下完整模型的问题，但会有流水线气泡。专家并行主要出现在 MoE 结构里，不同 token 路由到不同专家，参数量可以很大，但每次只激...

在HR实习时，我和同部门的实习生妹妹关系很好，一起吐槽老板、分享零食，但转正后就刻意保持了距离。毕竟职场上，同事是利益共同体，太亲密容易公私不分。我觉得，能找到一起吃饭的“饭搭子”就很幸运了，没必要强求成为好朋友，保持专业边界感才是长久之道。

线上面试，约30分钟自我介绍HashMap的实现原理是什么？哈希查找平均是O(1)，链表的查找平均是多少？红黑树呢？假设最极端的情况，1024个元素都冲突到同一个节点，要查多少次？Map和Set有什么本质区别？TreeSet和HashSet有什么区别？如何将一个线程不安全的集合转换成线程安全的？自定义线程池的参数有哪些？这三个参数（核心线程数、最大线程数、等待队列）的生效顺序是什么？面向对象的三大特性是什么？多态是什么？如何实现的？抽象类和接口有什么区别？Java为什么选用字节码形式？字节码方式的弊端是什么？Java 8之后的垃圾回收器有哪些？G1相比CMS这种老年代的回收器，它的优化点在哪里...

最近我的出租屋隔壁搬来一个新室友，这个室友有点儿奇葩，他是二七届的同学，嗯。当时呃在房间里遇到他，跟他聊了两句。也是来我们公司，然后做测试实习生。但是他犯了三个错误，一个就是刚来第一天就把房子租好了，并没有摸清楚这个工作合不合适他，如果说你把房子租好了，你的这个跳槽成本以及各方面要考虑的就多了，就不能够毫无负担，建议一开始先找个民宿或者找个青年旅店，先干个两三天来体会一下是否真的适合自己。第二个就是想起一出是一出。他在那里干着，觉得不大合适没成长，问我有没有可以活水的机会，然后我就替他问了问我的领导，然后我的领导多方面沟通了一下，决定搞一个实习的岗位，然后也跟他聊了聊，可以让他过来，他还挺开心 我也挺开心结果他那边的领导不放人。然后得知了这个消息之后，就把他辞退了。现在的情况就是，这边我们也不能接受他，那边也只能把他辞退，结果导致这小伙又屁颠屁颠的跑路了。他的那个房子又转租给另一个人了。这一来一回的也亏了几千块。第3点就是不要对工作太过于理想化，这个小伙就是犯了这个错，就觉得自己来实习干的一定是有成长性的工作。一定能做完实习之后能在简历上增加一段有含金量的经历，但事实上很多公司就是招实习生过来打杂活的，过来让你干一些耗时间的，没成长的工作。也是需要踏踏实实的，具体你学到了什么，还是得多靠自己去领会当然了，这个也给我上了一课，因为发现对待一个人，你不能一开始就对他很真诚的，毫无保留，然后就想着帮他，即使是帮了他，别人也可能不会领你的情，并且自己也并没有从中获取一些心理上的满足感，因为这小伙确实灰头土脸的，从北京跑了，好像又要去一家杭州的公司去上班