Simplex AI初创面经

分布式锁设计？(简历上的)(之前的牛客笔记写了)锁分类讲一下(乐观悲观去讲，讲了cas底层c＋＋指令硬件上锁和悲观锁(去讲syn重量级，reen可重入和非阻塞，公平非公平，可重试(重写trylock方法)))MVCC讲一下？(讲了三要点，比较事务id去判断能不能修改，和隔离机制生成ReadView的区别。面试官说可以了。我还可以讲为什么只有两个隔离机制用到MVCC)临键锁，间隙锁(我说就是区间和端点值锁住，面试官说自己也忘了)索引底层数据结构，为什么是b＋树？(叶子存数据和索引，范围查询快，叶子成双向链表)b＋树怎么提升范围查询性能的(双向链表)mq怎么保证不丢？(答生产者重试和消费者确认。面试官说：rocket持久化刷盘最直接)spring cloud？(没用过)聊天室功能怎么实现(websocket和udp协议？)tcp和udp区别(安全性(证书加密)和实时性(长连接和无连接))算法讲思路：快排(基准值，比较基准值)链表用什么排序？(堆排？归并？)回文链表(快慢指针，一步俩步)

在快手做了三个多月的后端开发实习，在这里浅浅分享下我的实习体验～ 工作节奏: 基本上是早10晚9，周末双休。整体来说工作强度还是不小的，不过应该也是互联网常态了吧QAQ 福利待遇: 技术岗是400/天，晚上8点以后下班会发30餐补，入职也会一次性发180能量券，学校不在当地的话还可以申请1500/月的房补。￥这块老铁厂还是挺大方的哈哈。 实习生培养: 团队氛围很nice，我的mentor人真的很好，有问题向他请教都会很细致很耐心地给我解答，好感度upup～不过同事们平时可能都比较忙，捕捉到他们不容易，所以每次沟通或者汇报前最好提前做好准备。具体工作职责的话，一开始基本是接同事们剩下的活，直接上...

最近遇到一个训练代码，混合精度使用 apex，多卡还是 torch ddp+mp.spawn 子进程启动的方式，性能受限于 python 的 gil 锁。其实对于混合精度训练 pytorch 已经 merge 进了 amp，fsdp 也支持了 mixed precision policy，多卡训练有 torchrun 启动器，还支持多机分布式。pytorch 已经有很多新的 feature，为什么不去用呢?1️⃣起源17 年， 提出了混合精度训练：Mixed Precision Training。用 fp16 去表示 fp32 计算，在训练中会有一些数值问题：🌟精度下溢/上溢🌟fp16 数值范围和分布不匹配，导致梯度归零首先第一个问题，fp16 的表示范围小于 fp32，因此会产生 underflow、overflow第二个问题，对于 activation gradient 的分布，很大一部分较小的值在 fp16 下是不可表示的，会发生下溢 underflow 被置为 0，导致反向传播中梯度就丢失了。混合精度训练中的数值问题和模型量化中遇到的数值问题其实很类似，都是从高精度表示范围映射到低精度表示范围，在量化中是通过 calibration 校准进行不同精度范围的线性映射。在混合精度训练中是引入了 loss scaling 梯度缩放，防止非常小的梯度值在使用 fp16 进行表示时 underflow 下溢变成 0。在前向传播计算得到损失值 loss，开始反向传播 backward 之前，对 loss 进行缩放，乘以一个大于 1 的常数，称为缩放因子 S，例如 1024、4096 等。然后用缩放后的 loss 再去进行 backward，又由于求导是基于链式法则，反向传播过程中所有的梯度值都会被进行同等缩放。但放大的梯度导致后续所有依赖梯度大小进行计算的操作都会失真，权重更新时 w=w-lr*grad，导致权重更新量也会被放大 S 倍，相当于变相增大了学习率 lr，导致训练过程不稳定，且与 fp32 训练的行为不一致。因此在 backward 之后，更新模型权重之前，包括所有需要依赖梯度大小进行计算的操作之前。要在 fp32 精度下对权重梯度进行反缩放 unscaling，除以之前放大的缩放因子 S，unscaling 之后的权重梯度也可以应用梯度裁剪和权重衰减等依赖于梯度大小值的操作。然后 optimizer 里面会 copy 一份 fp32 的主权重 master weights 进行参数更新，更新之后的 master weights 再 cast 到 fp16 同步给模型参数。整个混合精度训练的流程可以表示为：✴️model fp16 weights+fp16 activations✴️fp16 forward✴️fp16 activations✴️fp32 loss scaling✴️weight&activation fp16 backward✴️fp32 grad unscaling✴️fp32 grad clip&decay✴️fp32 master weights update✴️cast to fp16 model weights2️⃣amp18 年 nv 以 pytorch 三方扩展的形式推出了 apex，以支持混合精度，20 年 pytorch1.6 merge 进了 torch.cuda.amp，配合 autocast 实现混合精度训练autocast 是混合精度的上下文管理器，在 context 里面会自动选择 op 对应的计算精度，主要基于白名单机制进行自动类型转换。3️⃣fsdpfsdp 是 21 年 pytorch1.11 的引入的新特性，核心思想来源于 deepspeed zero，在其上又扩展了对混合精度的支持。与 amp 相比，fsdp 灵活度更高，可以通过 FSDPModule warp 设置不同的混合精度策略。以及为了更高精度的数值结果，在 fp16 activation 计算和模型参数 all-gather 的基础上，可以使用 fp32 进行 gradient 的 reduce-scatter 和 optimizer 的参数更新。QA：这个时候再思考下，数值计算在什么情况下会发生 nan，迁移到混合精度训练流程里面哪些地方可能会产生 nan，怎么检测 nan，怎么避免 nan，哪些是框架已经做的，哪些还需要自己处理的，问问自己是否有了答案？📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

今天给大家分享的是一位粉丝的提问，双非本硕走 Qt+PCL 路线如何？嵌入式方向更适合双非本硕背景？接下来把粉丝的具体提问和我的回复分享给大家，希望也能给一些类似情况的小伙伴一些启发和帮助。同学提问：双非本硕，研究生期间学的qt，进公司后，接触的第一个项目使用的pcl点云，功能也都完成了，之后去系统学习了pcl，也比较感兴趣。所以想着以后走qt+pcl的路线，但看到网上讲pcl卡学历、数学要求高，所以有些犹豫。不知道要不要走这条技术路线。看网上讲嵌入式对双非硕友好，也有考虑qt+嵌入式的路线，所以目前不知道走哪个技术路线。如果走嵌入式的话，具体什么方向更好呢。Yt回答：双非本硕，研究生学的QT...