多模态算法 vs 多模态训推加速算法

面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.写一下attention公式(代码实现了下)2.训练时为什么要mask，推理时也需要吗?两处有什么区别?推理时的sequencelength和训练时一样吗3.transformer和传统seg2seg模型有什么区别?4.计算attention时为什么要除以dk，这个dk的含义是?attention计算时还有哪些scale处理?5.attention中softmax函数作用、公式、为什么有减去最值的处理?换个函数还能这样处理吗?6.解释数值上溢、下溢问题7.讲一下prompt书写的经验，如何判断prompt是否达标何改进prompt8.讲一下SFT，会对哪部分计算loss?为什么?9.讲一下deepspeed10.训练用一个7b模型要占用多少显存?不同zero阶段能够节多少显存?11.训练模型时用了几张卡，有遇到什么异常中断问题吗?

继续来分享下之前的面经~欢迎友好讨论，信息共享1.了解DeepSeek-R1吗?介绍一下?2.R1的MLA是如何实现KV-Cache的节约?3.R1在SFT时冷启动的目的?4.位置编码是什么?解释ROPE?5.一个14B的模型，推理和训练要多少显存?6.显存的占用和哪些因素相关?7.大模型灾难性遗忘是什么?如何解决?8.BF16、 FP16、FP32对比。9.Adam, AdamW原理。10.deepspeed的三个阶段。

1.    能否先做一个自我介绍？2.    简单介绍一下你的项目，以及你在里面主要做了哪些事情？3.    你们项目采用的框架以及技术栈是什么？4.    你觉得你对哪块技术比较熟悉一点？5.    引入线程池提升查询效率的方案，当时是你自己想出来的，还是你只负责落地执行？6.    能把你优化的代码执行的整个流程说一下吗？7.    为什么 CompeleteFuture 要使用线程池的线程，能解释一下吗？8.    这个项目的团队大概是多少人？9.    在做“花椒论坛”项目的过程中，有哪些觉得可以进行优化，而你还没有进行优化的点？10.    简单说一下粉丝订阅和关注模块里面涉及到了哪些业务逻辑？11.    消息推送模型中有涉及到数据持久化吗？12.    在拉模式的过程中，系统是怎么知道用户关注的博主发了新帖子的？13.    帖子入库的表结构是怎么样的,为什么要这么设计？14.    如果帖子内容是一个富文本，输入了一段包含特殊字符或前端注入（如 alert）的代码，导致前端渲染时弹窗了，用户上传了前端无法渲染的特殊字符给后端，如何解决这个问题？15.    如果前端的同学告诉你：“我不能包含XX这些特殊字符”，那你（后端）打算怎么做？16.    有没有考虑过做过滤器，或者在用户录入/接收到内容的时候，用正则表达式之类的去匹配，如果有特殊字符就替换掉或者挡住？（引导性提问）17.    你基于 Redis 的固定窗口限流具体是怎么做的？18.    这个限流的设计方案是有去参考过其他的解决方案，还是自己想出来的？19.    基于 Redis 的限流和谷歌的限流工具里面的限流有什么区别？20.    为什么要使用 Redis 这种中间件做限流，而不是放在本地内存（如 Java 的 Map 或静态属性）中实现？21.    如果是多台机器的分布式系统，使用本地内存做限流会出现什么问题？22.    除了 Redis 和本地内存，还有哪些技术或者中间件可以实现限流？23.    关于实习中平台用 Redis 做草稿缓存，如果前端页面一直关掉不保存，导致 Redis 数据无限膨胀，如何清理这些冗余数据？24.    如果业务人员操作配了一半去吃饭，过了设定的过期时间缓存数据被清除了怎么办？25.    如果同一个账号在两台电脑上同时登录，并对同一份工作流进行交叉修改，如何解决两边数据冲突覆盖（协同操作）的问题？26.    如果要给上述并发场景加锁，打算怎么去实现这个加锁逻辑？什么时候进行解锁？ 加锁就一定能解决这个问题吗？27.    假如我一定要两个人可以并行操作怎么办？28.    如果发现了一些自己认知以外的问题，或者被安排了不熟悉的研发任务，你会基于什么样的方式去快速解决？29.    如果项目时间非常紧迫，你该怎么处理不熟悉的需求？30.    你最近在学习哪方面的技术？31.    现在学习 AI Agent 开发学到什么程度了？32.    简单介绍一下你正在学习的项目里面具体是什么内容？33.    平时编程会用到哪些外部工具或 AI 工具来进行辅助？34.    在使用 AI 命令行工具开发时，它可能会直接把代码改错，之前有遇到过这种情况吗？是如何防范和解决的？35.    探讨一下概念，你知道 AI 为什么会自动调用 Skill 或者是直接调用 MCP 吗？我这边没有什么问题了，你这边有什么想问我的吗？

1.自我介绍2.实习经历3.项目拷打4.你了解哪些自动化测试框架5.fixture的作用域6.如何进行性能测试7.性能测试的核心流程8.python中的浅拷贝和深拷贝的区别9.python中的装饰器10.装饰器的使用场景11.python中的可变类型和不可变类型有哪些12.python中的多线程问题，asyncio等异步问题13.协程是什么14.常见的linux命令15.linux中看磁盘大小的命令16.linux查看文件的后十行命令17.软链接和硬链接是什么18.linux如何查看最后一列19.四次挥手20.为什么不能是三次挥手21.tcp如何保证传输的可靠性22.常见的状态码23.NPU和MSS是什么24.手撕：合并K个升序链表25.到岗时间26.实习时长27.base28.你理解的测开是什么29.反问:(1)业务方向（说完就忘记了啥方向了）(2)面试建议和评价