百川智能--医疗大模型--一面

快手二面凉经一面56min面试官根据简历深挖，有很耐心听我的工作内容，听我怎么去实现某项工作，面完有一种酣畅淋漓的感觉，交流很开心因此很期待二面。间隔一周二面不到30min面试官好像对简历内容不感兴趣（虽然我觉得经历比较匹配）提问比较大开大合，不给应用场景直接上来问评测指标设计（有点类似于让你设计一套试卷但没有具体说考哪科考哪个群体）能够理解面试官意思，但回答起来很无力。（深深的无力感，全程一直在解释说我觉得设计还是基于具体场景会比较好，不然真的不知道从何答起）几乎每一个问题都伴随着深深的无力感，明明感觉过往经历能够满足需求但面试官对简历完全不感兴趣，一直在回答一些大开大合答不出个所以然的问题。面完有点难过，没有之前那种很顺畅的感觉了。而且一直网络非常不稳定呜呜呜呜，卡了快十次。大概率凉了，但是还是很感谢一面面试官，温柔且同频共振的感觉。但是两个面试官都很尊重人，这点体验感很好。

LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南 1.微调（Supervised Finetuning） 指令微调阶段使用了已标注数据。这个阶段训练的数据集数量不会像预训练阶段那么大，最多可以达到几千万条，最少可以达到几百条到几千条。指令微调可以将预训练的知识“涌现”出来，进行其他类型的任务，如问答类型的任务。一般指令微调阶段对于在具体行业上的应用是必要的，但指令微调阶段一般不能灌注进去新知识，而是将已有知识的能力以某类任务的形式展现出来。 指令微调任务有多种场景，比较常用的有： 风格化：特定的问答范式 自我认知：自我认知改变 ...

#牛客帮帮团来啦！有问必答#我在读研期间，一直在芯片公司做一些编译器或者推理加速相关的工作，做过模型压缩，算子融合，动态算子相关的一些工作，但是一直在做单机单卡上相关的工作，这是我的一些背景。去年大模型火了以后多了很多大模型的机会，我本来以为这个岗位需求量会很大，但是实际秋招的时候，很多芯片公司在这个方向上招人都是个位数，虽然也可以硬蹭互联网还有一些纯 AI 初创，但是招人也特别少，而且因为急着出成果，都希望招资深工程师，在初期别人大厂各种乱杀的时候，只有自动驾驶的一些公司给了一些机会，后来运气不错又拿了一些大厂做大模型推理团队的 offer ，目前在去苏州做 ADAS 类似嵌入式的工作和去上海做大模型推理之间摇摆，上海总包多将近 20 ，但是我还是有一些担心的点。1. 推理优化的手段真正有效的其实有限，每个公司在这个方向几乎只有十几人的小组在做，我不确定以后跳槽坑位是否足够。2. 现在大模型越来越火，入行的人的资历也越来越好，动辄系统方向的顶会，优秀的开源项目，反观我只有一些实习的经验，对比之下，感觉压力很大。3. 经历了芯片赛道的狂热到现在的业务收缩以后，曾经我也以为算力是基本，做芯片行业肯定能温饱不愁，现在持相反态度，我感觉大模型以后一定是个好方向，但是对于从业者却未必友好。而去外企做嵌入式就没啥太多想法了，苏州家里可以支持买房，可以生活的比较舒服，工资也算给的足够多，如果算上女朋友加起来收入和上海持平（因为女朋友在上海只有银行的选择收入比较低）。两边都有被裁风险，苏州这边做嵌入式的公司相对应该更多一点，缺点就是确实不太喜欢嵌入式，对汽车的软件开发也喜欢不起来，但是可以克服；而且也不一定稳定，加班也不怎么少。总之，感觉选哪边都会后悔，经历了一段时间的决策，包括家庭等因素进去，更加不知道如何选择，希望删繁就简，仅从方向和城市的角度请各位大佬给点意见。

LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践 1.多模态大模型推理 LLM 的推理流程： 多模态的 LLM 的原理： 代码演示：使用 ModelScope NoteBook 完成语言大模型，视觉大模型，音频大模型的推理 环境配置与安装 以下主要演示的模型推理代码可在魔搭社区免费实例 PAI-DSW 的配置下运行（显存 24G） ： 点击模型右侧 Notebook 快速开发按钮，选择 GPU 环境： 打开 Python 3 (ipykernel)： 示例代码语言大模型推理示例代码 #通义千问1_8B LLM大模型的推理代码示例 #通义千问1_8B:https:...