钛动科技一面

1. 全参数微调的显存一般怎么估算全参数微调的显存不能只看模型参数本身，真正上线训练时至少要把参数、梯度、优化器状态和激活值都算进去。最粗略的估算方式是：如果模型参数量是 N，训练精度是 bf16，那么参数大约占 2N 字节，梯度再来一份 2N，如果用 Adam，还要额外保存两组一阶和二阶矩，通常再加 4N + 4N 字节。也就是说，不考虑激活值时，单参数相关内存大致可以按 12N ~ 16N 字节估。真正把 batch size、sequence length、checkpointing、并行策略加进去后，激活值往往才是大头。所以面试里如果只答“参数量乘 2”基本不够。更稳的答法是先给出静态...

刚面完一把大厂的 AI 核心业务线，遇到个懂行的总监，一直在大模型微调这块给我挖坑，估计想看我是不是那种只会调第三方 API 的“外包型开发”。顺手把面试过程复盘一下，供后端转 AI 方向的兄弟们参考。一、 避坑：千万别在简历上乱吹“全量微调”很多后端兄弟为了简历好看，上来就写自己主导了全量微调（Full Parameter Fine-tuning）。这在懂行的人听来挺扯的，全量微调极其烧钱，动辄几百张 A100 显卡，普通业务线哪来这个算力和预算去给你折腾。面试时我直接兜了底：结合咱们真实的业务场景，我只参与了指令微调（SFT）和参数优化。其实大厂现在勒紧裤腰带，最看重的就是“花小钱办大事”，精准踩中降本增效和 ROI 才是正解。二、 被追问的深水区：怎么防“灾难性遗忘”后来聊到把公司的私有业务数据喂给开源大模型时，总监顺理成章地问到了“灾难性遗忘”——模型学了公司的业务黑话，结果连基础的逻辑推理都不会了。应对这个，我切入了用正则化（Regularization）做权重约束的方案。作为 Java 开发，能把这俩概念用大白话解释清楚，面试官基本就认可你的算法底子了：L1 正则化 (Lasso)： 核心在于惩罚项 \lambda \sum |w|。它的特性是会产生稀疏矩阵，能把大模型里很多不重要的特征权重直接清零。我结合了他们公司的端侧场景聊：在智能硬件上部署模型，内存和算力死贵。利用 L1 的稀疏性可以大幅压缩模型体积，在不怎么掉精度的情况下，保住端侧的推理速度。L2 正则化 (Ridge)： 核心是 \lambda \sum w^2。它不会把权重变 0，而是让其变得平滑。大模型的底座参数是跑了万亿 Token 炼出来的完美状态，加新知识时，L2 就像个限流器，防止底座权重发生剧烈漂移。这样既吸收了业务知识，又不会过度拟合。三、 找准后端的生态位：不抢算法的活最后面试官试探性地问：“既然算法原理这么熟，那这微调的训练代码是你用 Python 写的吗？”这绝对是个坑。做后端的一定要守住自己的边界，不能瞎揽活，我当时直接拉回 Java 主场：“炼丹跑 PyTorch 脚本主要是算法团队在搞。作为后端，我在微调链路里的核心价值是做‘数据工程化’。大家都知道 Garbage in, Garbage out，微调的上限全看数据质量。我主要用 Java 跑高并发的 ETL 任务，从 MySQL/ES 里把真实的业务日志抽出来，洗掉敏感词和废话，组装成严格的 {"instruction": "...", "input": "...", "output": "..."} 格式。没有后端的这条数据流水线，算法团队连干净的‘饲料’都拿不到。”总结：后端面 AI 岗位，最吃香的画像其实是：懂点算法底层逻辑（知道显存怎么省、遗忘率怎么控），但核心精力全扎在工程落地（清洗海量数据、保障系统并发）上的务实派。希望对大家有帮助。

1. Agent 工具调用你知道怎么训练吗？训练集应该包含哪些？怎么得到训练数据集？如果只是让模型“知道有工具”，那只需要在 SFT 里教会它工具名和参数格式；但如果想让它真的会用工具，训练集必须覆盖完整决策链路。至少要有三类样本：一类是该调用工具的，一类是不该调用工具的，还有一类是要调用多个工具且有依赖关系的。否则模型很容易学成“逢问题必调用”。训练数据来源一般有几种。最理想的是业务日志里已有高质量人工操作轨迹，把用户问题、检索条件、调用参数、返回结果和最终回复串起来。没有现成轨迹时，就要靠规则模板、专家构造、模型自蒸馏和人工校验混合生成。真正难的地方不在造正样本，而在构造反例，比如参数缺失...

在上周腾讯二面十分钟秒挂后立刻进行了长达20分钟的vivo一面然后就杳无音讯直到刚刚发邮件约hr面？？？4.16更新 hr面结束 说是五一左右出结果 等呗