B站2024秋招内推

1.问实习2. 项目拷打3. LLM 落地部署有什么好用的 trick？答案：现在 LLM 落地里，很多时候改模型不如先改数据和链路。第一步是把线上 badcase 分桶，区分是检索错、提示词错、模型能力不足、工具返回错还是数据源脏；第二步是做数据闭环，把高频错误变成 SFT、偏好对、规则样本或者评测集；第三步是做推理侧优化，比如 KV Cache、continuous batching、量化、prefix cache 和路由小模型。比较实用的 trick 是不要盲目微调整个模型。很多业务问题是知识更新、格式不稳、证据引用错，这些更适合通过 RAG、结构化输出、后校验和数据清洗解决。只有当错误...