科大讯飞面试

主要问项目 量化 用的gptq 后量化 量化用了什么数据 性能下降怎么样 训练时量化 qlora 介绍一下分词器 有哪些 按子词 字符分 bpe bbpe sentencepiece 你怎么训练的蒸馏 白盒蒸馏 loss怎么设计 我说kl散度 面试官说 这个很基础 有没有了解别的 不了解 面完就去了解介绍下 dpo ppo 区别什么的 没什么逻辑的说了一下ppo 老说不好 我说我能说一下loss 不过漏说了一个部分 然后又从loss角度说了一下dpo 简单问了 rag 的步骤之类的还有一些忘了  面试官很好还有就是城市选择 主合肥了 反问下午约二面希望二面也能过了