发一下问题给大家参考，攒攒人品！1. PPO的原理？从维护的四个model讲，再详细讲一下训练流程和损失函数各个参数含义？2. 为什么有了reward model还需要critic model？critic model作用是什么？3. 交叉熵和kl散度的联系和区别？PPO的kl散度可以改成交叉熵吗？分类任务可以用KL散度吗？4. GRPO的kl散度和PPO的kl散度区别？K1 K2 K3估计区别？5. rollout数量 batchsize数量和计算资源(卡的数量)有什么关系？线性？非线性？6. 真实采样数量一定等于rollout数量吗？7. 提到了拒绝采样，详细讲一下8. 你是怎么设计agent的记忆系统？9. 长期记忆如何存储？如果历史记录量非常大，怎么优化查询效率？10. 你们有没有用到类似AutoGen或LangChain的框架？为什么选这个框架？11. vLLM框架是怎么做推理加速的？

1. HMM 原理、主要问题、解决方法隐马尔可夫模型（HMM）是一个生成式序列模型，包含隐藏状态和观测序列，通过状态转移概率与发射概率描述序列生成过程。主要任务有三类：概率计算（前向后向）、解码（Viterbi）、学习（Baum-Welch）。主要问题包括独立性假设过强、特征表达能力弱、难以利用长距离上下文。常见改进是使用CRF、BiLSTM-CRF、BERT-CRF等判别式或深度模型。2. fastText 和 word2vec 差异word2vec核心是学习词向量（CBOW/Skip-gram）；fastText在词向量基础上引入子词（n-gram）信息，因此对未登录词、拼写变体、低频词更...

采用"需求分析→技术选型→数据准备→训练执行→效果评估"的全流程框架，从业务需求出发，逐步深入到技术实现、资源配置、风险控制和价值验证的完整微调项目管理链路。

这年头啥玩意都能出Claw了，那咱牛客也不能甘居人后对吧，今天摸鱼顺道设计一套牛客Claw（纯娱乐，不供参考）。  产品名称： 牛客Claw--企业笔面试智能化管控平台 状态： 草案 密级： 内部机密 一、产品概述 1.1 产品名称与定位 产品名称： NowCoder Claw（牛客Claw） 核心定位： 基于OpenClaw自动化基础设施，融合AI大模型与计算机视觉技术，面向企业HR的笔面试智能化管控工具，实现「智能出题、面试风控、候选人筛选」的全流程智能化。 1.2 目标用户           用户群体 用户画像 核心痛点   B端（核心用户） 企业HR、招聘团队、用人部门负责人 人工出...