腾讯-光子工作室群-客户端开发（具身智能方向）一面面经

1.简单自我介绍

2.有没有大体量模型部署/调优经验？看你简历里都是小模型？ 答：没有

3.这边看你使用了tensorrt，有没有遇到爆内存的情况？ 答：没有，因为用的yolo模型也是小体量

4.你在边缘段部署模型的时候，如果遇到算力不足的情况，怎么解决？有没有尝试过模型调优？如果量化，量化后导致的精度问题如何解决？ 答：尝试过量化，量化后再做微调解决量化导致的精度问题。

5.你的实体机器人有没有尝试去跑公开的benchmark数据集？ 答：没有，主要适配学校本地场景。

6.你的实体机器人有没有遇到过数据不同步的情况？比如机械臂压力传感器信息已经获取了，但是视觉信息还未捕捉到抓取动作？如何调优？ 答：没有深入做过机械臂相关，不过我给出的方案是两边设备做通讯，当遇到不同步情况时抛出异常，让两边线程停止，同步后再继续执行。 面试官给出建议：如果持续开启同步，可能会浪费很多性能，因为同步只有在发生异常时才起到作用，实际可行思路是对两边信息进行预测，与其等信息到齐再同步，不如基于已有的信息做时间插值或状态预测，提前“推测”另一方的状态，以实现更平滑、高效的控制。

7.RAG系统中，你的数据是如何存储在数据库中的？用的算法是自研的吗？在问答时有没有遇到过RAG生成模型幻觉问题（可能始终只围绕提供的材料进行问答，而无法跳出材料）？ 答：通过视觉语言大模型进行PDF-Page向量化并存入数据库，算法不是自研，是基于已有框架二次开发。问答出现幻觉说明系统没有加入保底机制，认为所有问题都能在知识库中找到答案，需要对输入问题进行预处理，剔除不相关问题。

8.KCF优化怎么做的？

9.看你有VLA Zeroshot模型的训练部署经验，你是如何去做部署调优的？ 答：我们项目中可能不算zeroshot，我们实际上是在同一栋办公楼中去拍摄第一人称的行走视频，并人工标注对应时间序列上的行为决策，将其作为训练数据训练大模型，再在其他未被作为数据集拍摄的场地去做测试。对应的上层决策和我的底层执行基元作适配即可（比如视频里是人移动，实际是小车移动，移动方式不同但决策/轨迹相同）。但实际测试下来，对于室内复杂位置环境的主动探索效果并不好，因此并没有落地。

反问：岗位时客户端开发，实际是具身智能方向，具体是做哪方面的应用？ 答：客户端开发是个很大的分支，有很多子分支，具身智能是其中之一，主要做游戏相关内容向实体机器人迁移，利用实体机器人收集数据等。

面试完不到一个小时官网显示初试打勾进入复试，但网上也有说进复试可能很久都没有面试通知，想问问有没有懂哥讲一下？