【社招】淘天集团-多模态内容理解-直播AI

拟录取算28届硕，nlp，大模型方向。感觉一点都不喜欢写代码，但是已经花了很多很多时间在上面了，又想着要不要还是尝试一下。目前只会点python训练模型，有个蓝桥杯c++国二，刷了几百道算法题但是刷了就忘。想转开发又没有基础，什么中间件微服务redis高并发通通不会。冲算法有点基础但是又没学历又没论文……很多同学朋友在互联网都说压力大而且天天提心吊胆怕被裁。网上到处都是大龄失业程序员摆摊做副业做直播……早就没了几年前一定要冲大厂的心气，但是要放下这么多年的努力去考个编制又不甘心，进又进不了退又不想退。出路到底在哪😭😭😭     

自我介绍项目deepspeed zero 的三个状态？1b 的模型需要多少显存？16G。模型2g,梯度2g，优化器状态4g+4g(以adam为例，一阶动量32位和二阶动量32位)。如果有32位的模型参数的备份，就还有4g。一共2+2+4+4+4=16g。adam 优化器的形式？Adam优化器中：一阶矩估计：用于引入动量，使参数更新具有“惯性”，加速收敛，同时平滑梯度，减少噪声影响，让参数更新更稳定。二阶矩估计：通过衡量梯度方差，自适应调整各参数维度的学习率，使不同维度都能以合适速度更新，还能有效处理稀疏梯度问题。dpo ppo grpo的区别？为什么用llava 不用qwen-vl？在图文检索...

1. 核心影响因素- 任务类型：- 简单任务（如文本分类）：可能需数百到数千条标注数据。- 复杂任务（如对话生成、阅读理解）：通常需数万条甚至更多数据，尤其需多样性和高质量样本。- 模型规模：- 大参数量模型（如GPT-3、PaLM）可能需更多数据防止过拟合，但通过策略（如参数冻结）可降低需求。- 较小模型（如BERT-base）可能在较少数据下表现良好。核心是数据质量：- 高质量、标注精准、多样化的数据可显著减少需求量。- 低质量数据可能导致模型性能瓶颈，需额外清洗或增补。领域差异：- 若预训练数据与目标领域差异大（如通用→医疗），需更多领域数据调整模型分布。- 训练策略：- 正则化技术（早停、Dropout、数据增强）可缓解小数据过拟合。- 迁移学习技巧（如Adapter、LoRA）可减少可训练参数量，降低数据需求。经验可参考范围- 常规任务（分类/标注）：- 小模型（如BERT）：1k-10k样本。- 大模型（如GPT-3.5）：可能需10k-50k样本（结合领域适配策略）。- 生成任务（对话/摘要）：- 通常需5k-100k+样本，依赖生成质量要求。- 领域适配：- 若领域差异大，需额外增加20%-50%数据量。产品经理的权衡维度- 业务目标：- 若需快速验证MVP，可接受小数据+低精度（如数百样本），后续迭代优化。- 若追求高精度（如医疗、金融场景），需预留足够标注预算。- 资源限制：- 标注成本：若数据获取昂贵，需优先优化数据质量或采用主动学习。- 算力与时间：大数据量需更高训练成本，需权衡ROI。- 替代方案：- Prompt Engineering：用少量样本设计提示词，可能无需微调。- Few-shot Learning：结合模型原生能力减少数据依赖。                 

网易 LLM（2+1/1+1）​ 1. 项目+实习​ 2. 项目中数据构建方式​ 3. 项目RAG遇到的困难以及目前RAG的痛点​ 4. Transformer的完整流程（从输入到输出）​ 5. MHA和GQA应用​ 6. LLM部署时遇到的问题​ 7. 分布式架构以及经验​ 8. 多模态大模型介绍1-2个​ 9. CLIP的核心代码​ 10. Python，linux的一些基础​ 11. 代码题：3道动态规划题目   互联网大厂实习  nlp