科大讯飞nlp算法日常实习一面

发点面经攒攒人品～1.实习拷打2. 论文拷打3.有什么涉及的具体的应用吗4.我看里面上写上面写了一些知识图谱的一个构建说一下这个这个任务的一个输入和输出吧，大概你用到了什么数据，然后什么模型去产出什么样的一个东西5.你这个图谱里边都有哪些类型的实体？关系是怎么定义的6.你用了BERT去做实体识别哈，那为啥用BERT呢？能不能直接用个BiLSTM搞定5.我看你提到了LayerNorm，这块为啥要用个条件LayerNorm有什么作用6.说一下transformer的底层结构吧7.Transformer为什么用了LayerNorm呢8.你说你做了一个Multi-Head Self-Attention，那注意力权重那部分你还记得公式是咋算的吗？9.说一下LoRA原理10.刚才提到用LoRA做参数高效微调的必要性，那如果不是用LoRA，而是做全参数微调，那会消耗多少显存，比如说我以一个7B规模的大语言模型为例11.说说现在千问里有哪些主流的大模型结构12.项目拷打13.那你们这个DAG 图是怎么构建的？根因节点怎么推出来的

1. 请做一个简短的自我介绍2. 在你的项目里，挑一个技术难度大点介绍一下3. 你平时工作中用过哪些 AI 编程工具4. 对 Python 掌握如何？在你的实际使用里主要承担什么角色5. 对协程了解吗如果面试官保留“协程”这个点，其实完全可以只从 Python 角度展开。你可以说协程适合 I/O 密集场景，比如异步调用多个外部工具、并发请求检索服务、批量处理模型请求、流式返回等。协程不是让 CPU 计算变快，而是提高等待 I/O 时的资源利用率。在 Agent 场景里，协程比较适合做并发检索、多工具并发探测、异步日志上报、流式 token 处理这些事情。如果继续深入，可以提一下 asyncio...

27大三简历求痛批简历，目前已收到科大讯飞产运，但听说dirty work多，学不到东西，接触不到业务，请问我该怎么抉择 ，想秋招进大厂当运营

1. 全参数微调的显存一般怎么估算全参数微调的显存不能只看模型参数本身，真正上线训练时至少要把参数、梯度、优化器状态和激活值都算进去。最粗略的估算方式是：如果模型参数量是 N，训练精度是 bf16，那么参数大约占 2N 字节，梯度再来一份 2N，如果用 Adam，还要额外保存两组一阶和二阶矩，通常再加 4N + 4N 字节。也就是说，不考虑激活值时，单参数相关内存大致可以按 12N ~ 16N 字节估。真正把 batch size、sequence length、checkpointing、并行策略加进去后，激活值往往才是大头。所以面试里如果只答“参数量乘 2”基本不够。更稳的答法是先给出静态...