日记004

1. 内容缺失问题是什么？内容缺失，指的是用户问题明明有答案，但检索阶段没有把真正相关的文档召回出来，最后模型拿到的上下文不完整，回答自然就缺信息。这类问题在 RAG 里特别常见，因为很多时候不是模型不会答，而是它根本没看到关键内容。常见原因就是切块切坏了、向量化效果一般、召回 topk 太小、查询改写不到位，或者知识库本身就缺数据。2. 为什么会错过排名靠前的文档？这个问题本质上是检索排序问题。有些文档明明相关，但因为向量检索只看语义相似度，或者 BM25 只看关键词匹配，结果真正有价值的文档没排到前面。尤其是用户问题比较短、表述模糊、专业术语多、别名多的时候，这种情况更明显。所以很多线上系...

大二小登简历求拷打

1. 谈谈深度学习中的归一化问题深度学习中的归一化，核心目的是让不同层、不同特征的数值分布更稳定，从而加速训练并提高收敛稳定性。常见归一化包括输入归一化（如像素缩放到[0,1]）、BatchNorm、LayerNorm、GroupNorm。BatchNorm在mini-batch维度统计均值方差，适合CNN场景；LayerNorm在特征维度统计，常用于NLP和Transformer。归一化可以缓解梯度消失/爆炸、允许更大学习率、降低参数初始化敏感性。 import torch.nn as nn # CNN里常见 BatchNorm2d cnn_block = nn.Sequential( nn...