用友NLP

1. tokenizer的作用？为什么bert要用专门的tokenizer
Bert有自己的tokenizer，是自己训练好的词表，并且在起止位置都加上了特殊符号
注意：尽管tokenizer翻译为分词器，但功能并不仅限于分词，还包括映射词表，添加特殊符号，统一长度（padding、截断）
2. 相对位置编码的作用？Rope、Abili
1）一定程度上实现长度外推性
2）能够获取文本位置中的相对关系
3. 大模型是怎么训练出来的？
decoder ： 预训练
SFT：问答微调
RLHF：人工排序，对齐人类偏好
4. huggingface里面为什么有些方法可以调用，但是不能查看源码实现
面向对象、python的动态特性、导入包、本地方法？
5. 用户怎么获取大模型的有害信息（安全问题，赛博奶奶）