2024-12-18 09:31 中国科学院大学 算法工程师 发布于俄罗斯
关注
用友NLP
1. tokenizer的作用？为什么bert要用专门的tokenizer
Bert有自己的tokenizer，是自己训练好的词表，并且在起止位置都加上了特殊符号
注意：尽管tokenizer翻译为分词器，但功能并不仅限于分词，还包括映射词表，添加特殊符号，统一长度（padding、截断）
2. 相对位置编码的作用？Rope、Abili
1）一定程度上实现长度外推性
2）能够获取文本位置中的相对关系
3. 大模型是怎么训练出来的？
decoder ： 预训练
SFT：问答微调
RLHF：人工排序，对齐人类偏好
4. huggingface里面为什么有些方法可以调用，但是不能查看源码实现
面向对象、python的动态特性、导入包、本地方法？
5. 用户怎么获取大模型的有害信息（安全问题，赛博奶奶）
Bert有自己的tokenizer，是自己训练好的词表，并且在起止位置都加上了特殊符号
注意：尽管tokenizer翻译为分词器，但功能并不仅限于分词，还包括映射词表，添加特殊符号，统一长度（padding、截断）
2. 相对位置编码的作用？Rope、Abili
1）一定程度上实现长度外推性
2）能够获取文本位置中的相对关系
3. 大模型是怎么训练出来的？
decoder ： 预训练
SFT：问答微调
RLHF：人工排序，对齐人类偏好
4. huggingface里面为什么有些方法可以调用，但是不能查看源码实现
面向对象、python的动态特性、导入包、本地方法？
5. 用户怎么获取大模型的有害信息（安全问题，赛博奶奶）
全部评论
相关推荐
12-11 11:46
南京信息工程大学 Java 程序员花海：实习和校招简历正确格式应该是教育背景+实习+项目经历+个人评价 其中项目经历注意要体现业务 实习经历里面的业务更是要自圆其说 简历模板尽可能保持干净整洁 不要太花哨的
点赞 评论 收藏
分享
点赞 评论 收藏
分享