大模型应用开发求问

攻略🌈【大模型评估全攻略】！LLM七大核心评估维度保姆级拆解💯👉🏻预训练→SFT→RLHF→数据集→RAG→Agent→Prompt🔥一、预训练评估评估大型语言模型（LLM）的预训练效果需要从多个维度综合考量，涉及基础语言能力、下游任务表现、知识掌握、推理能力等。🔥二、SFT评估评估大型语言模型（LLM）在监督式微调（Supervised Fine-Tuning, SFT）后的效果，需要结合任务目标、领域特性和模型能力设计多维度的评估体系。🔥️三、RLHF评估评估大型语言模型（LLM）在通过RLHF（基于人类反馈的强化学习）后的效果需要从多个维度综合考量，包括生成质量、安全性、对齐性、任务完成度等。🔥四、数据集评估在评估数据集的质量时，可以从以下几个关键方面进行评估：1. 数据多样性2. 数据平衡性3. 数据完整性4. 数据一致性5. 数据与任务的适合性6. 标注准确性🔥五、RAG评估从召回、排序、生成、整体四个维度来评估RAG性能。使用了多种指标，如准确率（Correct）、错误率（Wrong）、失败率（Fail）、BERTScore、ROUGE Score等，以全面评估生成答案的质量。🔥六、Agent评估现如今Agent开发工具/框架不断出现，但如何全面地对Agent进行评估却很困难，本文就从介绍一些主流的Agent/LLM-as-Agent评估工作来看看是否能得到一些启发。🔥七、Prompt评估评估Prompt的好坏需要一个全面和多维度的方法，结合自动评估指标、人工评估和用户反馈等多种手段。选择合适的评估方法和技术，能够有效提升Prompt的质量和生成效果，进而提高模型的整体性能和应用体验。通过不断优化和改进Prompt设计，可以实现更自然、更准确、更有效的自然语言。

在快手做了三个多月的后端开发实习，在这里浅浅分享下我的实习体验～ 工作节奏: 基本上是早10晚9，周末双休。整体来说工作强度还是不小的，不过应该也是互联网常态了吧QAQ 福利待遇: 技术岗是400/天，晚上8点以后下班会发30餐补，入职也会一次性发180能量券，学校不在当地的话还可以申请1500/月的房补。￥这块老铁厂还是挺大方的哈哈。 实习生培养: 团队氛围很nice，我的mentor人真的很好，有问题向他请教都会很细致很耐心地给我解答，好感度upup～不过同事们平时可能都比较忙，捕捉到他们不容易，所以每次沟通或者汇报前最好提前做好准备。具体工作职责的话，一开始基本是接同事们剩下的活，直接上...

总体面试体验：7.5/10，双方都没开摄像头1.自我介绍2.简单问了一下情况3.做两个题吧：括号是否合法+中序和后序构造二叉树4.知不知道spark算子的具体操作答：不知道5.什么时候到岗？实习多久？6.对这个岗位意向怎么样，喜欢吗？总体来说面试官还不错，一直有鼓励性语言自己数据的经验很少，大数据组件很多就是浅浅知道一点概念，感觉面试官对我期望还挺大的，万一面试通过了招进去过几天发现我是个水货咋办

家人们，发现一个宝藏大模型项目！！自己动手搭建一个，顶其他的10个！能用Torch 搭建，还有rag和agent。