锐捷网络 大模型应用开发暑期实习

大家很多人私信我大模型应用开发具体是做啥，正好我讲讲在字节实习3个月+的体验。现在以字节为例我看很多岗位，其实大模型应用岗位已经被纳入后端开发（大多还是属于开发序列，至少我看不在算法序列）当中了，所以总的来说二者并没有特别明显的区别，起码在公司的角度来看。以我自己为例，我也是面的后端岗位然后进来做Agent的开发，Agent开发暂时不涉及模型的训练，最多包含一些模型的微调（而且公司有平台）。总的来说，Agent开发主要是搭建workflow，主要涉及Rag、微调、Mcp、Prompt这些方面，包含一些技术栈py：langgraph、langchain、langSmith，java: SpringAI、langchain4j？，所以我觉得后端的同学直接投问题不大，但是需要python or java or 大模型基本知识的landing。我之前也没接触过类似的知识，还在字节里面有LLM学习季的好东西，包含了大模型的基本知识Transformer、Prompt工程、Rag实战等等各种基本知识的解释和实操，让我非常循序并循序渐进的了解了这方面的知识，并且燃起了对大模型学习的兴趣，不得不说这一点还是很值得学习的。其次，就是在实习过程中，大家讨论的都是如何提高大模型产生的效果、以及有没有更加方便的Agent工具能够参与 or 使用提效，整体氛围很不错，而且都是去聊一些比较新的东西，例如之前刚出的Agent2Agent协议。在我看来，Agent主要是以Multi-Agent写作文的形式完成一系列任务，例如Deep-Research利用搜索、爬虫等工具，获取想要查询的网页并爬取文章内容，并且生成一篇分析报告，包括了一些意图识别、任务规划、记忆、工具调用等。在这个过程可以加很多环节去提高分析报告的效果（在Prompt的层面），例如反思、自问自答、知识库、human-in-loop等等，我觉得设计这些环节还是需要很多经验的，目前很多需要参考了类似的设计有比如cursor等。至于学历的要求，不知道现在岗位需不需要硕士的学历，但是我看来其实本科也能做，包括我在的组很多Agent内容在Cursor、Trae等工具的辅助下，前端也参与了不少（没错，前端也写Agent）。所以现在在各种Agent工具不断出现的今天，大厂更加需要“能够熟练使用AI工具的人”。举例，本组有个本科校招生，ld说后续会让他参与LLM的开发内容。当然，以上是我3个月浅薄的理解，我其实也看了不少内容的一些技术文章，整体来说大概是个这么情况，感觉技术壁垒不深，但是基于目前资料跟Java（黑马）比有所欠缺的情况下，还是筛掉了相当一部分人，感觉可冲（感觉比较缺人，至少我们组人很缺）；但是基于我之前很多段实习都是Java开发，我觉得大模型应用更在乎大模型的效果而不是性能，可能还是关注点会跟Java开发有一些区别，优先级不一样，很少用到一些中间件来做啥，目前我在整个过程中只用过Redis来缓存stream流。实习体验：1.需求：字节跟我实习过的其他大厂有很明显的区别，他是直接安排活让你去做，至于你做不做得了，这个就另说了（即使有mentor的帮助）。有个群友举的例子很好“就是把一个不会游泳的初学者丢进水池里，如果活下来了，就学会了哈哈”。所以在我很久没写py、langchain等内容的基础上、没在字节做过任何需求的时候，让我开发了一个我认为很大的一个需求，大概6-7000行（两周），我为了不延期，主动加班到10-11点，才在排期前做完。。2.福利：经历了字节下午茶的LastDay目前已经没啥福利了，零食、水果还是不错；其次，允许实习生出差，刚来没几天就团建 + 出差去北京（出差了一周），那段时间还是很滋润的，在北京也小小旅游了一下（带着女朋友一起去了，当然她的不报销，只是住在一起）3.博客：当初在快手实习的时候，基本上看遍了Kstack的文章，但是在字节我目前还没看完，而且受益匪浅，感觉文章整体含金量要高不少（可能快手现在也变好了，不尬黑）。4.带教：mentor和ld对我很好，也让我进入了一个新的领域，目前正好考虑通过这次机会往大模型应用甚至大模型算法转型.正好有学长跟我说过，“阿里很值得去实习体验一次，哪怕不留下来”，我觉得“字节也很值得去体验一次，哪怕不留下来”，之前在前几家公司反而没这么深刻的感悟。如果对各位有帮助的话，求求🥺给朵小红花，有问题可以在评论区交流～

因为又被运营约稿了，然后也老被催更新，所以趁着放假就更新一下，这篇就写怎么去面试，怎么去准备大模型吧，这里也很有意思，这个牛客网在boss上来要我简历了，后面加了微信不过他们只要2-4年的资深大模型工程师。那么直接开始吧，本来打算早点更新的，不过嘛，下班之后一直在打游戏，对此只能说三角洲太好玩了，琳琅天上还是当年模样，好玩，想起小学时代玩的qq飞车了（时代眼泪了算是，现在人估计都没听过这个游戏了何况会去玩呢，真怀念那会边听歌边跑图）一晃便过去一个时代，这时间若白驹过隙，所以啊，诸君当是要珍惜时间和家人，不要太看重工作。先随便讲点吸引大伙注意力，那么直接开始今天的教程。先叠甲：以下的问题，基本上...

攻略🌈【大模型评估全攻略】！LLM七大核心评估维度保姆级拆解💯👉🏻预训练→SFT→RLHF→数据集→RAG→Agent→Prompt🔥一、预训练评估评估大型语言模型（LLM）的预训练效果需要从多个维度综合考量，涉及基础语言能力、下游任务表现、知识掌握、推理能力等。🔥二、SFT评估评估大型语言模型（LLM）在监督式微调（Supervised Fine-Tuning, SFT）后的效果，需要结合任务目标、领域特性和模型能力设计多维度的评估体系。🔥️三、RLHF评估评估大型语言模型（LLM）在通过RLHF（基于人类反馈的强化学习）后的效果需要从多个维度综合考量，包括生成质量、安全性、对齐性、任务完成度等。🔥四、数据集评估在评估数据集的质量时，可以从以下几个关键方面进行评估：1. 数据多样性2. 数据平衡性3. 数据完整性4. 数据一致性5. 数据与任务的适合性6. 标注准确性🔥五、RAG评估从召回、排序、生成、整体四个维度来评估RAG性能。使用了多种指标，如准确率（Correct）、错误率（Wrong）、失败率（Fail）、BERTScore、ROUGE Score等，以全面评估生成答案的质量。🔥六、Agent评估现如今Agent开发工具/框架不断出现，但如何全面地对Agent进行评估却很困难，本文就从介绍一些主流的Agent/LLM-as-Agent评估工作来看看是否能得到一些启发。🔥七、Prompt评估评估Prompt的好坏需要一个全面和多维度的方法，结合自动评估指标、人工评估和用户反馈等多种手段。选择合适的评估方法和技术，能够有效提升Prompt的质量和生成效果，进而提高模型的整体性能和应用体验。通过不断优化和改进Prompt设计，可以实现更自然、更准确、更有效的自然语言。

SDE北京 - 24届应届毕业生 及 具备2年以内工作经验的候选人(23届），都可以投递本职位。· 毕业时间：放宽到2023年1月 - 2025年6月之间毕业的应届毕业生（例如23年毕业之后 如已经工作，工作经验在0-2年均可投递）· 工作地点：北京· 软件开发工程师, (New graduate or Entry-level Engineer) https://amazon.jobs/en/jobs/2858086/new-graduate-or-entry-level-engineer-0-2-years如需内推，发送邮件+简历到cn-sp-sde@amazon.com，邮件主题：SDE ...