大语言模型

大模型自己学搞一个什么项目好啊。有微调的项目，不过面试时面试官不认可。然后之前一段大模型实习，纯打杂还傻了吧唧实习了两个多月。现在搞了一个文生图实习，感觉也还是做一些杂活，知道现在再找实习也来不及了，想自己学一个项目，该学啥呢，RAG Agent？还是其他？大家有什么建议嘛

岗位是大模型方向，面经可以看之前的帖子，附上timeline：10.11 一面/技术面10.17 二面/技术面10.23 三面/HR面10.24 OC

一二面连在一起，当时被打了个措手不及一面/HR面 2024/9/5 下午13:30-13:40自我介绍从实习中学到了什么实习和在学校的差异你觉得有哪些找工作时最关注哪些因素家乡是哪里，base选择做一个自我分析，谈下自己面试这个岗位时有哪些优势，同时有哪些不足需要去改进反问：面试流程问题，HR面和一面技术面一起，后边再来一轮技术面就OK了二面/技术面 2024/9/5 下午13:40-14:40直接开始八股Transformers中为什么用LN不用BN图像中BN是怎么用的在NLP中如果句子长度不一致，用BN会有什么后果给定一个三维矩阵bsz * seq_len * dim，BN和LN分别作用在...

人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT（Supervised Fine-Tuning）监督微调是指在源数据集上预训练一个神经网络模型，即源模型。然后创建一个新的神经网络模型，即目标模型。目标模型复制了源模型上除了输出层外的所有模型设计及其参数。这些模型参数包含了源数据集上学习到的知识，且这些知识同样适用于目标数据集。源模型的输出层与源数据集的标签紧密相关，因此在目标模型中不予采用。微调时，为目标模型添加一个输出大小为目标数据集类别个数的输出层，...

我这里有个大模型的比赛，感觉比较好拿奖，还有丰厚的奖金，想找队友

莫名其妙送到百度发来的广告我有点好奇这是文心一言的体验资格吗？

大语言模型的预训练[5]：语境学习、上下文学习In-Context Learning：精调LLM、Prompt设计和打分函数（Scoring Function）设计以及ICL底层机制等原理详解 1.In-Context Learning背景与定义  背景  大规模预训练语言模型（LLM）如 GPT-3 是在大规模的互联网文本数据上训练，以给定的前缀来预测生成下一个 token（Next token prediction）。通过预测词的训练目标、大规模数据集以及超高参数量的模型相结合，产生了性能极强的 LLM，它可以 “理解” 任何文本输入，并在其基础上进行“写作”，除此以外，GPT-3 的论文...

ChatGLM3-6B：新一代开源双语对话语言模型，流畅对话与低部署门槛再升级 1.ChatGLM3简介 ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：  更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Ba...

大语言模型的预训练[6]：思维链(Chain-of-thought，CoT)定义原理详解、Zero-shot CoT、Few-shot CoT 以及在LLM上应用 1.思维链定义  背景  在 2017-2019 年之间，随着 Transformer 模型的提出，计算资源与大规模语料库不断出现，自然语言处理领域发生了翻天覆地的变化，传统的全监督学习的范式逐渐达到了瓶颈，很难在传统的训练方式上取得大幅度提升。这时大规模预训练模型的如 Bert、RoBERTa 等模型的出现使得研究方向转向了以预训练模型为基础 + 下游任务 Fine-tune 的范式。 然而随着语言模型规模的不断增大，Fine-t...

“超级AI助手：全新提升！中文NLP训练框架，快速上手，海量训练数据，ChatGLM-v2、中文Bloom、Dolly_v2_3b助您实现更智能的应用！” 1.简介  目标：基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生成、多模态等模型）的解决方案； 数据：  从开源社区，整理了海量的训练数据，帮助用户可以快速上手； 同时也开放训练数据模版，可以快速处理垂直领域数据； 结合多线程、内存映射等更高效的数据处理方式，即使需要处理百GB规模的数据，也是轻而易举；   流程：每一个项目有完整的模型训练步骤，如：...

大规模语言LLaVA：多模态GPT-4智能助手，融合语言与视觉，满足用户复杂需求 一个面向多模式GPT-4级别能力构建的助手。它结合了自然语言处理和计算机视觉，为用户提供了强大的多模式交互和理解。LLaVA旨在更深入地理解和处理语言和视觉信息，从而实现更复杂的任务和对话。这个项目代表了下一代智能助手的发展方向，它能够更好地理解和应对用户需求。  效果展示  demo链接：https://llava.hliu.cc/    当我来这里旅游时，我应该注意哪些事情?   在平静的湖面上游览码头时，有几件事你应该小心。首先，要注意天气状况，因为图像显示的是多云的天空。这可能表明天气突然变化的可能性，如...

NL2SQL基础系列(2)：主流大模型与微调方法精选集，Text2SQL经典算法技术回顾七年发展脉络梳理  Text-to-SQL（或者Text2SQL），顾名思义就是把文本转化为SQL语言，更学术一点的定义是：把数据库领域下的自然语言（Natural Language，NL）问题，转化为在关系型数据库中可以执行的结构化询语言（Structured Query Language，SQL），因此Text-to-SQL也可以被简写为NL2SQL。   输入：自然语言问题，比如“查询表t_user的相关信息，结果按id降序排序，只保留前10个数据”   输出：SQL，比如“SELECT * FROM...

请问一下大家，oppo和实在智能这两家的nlp/llm实习怎么选。面试官都是直系上司，也都聊着很好。但是实在智能这边描述的项目更具体，感觉暑假三个月的时间能学到更多东西以及做更多事情。原来没有实习过，想问一下大家有没有什么办法！

MedicalGPT：基于LLaMA-13B的中英医疗问答模型（LoRA）、实现包括二次预训练、有监督微调、奖励建模、强化学习训练[LLM:含Ziya-LLaMA]。 **** 训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。  分四阶段训练GPT模型，来自Andrej Karpathy的演讲PDF State of GPT，视频 Video   版本迭代   V1：发布中文医疗LoRA模型，基于Ziya-LLaMA-13B-v1模型，SFT微调了一版医疗模型，医疗问答效果有提升，发布微调后的LoRA权重，   V0：以医疗为例，训练领域大模型，实现了四阶段训练：包括二...

随着生成式人工智能的蓬勃发展，大语言模型 (LLM) 正成为人工智能领域的核心技术，推动了 AI 编程、智能客服、AI 办公等应用场景的落地。然而，这些技术通常依赖强大的云计算资源，而将其扩展到端侧设备需要克服计算能力、延时和功耗等众多挑战。乐鑫科技凭借其领先的无线 SoC 技术，为这一挑战提供了解决方案。暨火山引擎 2024 冬季 FORCE 原动力大会宣布与乐鑫、ToyCity、Folotoy 及魂伴科技联合发布 AI+ 硬件智跃计划之后，公司官网上线了 AI 大模型解决方案。乐鑫携手火山引擎豆包大模型，致力于为用户提供卓越的端到端解决方案，融合前沿技术，为智能设备注入强大的智能内核。 方...

【LZD智能发品——用AI重塑东南亚电商生态的核心引擎】🔥🌟 项目价值：作为Lazada商品发布链路的"中枢神经系统"，我们通过自主研发的多模态大模型与AIGC技术，正在革新东南亚电商基础设施，你的代码将直接触达6国市场亿万消费者。🚀 技术纵深：攻克多模态理解难题：构建多模态深度学习框架，实现图文信息到商品要素的智能映射打造电商领域专属AIGC：基于GPT与Diffusion模型创新，解决生成内容与平台流量规则的匹配挑战建设东南亚首个商品知识图谱：融合多语言语义理解，突破小语种市场本地化难题🎯 成长加速度：接触完整的电商技术生态：从内容生成、质量评估到流量预测的全链路实战国际化技术视野：解决英语/泰语/越南语等多语言场景下的独特AI问题🌍 社会影响力：你的工作正在降低东南亚中小商家的数字化门槛，让所有商家能享受AI红利。我们寻找这样的你：✅ 渴望用算法解决真实商业问题的实战派✅ 对生成式AI、多模态学习有深度热情的技术探险家✅ 具备国际视野，愿意用技术推动东南亚数字经济的基础建设【LazGenie——定义电商运营的下一代AI协同智能体】✨🌟 价值革命：这不是普通的聊天机器人，而是重塑东南亚商家命运的商业决策中枢。作为首个深度植入阿里国际业务系统的智能副驾，LazGenie处理运营决策请求，直接提升小二人效，助力商家实现GMV增长突破。你的代码将成为东南亚电商经济的"隐形推手"。🚀 技术制高点：攻克LLM在商业场景的认知边界：构建基于卖家画像的动态知识蒸馏框架，让通用大模型掌握跨境电商业务DNA首创"场景感知型"对话系统：融合工作台操作流上下文，实现从被动响应到主动决策的服务范式跃迁💡 你的创造时刻：参与构建商业级LLM应用范式：从prompt engineering到RAG增强，探索大模型在万亿级交易场景的落地极限设计智能体的决策神经中枢：开发融合用户行为预判的混合推理引擎，让AI助手具备"提前三步思考"的商业直觉我们寻找这样的你：✅ 渴望用算法解决真实商业问题的实战派✅ 对生成式AI、多模态学习有深度热情的技术探险家✅ 具备国际视野，愿意用技术推动东南亚数字经济的基础建设

人工智能的新篇章：深入了解大型语言模型(LLM)的应用与前景 LLM（Large Language Model）技术是一种基于深度学习的自然语言处理技术，旨在训练能够处理和生成自然语言文本的大型模型。  LLM 技术的核心思想是使用深度神经网络，通过大规模的文本数据预训练模型，并利用这些预训练模型进行下游任务的微调或直接应用。 LLM 技术的主要特点是可以从大规模文本数据中学习到丰富的语言知识和语言模式，使得模型能够对自然语言的语义、语法等进行理解和生成，具备更强的语言处理能 LLM 技术在自然语言处理领域具有广泛的应用前景。以下是一些应用前景的示例：   语言理解和生成：LLM 技术可以应用...