这个大模型项目你就练吧!一练一个不吱声!

家人们,发现一个宝藏大模型项目!!

自己动手搭建一个,顶其他的10个!

能用Torch 搭建,还有rag和agent。

#AI大模型##人工智能##ai##AI##大模型#
全部评论
接好运
1 回复 分享
发布于 07-03 17:05 上海
面试题当然可以开源给大家 后台T一下
1 回复 分享
发布于 06-10 14:11 湖南

相关推荐

一、手撕 题目:给定一个字符串 s 和一个整数 k,每隔 k 个字符反转一次,返回最终字符串。简单很快就写出来了二、八股1.自注意力机制是什么?计算复杂度怎么算?吟唱: 通过query-key相似度计算权重,对value加权求和,建模长距离依赖。O(n平方)n为序列长度。2.KV-Cache的如何加速推理?继续吟唱:生成时缓存已经计算过的kv,避免重复计算。3.LoRA的原理是什么?与P-Tuning、Adapter的异同点?LoRA的参数选择对模型性能有何影响?三连吟唱:原理是冻结原始权重,训练低秩矩阵参数。异同在于lora训练参数,p-tuning只优化了prompt嵌入。4.介绍下RLHF的基本流程,与DPO的差异是什么?主动吟唱:RLHF三段式,sft用高质量数据集微调,rm训练对比学习模型用于打分,ppo通过rl泛化增强。dpo直接优化偏好数据,省去rm和ppo。5.分布式训练中的TP、PP、DP分别是什么?TP按tensor维度拆分,PP按网络层数分段流水线执行,DP数据并行,复制模型副本分散计算6.flash-attention的原理是什么?这里回答没太好,只讲了通过内存层次结构什么的减少I/O瓶颈7.DeepSeek的MoA架构与MoE有何区别?moe通过门控机制选择专家子网络,参数规模增加但训练难度大。moa则用多个agent回答,通过数据迭代优化,缓解偏科。8.如何处理数据不均衡问题?上采样小样本,课程学习三、项目与实习1.agent实习主要负责哪些模块?动作规划,memory经验,evaluation pipeline,后训练,很多模块都参与了,面试官也挺震惊哈哈。这里聊比较多就不po了。2.记忆系统如何实现视觉-语言特征对齐?clip映射到联合embbeding上3.如果视觉模块误判,如何通过语言纠错?检测矛盾关键字,通过反馈触发重试。4.具体讲讲怎么构建evaluation pipeline的?做了数据爬取,版本控制,llm打分
查看13道真题和解析
点赞 评论 收藏
分享
11-05 15:12
门头沟学院 Java
📍面试公司:数字马力🕐面试时间:11/5💻面试岗位:后端开发❓面试问题:0. 询问专业课程    (以为会问计网之类的,结果没有1. 策略模式的好处    (问题来自于实习2. 分布式锁3. 乐观锁、悲观锁3.1 高并发情况下应该用哪个4. cookie、session、token的区别,以及使用场景    (这个答差了,面试官想听的是为什么要用cookie、session、token,什么时候用5. redis的作用6. hashmap,hashtable,concurrenthashmap的区别7. 分布式事务8. rabbitmq消息有序性,延迟消息8.1 具体实践9. 如何使用redis实现一个排行榜10. 对nacos的看法11. 对mq的看法12. spring的事务传递性        (不会13. 对ai的了解13.1    如rag,agent,sse,幻觉,prompt的了解14. 登录鉴权流程    (这个问了之后才问的 cookie、session、token15. simpledateformat 是线程安全吗?为什么        (不知道为什么线程不安全16. 线程池参数17. 什么是守护线程            (不会反问:Q: 看重校招生的什么A: 筛选项是  基础,加分项是  大模型之类的其他的没什么了🙌面试感想:1. 面试官人很好,我不会的东西都会告诉我答案(除了守护线程2. 面试的环境比较嘈杂3. 面试官中途听我吟唱八股的时候看了俩次手机4. 由于本人的习惯,在回答问题的时候喜欢东张西望,中途被面试官建议不要到处看总的来说面试体验挺不错的,不过估计挂了
牛客25899229...:一面过了
查看21道真题和解析
点赞 评论 收藏
分享
评论
4
26
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务