回馈牛客：招银网络科技留学生面试

2023年，开源模型刚刚多起来的时候，上手AI做的最多的事情就是微调，那会儿我有一张3090，就足够微调GLM2-7B或者Llama2-8B的模型了，网上还有很多的教程，教你怎么找数据集、怎么构建数据集，怎么微调大模型。仿佛只要学会了微调，我就一脚踏进了大模型工程师的门槛。包括到现在，很多客户一开始就说：“我们要微调一个自己的模型，网上都这样说的。”然后14B也好，32B也好，拉一堆行业数据往里塞，觉得这样才算构建核心壁垒。但连续了解几个项目之后，我现在的结论很清晰：对大多数做AI应用的团队来说，微调就是个坑。甚至面试的时候也会出现这个问题：为什么不建议微调？到现在网上还有很多新发的教程，一张...

本科没学到啥东西，开源项目做了俩个，请问大伙怎么改一下简历好呢？

几年前还没有chatgpt的时候，刷题真的是很痛苦。刷不出来只能看题解，题解有几个问题：第一个是每次看的写题解的人都不一样，很难有一个统一的思路；第二个也是最重要的是，题解只提供了作者自己的思路，但是没有办法告诉你你的思路哪里错了。其实很少有错误的思路，我只是需要被引导到正确的思路上面去。所以传统题解学习起来非常困难，每次做不出来难受，找题解更难受。但是现在chatgpt能做很多！它可以这样帮助你 -1. 可以直接按照你喜欢的语言生成各种解法的题解和分析复杂度。2. 把题和你写的代码都发给它，它可以告诉你 你的思路到底哪里有问题。有时候我发现我和题解非常接近，只是有一点点🤏想错了。只要改这一点点就是最优解。信心倍增。3. 如果遇到不懂的题解可以一行一行询问为什么要这样写，chatgpt不会嫌你烦。有时候我觉得自己的range写错了，其实那样写也没错，只是chat老师的题解有一点优化，这个它都会讲清楚。4. 它可以帮你找可以用同类型解法来做的题。然后它可以保持解法思路不变，用一个思路爽刷一个类型的题。如果题目之间思路又有变化，它会告诉你只有哪里变了，其他的地方还是老思路。5. 它也可以直接帮你总结模板，易错点。经过chat老师的指导，我最大的改变是敢刷题了。之前刷题需要先找某一个人写的算法题repo，然后跟着某一个人他的思路刷他给的几个题。如果想写别的题，套用思路失败了，没有他的题解，也不知道到底哪里错了；看别人的题解，思路又乱了。这个问题在二分查找和dp类型的题里面特别常见。但是现在有chat老师，他会针对我的代码告诉我我哪里想错了，应该怎么做；还按照我写代码的习惯帮我总结了一套属于我的刷题模板。每天写题全是正反馈！

我头一次听这个问题的时候，寻思，这不简单，现在模型的上下文那么老长，“用向量数据库存历史对话，每次检索相关内容拼进去”，不就得了。然后过年吃饭和一个做算法的同学聊到这里，他告诉我，这样回答根本拿不到分。1.先看GPT咋做的前阵子网上比较火的一个帖子，有开发者通过对话实验，把ChatGPT的记忆机制逆向了出来。结果挺让人意外的，整套系统没有向量数据库，没有RAG，没有 Embedding 召回，甚至连相似度匹配都没做。就是四层纯结构化设计，干干净净。我当时也疑惑：GPT又不算Agent，这个例子能说明什么？你先罚一杯！ChatGPT的确是对话产品，不是严格意义上的Agent。但它的Memory设...