“你过去犯过什么大错误？”

之前团队在做合同审查和研报问答两个 RAG 项目，踩了不少分块（Chunk）相关的坑。今天把这块经验整理一下，希望对正在做类似事情的朋友有点帮助。先搞清楚 Token 这个概念做 Chunk 之前，得先理解 Token。很多人把 Token 简单等同于"字"或"词"，这不太准确。Token 是模型实际处理的最小单元，中文大约 1.5-2 个字对应一个 Token，英文则大约是 0.75 个单词一个 Token。这件事为什么重要？因为不同类型的文档，Token 密度差异很大。我们实测过：一份 20 页的中文合同，大约 8000-12000 个 Token；...

今天参加大厂的线上面试职位是大数据分析师。走的是校招。上来面试官先让自我介绍，然后介绍了一下学校跟专业，还有在学校学习的相关课程和做过的相关项目。之后面试官问了哈杜夫的整体框架主要由哪三部分组成？说说你对flink的了解。Spark中行动函数和转换函数说一下这个忘记了，说说你最骄傲的项目中间运用了什么技术？你遇见过什么难题，然后是怎么处理的？我说计算数据非常慢，延时高，用索引来优化然后问我索引怎么创建，怎么创建唯一索引，然后索引的优缺点是什么？之后又问了锁的建立方法是什么？然后问这个锁优缺点和内部结构是什么？衍生出来look手动锁是用双向链表结构。说说你对链表结构的认识。优缺点是什么？学科方面问了操作系统的资源调度算法都有哪些？Linux系统中的shell命令，你能想起来的都说一下。重点问了我一个怎么给文件分配权限命令。我回答用chmod。之后又问了一些JAVA的相关的问题。最后做了一个编程题是计算字符串中字母出现的频率。不用区分大小写，不用管标点符号和空格。没有做完，但是他问我想法。讲了讲。后面他说今天先这样，因为后面还有一个面试。然后他问了我手中有几个offer？因为我没有经验，不会回答。然后我想问一下，他问了我这么多问题，面试也有四五十分钟，最后没有跟我讨论薪资问题，是什么情况？😔鼠鼠在线求解答

ps：如果这篇帖子对于还在找工作和找实习的你有所帮助，可以关注我，给本贴点赞、评论、收藏并订阅专栏；同时不要吝啬您的花花一、用String的场景（核心：单值存储、原子操作、简单场景）存储单个独立的值（无多字段关联）：比如验证码（key=phone:138xxxx，value=666666）、token、单个数值（如商品库存、访问量）。需要原子操作：String支持incr/decr（计数器）、append（追加）、setnx（分布式锁）等原子操作，适合计数器（文章阅读量）、分布式锁场景。存储二进制数据：可直接存储图片、视频等二进制流（value最大512MB），适合小文件缓存。简单缓存场景：无...

各位niu友们，实验室不放实习，跟着老板做的CV。目前自学了agent，2本中9硕，秋招能找到容身之处吗，孩子已经焦虑哭了