1 不具备记忆能力的 它是零状态的，我们平常在使用一些大模型产品，尤其在使用他们的API的时候，我们会发现那你和它对话，尤其是多轮对话的时候，经过一些轮次后，这些记忆就消失了，因为它也记不住那么多。 2 上下文窗口的限制 大模型对其input和output，也就是它的输入输出有数量限制。为了保护它的，这计算能力或保护相当于一个带宽概念，如说openAI之前只有32k。最新上下文窗口扩张到128k，大概相当于一本《Clean Code》，这个角度来说，这个问题其实已被解决。 但其他很多模型上下文窗口还是比较小，就有很多限制。如不可发一长段prompt或提示词，也不可不停在那对话，你就需要注意计算...

尽可能把程序的逻辑放到函数中，因为函数是只返回结果而不产生明显副作用的操作。严格地把命令（引起明显的状态改变的方法）隔离到不返回领域信息的、非常简单的操作中。当发现了一个非常适合承担复杂逻辑职责的概念时，就可以把这个复杂逻辑移到VALUE OBJECT中，这样可以进一步控制副作用。SIDE-EFFECT-FREE FUNCTION，特别是在不变的VALUE OBJECT中，允许我们安全地对多个操作进行组合。当通过INTENTION-REVEALING INTERFACE把一个FUNCTION呈现出来的时候，开发人员就可以在无需理解其实现细节的情况下使用它。

AI大模型的相关的一些基础知识，一些背景和基础知识。 多模型强应用AI 2.0时代应用开发者的机会。 0 大纲 AI产业的拆解和常见名词 应用级开发者，在目前这样一个大背景下的一个职业上面的一些机会 实战部分的，做这个agent，即所谓智能体的这么一个虚拟项目，项目需求分析、技术选型等 1 大语言模型发展 LLM，Large Language Model，大语言模型。为什么叫2.0？因为在大语言模型，也就是LLM出现之前，我们把它归结为1.0时代。那么1.0时代主要的是NLP（自然语言处理）的各类工程，它其实都是一个特点，就是说通用性比较差。那么整个AI领域的终极的圣杯，或者说将来它的一...

流量高峰时，系统在性能、可用性方面存在不足导致的。那当时你们咋办？ 1 啥是性能优化 应用系统上线那一刻开始，随着用户量的增加、业务功能的持续迭代，系统会面临各种不同程度的挑战，如果不及时采取优化措施，我们会发现诸多问题：系统怎么越来越慢了，流量一高系统就卡顿、甚至宕机等等。性能优化贯穿整个软件生命周期。 1.1 性能衡量指标 1.1.1 响应时间(RT) 所谓响应时间，是指完成某一功能所需要的时间，一般可以通过“平均响应时间”、“百分位数”等指标来考量。 ① 平均响应时间(AVG) 接口平均处理能力。 计算方式：接口请求所有的响应时间和 / 总请求数。 如接口A总共发起了8次请求，其中，有1...

1 文本Embedding 将整个文本转化为实数向量的技术。 Embedding优点是可将离散的词语或句子转化为连续的向量，就可用数学方法来处理词语或句子，捕捉到文本的语义信息，文本和文本的关系信息。 ◉ 优质的Embedding通常会让语义相似的文本在空间中彼此接近 ◉ 优质的Embedding相似的语义关系可以通过向量的算术运算来表示： 2 文本Embedding模型的演进与选型 目前的向量模型从单纯的基于 NLI 数据集（对称数据集）发展到基于混合数据（对称+非对称）进行训练，即可以做 QQ召回任务也能够做 QD 召回任务，通过添加 Instruction 来区分这两类任务，只有在...

职场遇到不愉快的同事打小报告怎么办？看亚当大师。提前预判，找到领导说明英明神武并献上薄礼给领导孩子。🫶️团队氛围👨🏻‍💻工作环境

我向 121 位软件开发人员询问了这个问题，结果列出了 5 种方法。“如何提高 API 的性能？”[1] 缓存缓存的想法很简单。将经常访问的数据存储在缓存中，以便在需要时可以更快地访问。如果发生缓存未命中，则从数据库获取数据。它实际上非常有效，但缓存失效和决定缓存策略可能具有挑战性。[2] 使用负载平衡进行横向扩展如果一个服务器实例不够用，您可以考虑将 API 扩展为多个实例。那么问题出在哪里？您需要找到一种方法来在这多个实例之间分配请求。输入负载均衡器。它不仅有助于提高性能，而且还使您的应用程序更加可靠。但是，当您的应用程序无状态且易于水平扩展时，负载平衡器效果最佳。[3] 异步处理有时，你无法同时解决多个问题。最好的办法是将它们停放起来以备后用。通过异步处理，您可以让客户端知道他们的请求已注册并正在处理中。然后，您逐一处理请求，并将结果传达给客户端。这使得您的应用程序服务器可以稍事休息并发挥最佳性能。但当然，异步处理可能并不适用于所有需求。[4] 分页如果您的 API 返回大量记录，则需要探索分页。基本上，您限制每个请求的记录数。这可以提高 API 对消费者的响应时间。[5] 连接池API 经常需要连接数据库来获取一些数据。为每个请求创建新的连接可能会降低性能。使用连接池来设置可以在请求之间重复使用的数据库连接池是一个好主意。这是一个微妙的方面，但在高度并发的系统中，连接池会对性能产生巨大影响。那么，您认为提高 API 性能的首要方法是什么呢？

0 prompt engineer 就是prompt工程师它的底层透视。 1 学习大模型的重要性 底层逻辑 人工智能大潮已来，不加入就可能被淘汰。就好像现在职场里谁不会用PPT和excel一样，基本上你见不到。你问任何一个人问他会不会用PPT，他都会说会用，只是说好还是不好。你除非说这个岗位跟电脑完全无关。但凡说能用上电脑的，基本上都会用excel和PPT，你不会用的基本上都被淘汰了，逻辑一样。 人工智能虽有一些应用场景，好像跟普通人没关。如智能驾驶，人脸识别，好像跟普通人关系不太大，我们都是被动使用。但现在这大模型跟我们每个人都有关，它是一个强大提升工作效率工具。你不会用，将来就好像跟PPT...

由于不懂系统设计，我曾两次面试后端工程但都失败了。我很难接受我在学校学到的、通过的、并且每天都在做的事情竟然会让我失败。这件事发生过两次。于是，我决定更深入地学习它。听着，系统设计很简单，你可以学会。一切都归结为理解系统组件。看看下面的 TikTok 系统设计。你可以快速看到组成 TikTok 的组件（但不是全部）您可以发现 CDN（内容分发网络）、LB（负载均衡器）、RDB（关系数据库）、缓存等。系统由许多组件组成，在设计系统时，您的工作是通过以下方式充分利用它们：-了解每一个组件。-了解何时使用它们每一个。- 了解为什么使用它们中的每一个。-知道将每个组件放在哪里。

工程 | JOSH LONG | 0条评论 Java 22发布快乐！ Java 22 是一个重大的进步，是一个值得升级版本。有一些重大的最终发布功能，如 Project Panama及一系列更优秀的预览功能。我不可能覆盖它们全部，但我确实想谈谈我最喜爱的一些。我们将会涉及到许多功能。如果你想在家里跟着做，代码在这。 我爱Java 22，当然，我也爱 GraalVM，它们都在发布了新版本！Java 当然是我们最喜爱的运行时和语言，而 GraalVM 是一个高性能的 JDK 发行版，它支持更多语言并允许提前编译（它们被称为 GraalVM native images）。GraalVM 包含了 ...

一起入门 spark 吧！

0 Shark Spark 的一个组件，用于大规模数据分析的 SQL 查询引擎。Shark 提供了一种基于 SQL 的交互式查询方式，可以让用户轻松地对大规模数据集进行查询和分析。Shark 基于 Hive 项目，使用 Hive 的元数据存储和查询语法，并基于Hive进行了性能优化和扩展。 0.1 设计 灵感来自 Google 的 Dremel 系统: 将数据存储在列式存储引擎 使用分布式计算引擎进行查询 Shark 采用类似架构并使用 Spark 作为计算引擎，使 Shark 具有很高查询性能和可扩展性。 0.2 缺陷 Shark 在 Spark 1.0 发布之后被正式弃用，Shark ...

简单介绍“工作流事件模式：反应式架构”。这个想法很简单：生产者通过消息通道将数据异步传递给事件消费者。如果消费者在处理数据时遇到错误，它将将该错误委托给处理器并继续处理以下消息。Consumer 不会花时间处理错误，响应能力也不会受到影响。一旦工作流程处理器收到错误，它就会尝试找出问题所在。这可能是：- 静态且确定性的错误处理程序。- 一些机器学习算法分析消息以查看数据中的异常情况。处理器更改原始数据以尝试修复它，然后将其发送回原始队列。事件使用者看到此消息并尝试再次处理它。希望这次能取得一些成功。如果工作流处理器无法确定问题所在，它会将消息发送到“仪表板”。循环中的人员将处理仪表板中的案例并将它们重新提交到原始队列。这种模式是一种反应式架构。它有助于系统具有弹性并处理错误，而不影响响应能力。你愿意尝试一下吗？

优秀可靠的数仓体系，需要良好的数据分层结构。合理的分层，能够使数据体系更加清晰，使复杂问题得以简化。以下是该项目的分层规划。 1 设计要点 （1）ODS层的表结构设计依托于从业务系统同步过来的数据结构 （2）ODS层要保存全部历史数据，故其压缩格式应选择压缩比较高的，此处选择gzip （3）ODS层表名的命名规范为：ods_表名_单分区增量全量标识（inc/full）。 2 相关表 2.1 整车日志表（增量日志表） CREATE EXTERNAL TABLE ods_car_data_inc ( `vin` STRI...