- 正确答案：上下文工程（Context Engineering）是指在大语言模型（LLM）推理阶段，通过系统性设计输入提示（prompt）、组织上下文信息、控制token序列结构与内容分布，以最大化模型对当前任务的理解准确性和生成质量的技术实践。它不改变模型参数，而是聚焦于“如何向模型提供最有效的上下文”。长短期记忆的模拟并非LLM原生具备的机制（Transformer无显式记忆单元），而是通过上下文窗口内的位置编码、注意力权重衰减、外部记忆增强（如RAG、记忆向量库、状态缓存）等方式，在工程层面近似实现“短期记忆”（当前context window内）和“长期记忆”（跨会话、持久化知识）。 - 解答思路：首先需澄清一个常见误区：LLM（尤其是标准Decoder-only Transformer）本身**没有生物意义上的长短期记忆结构**（如LSTM的cell state或hidden state跨时间步显式维护）。它的“记忆”完全依赖于输入token序列——即所有信息必须显式出现在当前推理的上下文窗口（context window）中。因此，“如何做长短期记忆”本质是工程问题：短期记忆靠合理利用上下文窗口（如滑动窗口、摘要压缩、关键信息置顶）；长期记忆则必须借助外部机制（非模型参数内建）。解答应分层展开：1）上下文工程的核心要素（prompt结构、角色设定、few-shot示例、思维链、格式约束）；2）短期记忆的上下文管理策略（token效率、位置偏差、attention mask控制）；3）长期记忆的典型架构模式（RAG、记忆向量数据库、stateful agent loop、KV cache复用、fine-tuned memory adapter）。 - 深度知识讲解：（1）上下文工程的底层原理源于Transformer的自注意力机制：每个token的表征更新依赖于所有其他token的加权聚合，权重由query-key点积+softmax决定。这意味着： - 位置越靠近当前预测token（尤其末尾），越容易获得高注意力权重（因RoPE/ALiBi等位置编码强化局部关联）； - 冗余、噪声、低相关性上下文会稀释关键信息的注意力得分，导致“上下文淹没”（context dilution）； - 模型对开头（system prompt）和结尾（user query）敏感度最高，中间内容易被弱化——这构成“首尾效应”，是上下文组织的关键依据。（2）短期记忆的工程实现： - 滑动上下文窗口：当对话超长时，丢弃最早轮次（如保留最近3轮+当前query），但需注意语义断裂风险； - 摘要压缩（Summarization-based truncation）：用轻量模型（如TinyBERT）或LLM自身对历史对话生成摘要，再拼接进新上下文，保留语义主干； - 关键信息显式标注：用XML/JSON标签包裹核心事实（...），配合prompt指令引导模型优先关注带标签内容； - Token级控制：通过attention mask手动屏蔽无关段落（如HuggingFace Transformers中past_key_values + custom attention_mask），但需模型支持； - RoPE偏移优化：在长文本场景下，调整RoPE的base值（如从10000改为1000000）可扩展有效位置感知范围，缓解位置编码外推失真。（3）长期记忆的系统级实现： - RAG（Retrieval-Augmented Generation）：将长期知识存为向量（如用Sentence-BERT嵌入FAQ文档），检索时通过ANN（如FAISS/HNSW）召回top-k相关chunk，动态注入prompt。其本质是“按需加载”的外部记忆，避免模型幻觉且可实时更新； - 记忆向量数据库：如Chroma、Pinecone，支持元数据过滤（time:2024*, source:internal_doc），实现条件化记忆检索； - KV Cache复用：在多轮对话中，将历史query的key/value缓存（不重复计算），仅对新token计算attention，显著降低延迟——这是推理层的“短期状态复用”，接近LSTM hidden state的工程类比； - Agent Memory Loop：构建stateful agent（如LangChain AgentExecutor + ConversationBufferMemory），将每轮输出解析为记忆三元组（subject, predicate, object），写入图数据库（Neo4j），后续查询通过Cypher图遍历激活关联记忆； - Fine-tuned Memory Adapter：在LLM顶部添加小型可训练模块（如LoRA adapter），专门学习将用户ID/会话ID映射到个性化记忆向量，实现参数化长期偏好建模。（4）关键限制与陷阱： - 上下文长度硬边界：即使模型宣称支持128K token，实际有效推理长度常受限于KV cache显存、attention softmax数值稳定性（长序列易出现梯度消失/爆炸）、位置编码外推误差； - 注意力坍缩（Attention Collapse）：当上下文过长且缺乏区分信号时，attention weights趋向均匀分布，模型退化为“无差别平均”； - 记忆污染：RAG若检索精度低，错误chunk注入会直接误导生成（garbage in, garbage out），需严格评估检索召回率@k与生成忠实度（faithfulness）； - 状态一致性挑战：跨会话长期记忆需解决指代消解（如“他”指谁）、时间线对齐（“上周”相对哪个时间戳）、冲突消解（不同来源对同一事实表述矛盾）等问题，远超单次prompt工程范畴。 - 伪代码示例（RAG增强的上下文构造）： ``` def build_rag_context(user_query, user_id, max_tokens=8192): # Step 1: 检索长期记忆（基于用户画像+query语义） memory_chunks = vector_db.search( query_embedding=sentence_bert.encode(user_query), filter={"user_id": user_id, "timestamp": {"$gt": "2024-01-01"}}, top_k=3 ) # Step 2: 压缩近期对话（短期记忆） recent_summary = llm_summarize( input_text=truncate_to_tokens(conversation_history, 512), prompt="请用3句话总结用户最近需求与关键事实，保留人名、日期、数值" ) # Step 3: 构造分层上下文（首尾强信号，中间结构化） context_parts = [ f"你是一名专业客服，熟悉用户{user_id}的历史记录。", f"{recent_summary}", ] for i, chunk in enumerate(memory_chunks): context_parts.append(f"{chunk.text}") context_parts.append(f"{user_query}") # Step 4: 拼接并截断至max_tokens（按token数，非字符数） full_context = "\n".join(context_parts) return truncate_by_tokenizer(full_context, tokenizer, max_tokens) ``` 补充说明：该伪代码体现上下文工程三大原则——结构化标记（<>标签）、分层优先级（system > summary > knowledge > query）、token可控性（显式截断）。其中truncate_by_tokenizer必须使用与模型同源的tokenizer（如LlamaTokenizer），否则会出现token mismatch导致padding失效或EOS错位。

阿里淘天AI agent开发一面

全站热榜

创作者周榜