盖立克思 大模型开发 一面

1、自我介绍

2、介绍一下你做的这个智能问答的项目

3、Transformer 结构

Transformer 是当前大模型最核心的基础架构之一，它抛弃了传统 RNN 按时间步顺序计算的方式，主要依赖自注意力机制来建模序列中不同位置之间的关系。它最大的优势是并行能力强，而且对长距离依赖的建模效果更好。

从整体结构上看，标准 Transformer 由 Encoder 和 Decoder 两部分组成。Encoder 负责把输入序列编码成高维表示，Decoder 负责结合历史输出逐步生成结果。每一层 Encoder 一般包含两个核心子层：Multi-Head Self-Attention 和 Feed Forward Network，并且每个子层外面都会加残差连接和 LayerNorm。Decoder 的结构和 Encoder 类似，只不过多了一个 Masked Self-Attention，用来保证生成当前 token 时不能看到未来信息，同时还会有一个和 Encoder 输出交互的 Cross-Attention。

Attention 的计算核心是这几个公式。先由输入映射出 Query、Key、Value：

然后计算注意力分数：

Multi-Head Attention 本质上是做多组不同的线性映射，让模型从多个子空间去理解信息，再把多个 head 的结果拼接起来。

如果放到大模型里理解，现在很多主流模型其实已经不再使用完整 Encoder-Decoder，而是更多采用 Decoder-Only 架构。原因是它更适合统一做自回归生成任务，训练目标和推理方式也更一致。

4、LangChain 中的主要模块

LangChain 本质上是一个帮助开发大模型应用的框架，它不是模型本身，而是把模型调用、Prompt、检索、记忆、工具和链路编排这些能力组织起来。它的主要模块可以从几个部分来理解。

第一部分是 Models，也就是模型接口层，用来统一接入不同的大语言模型、聊天模型和 Embedding 模型。第二部分是 Prompts，用来组织提示词模板，把变量、上下文和任务要求规范化。第三部分是 Chains，也就是链式调用，把多个步骤串起来，比如“先检索再生成”或者“先抽取再总结”。第四部分是 Memory，用来管理多轮对话历史，让系统在连续交互中保留上下文。