小鹏汽车 AI Agent 开发一面

1、自我介绍

2、项目拷打

3、介绍 DeepSeek 与 Manus，以及他们之间区别

4、介绍 LLM Decoder-Only 架构

Decoder-Only 架构本质上就是只使用 Transformer 里的 Decoder 结构，通过自回归的方式一个 token 一个 token 地往后生成内容。它的训练目标通常是 next token prediction，也就是根据前面的上下文预测下一个 token。

它的关键点在于 Masked Self-Attention。所谓 masked，就是当前位置只能看到前面的 token，看不到后面的 token，这样模型才能按从左到右的方式学习生成。整体结构上，输入先经过 embedding 和位置编码，然后进入多层 Decoder Block。每一层里主要有自注意力、前馈网络、残差连接和 LayerNorm，最后经过线性层和 softmax 得到下一个 token 的概率分布。

像 GPT、LLaMA 这些大模型基本都属于这种架构，它的优势是结构统一、适合生成任务，而且扩展性比较强。

5、反向传播的原理

反向传播本质上就是用链式法则去计算损失函数对各层参数的梯度。训练时先做前向传播，把输入送进网络得到预测结果，再根据预测结果和真实标签计算损失。之后从损失出发一层一层往前算梯度，得到每一层参数对最终损失的影响。

因为神经网络本质上是很多层函数复合起来的，所以前面层参数对最终结果的影响，需要通过后面每一层的导数传回来。反向传播解决的就是怎么高效地完成这件事。算出梯度之后，优化器就可以根据梯度去更新参数，让模型逐步收敛。

6、梯度下降介绍一下

梯度下降是一种最优化方法，目标是让损失函数不断变小。它的基本思想是，梯度表示函数上升最快的方向，那如果想让损失下降，就沿着梯度的反方向去更新参数。更新公式通常就是参数减去学习率乘以梯度。

训练时每算完一次梯度，就根据这个方向调整参数。学习率控制的是每次更新步子迈多大，太大可能震荡，太小又会收敛很慢。实际中常见的有 Batch Gradient Descent、SGD 和 Mini-Batch Gradient Descent，现在更常用的是基于梯度下降改进出来的优化器，比如 Adam 和 AdamW。

7、梯度消失怎么解决

梯度消失主要出现在深层网络中。因为反向传播时梯度要一层层往前传，如果每层导数都比较小，连乘之后前面的梯度就会越来越接近 0，最后前面那些层几乎学不到东西。

解决思路一般有几个方向。一个是换更合适的激活函数，比如少用 sigmoid、tanh，多用 ReLU、Leaky ReLU、GELU 这类函数。另一个是做合理的参数初始化，让网络在一开始训练时数值更稳定。再一个是使用残差连接，像 ResNet 和 Transformer 都大量用了残差结构，本质上就是为了让信息和梯度更容易传递。另外像 BatchNorm、LayerNorm 这些归一化方法，也能帮助训练变得更稳定。

如果放到大模型里来看，Transformer 这套结构因为有残差、LayerNorm 和更稳定的训练方式，所以已经把传统深层网络中的梯度消失问题缓解了很多。