端到端自动驾驶这么强为什么还需要大模型？
🌈 专注分享自动驾驶赛道技术干货内容，新闻资讯，实习和秋招准备思路及算法岗求职面经
现如今大模型（VLM/LLM）在自动驾驶领域爆火，无论工业界还是学术界相关的paper都层出不穷，这篇文章就带着大家简单的回顾一下自动驾驶发展到现如今的技术演进过程，并且谈谈爆火的大模型在端到端自动驾驶当中扮演的重要角色。
1️⃣模块化的自动驾驶
早期自动驾驶主要是由感知，预测，规划，控制等一系列子模块按照其各自功能组成一套完整的系统。各个模块输出结构化的数据信息送给下游使用由于各个子模块之间是解耦的，所以各个模块可以各自迭代、方便扩展。但也被后来诟病存在模块间误差累积的问题。
2️⃣两段式&一段式端到端自动驾驶
随着模块化自动驾驶存在的模块间误差累积以及上游模块的性能直接决定了下游模块的上限等问题，产业界和学术界开始提出两段式端到端模型（感知端到端+决策规划端到端），并开始逐渐向一段式端到端进行过渡。
由于端到端模型将所有的功能揉成了一个神经网络模型，一定程度上缓解了信息的有损传递，下游的任务可以享受到传感器输入的信息，并且也展示出了亮眼的驾驶表现。但其本质依旧是靠大量数据驱动的神经网络，所以存在着在复杂路况场景以及长尾问题下表现不佳的情况。
3️⃣大模型（LLM/VLM）+端到端自动驾驶
在互联网级规模数据量的预训练下，大模型具备了强大的常识和推理能力，可以为自动驾驶模型提供很好的复杂场景理解和驾驶推理能力，并且在长尾问题上也有很好的表现性能，实现了对于端到端自动驾驶模型的补充
但由于大模型的参数量过大，难以满足车上实时性的需求以及对于空间理解能力也比较有限，现在依旧很难实现充分的利用
🚩 最后一点碎碎念
自动驾驶系统本质可以看成是一个agent，而且随着大模型技术向智驾的引入，一名智驾算法工程师仅仅了解自动驾驶相关的算法和知识是远远不够的，也需要不断学习和掌握大模型的相关知识，否则很容易在技术发展的浪潮中掉队！
推荐阅读
哔哩哔哩公司福利 364人发布
