Mobileye CEO 和 CTO 就端到端自动驾驶系统是否完备且必要进行了探讨。

ChatGPT等大型语言模型(LLM)已经彻底改变了自然语言世界。建立此类模型一般分为两个阶段：通用的无监督预训练阶段和基于特定人类反馈的强化学习(RLHF)阶段。

在预训练阶段，系统会“阅读”互联网上的大部分内容(数万亿单词)，并根据既有的单词预测下一个单词，以此学习互联网上的文本资源。

在RLHF阶段，模型需要对指定问题给出不同的答案，然后根据人类对这些答案的质量排序，对神经网络进行微调，使其提供更好的答案。

近期，特斯拉表示[1]将对其自动驾驶系统采用这种端到端模型，即从由数据驱动组件组成、由多行代码相互连接的精心设计的系统，转换为由单一端到端神经网络组成的纯数据驱动系统。

为了对这种系统进行检验，我们需要回答两个问题：端到端自动驾驶系统是否完备，以及是否必要：

● 完备性：端到端能否满足自动驾驶的所有要求?

● 必要性：端到端是最佳方法还是大材小用?

自动驾驶系统的关键要求包括 透明度、可控性和性能：

1）透明度和可解释性：

自动驾驶系统必须进行感知和规划。感知是指对现实情况(车道、车辆、行人等的位置)进行事实描述。规划则是指利用感知做出驾驶决策，在实用性和安全性之间权衡。

例如，在一条两侧停满车辆的住宅区道路上，汽车应该以什么速度行驶?慢一点更安全，因为可能会有孩子穿过停放的车辆跑到马路上。但是开得太慢会影响功能的实用性，而且会妨碍其他车辆。

因此我们认为，自动驾驶汽车的权衡规则必须公开透明，使社会能够通过监管解释影响所有道路使用者的自动驾驶决策。

2）可控性：

自动驾驶系统应在不影响系统整体性能的前提下，立即捕捉并修复重复发生的系统错误。

此外，人类驾驶员会时不时做出错误的决定，例如不适当让行或在车辆故障情况下驾驶，但社会不会容忍自动驾驶系统“判断失误”，因此每个决定都应该可控。

3）性能：

平均故障间隔时间(MTBF)必须非常长，非可再现错误("黑天鹅事件")应极少发生。

现在，我们来根据上述要求来评判端到端自动驾驶系统的完备性。

1）透明度：

就透明度而言，虽然端到端自动驾驶系统有可能满足某些监管规则，但监管者很难在所有情况下对自动驾驶系统的确切行为做出明确的规定。

事实上，LLM的最新趋势是将其与符号推理元素相结合，也就是所谓的传统编码。示例请参阅思维树[2]、思维图[3]和PAL[4]。

2）可控性：

就可控性而言，端到端自动驾驶系统是工程意义上的噩梦。证据表明，在不断优化系统时，GPT-4的性能会随着时间的推移而下降[5]。这可以归因于灾难性遗忘等现象和RLHF的其他人工现象[6]。

此外，完全神经元系统也无法保证“无判断失误”。为了确保系统的要素可控，LLM的发展趋势是将LLM与基于代码的外部工具相结合，例如Toolformer[7]和Jurrasic-x神经符号系统[8]中的“计算器”。

3）性能：

至于性能(即长MTBF要求)，虽然在海量数据和计算的情况下，端到端自动驾驶系统有可能达到足够长的MTBF，但就目前的证据来看，情况并不乐观：即使是最先进的LLM也会经常犯下低级的错误。

在这种情况下，我们还能信赖它们做出的安全决策吗?机器学习专家都知道，统计方法中最难解决的问题是长尾问题。

端到端自动驾驶系统可能看起来很有希望达到略长的MTBF(比如几小时)，但这比安全部署自动驾驶汽车的要求要小很多个数量级，而且MTBF每增加一个数量级就会变得越难[9]达到下一个数量级。

最近，埃隆·马斯克(Elon Musk)关于特斯拉最新的FSD的现场演示显示，其MTBF大约为一小时[10]，这个结果并不出人意料。

综上所述，我们对端到端自动驾驶系统能否全面应对自动驾驶挑战表示担忧，认为其还不够完备。

4）必要性：

至于必要性，我们进一步认为，端到端自动驾驶系统大材小用了。

完全端到端自动驾驶系统的前提是“没有代码行，一切由一个巨大的神经网络来完成”。这样的系统需要维护一个庞大的模型，每一次更新都要经过仔细平衡。然而，这种方法与当前在实际系统中将LLM作为组件利用的趋势背道而驰。

其中一种趋势是神经符号系统，在使用基于代码的工具(例如Toolformer[7])的更大系统中，全神经元LLM是其中的一个组件。

另一种趋势是专家系统，针对特定、明确的任务对LLM进行微调;迄今为止的证据表明，小型专用模型的性能明显优于大型模型(例如代码LLaMa项目[11])。这些趋势会影响系统对数据和计算的要求，表明数据质量、架构和系统设计可能比单纯的数据数量更为重要。

总之，我们认为对于自动驾驶系统来说，端到端方法既无必要也不完备。毋庸置疑，包括卷积网络和转换器在内的数据驱动方法是自动驾驶系统的关键，但它们必须精心嵌入到设计完善的架构中。