中国自动驾驶的大规模生产挑战
2023年小鹏汽车的最新进展
本博客文章基于在温哥华举行的CVPR 2023自动驾驶工作坊上的主题演讲，题为“中国量产自动驾驶的实践”。
自动驾驶是一个艰巨的挑战，尤其是在中国，人类驾驶已经是世界上最具挑战性的之一。其中有三个主要因素：动态交通参与者、静态道路结构和交通信号。特别是交通灯控制信号，它们在几何形状上是静态的，但在语义上却是动态的，这提出了独特的挑战。在接下来的会议中，我们将简要回顾动态对象和静态环境，并深入探讨有趣和特殊的交通信号话题。
CVPR 2023自动驾驶工作坊 | OpenDriveLab
我们很自豪地宣布，今年我们与我们的合作伙伴Vision-Centric一起推出了四个全新的挑战……
opendrivelab.com
动态和静态挑战
动态交通参与者，如易受伤的道路用户（VRUs），对中国的自动驾驶汽车来说是一个重大挑战。VRUs经常是不可预测的，采取不同的姿势，并出现在驾驶员最不希望他们出现的地方。大动物可能会突然出现在农村道路上，而宠物可能会漫游到城市街道上。此外，装满货物的车辆或三轮车很难准确确定车辆类型。考虑中间行的最后一张照片，即使对人类来说，一眼看去也很具挑战性。满载树枝的车辆无意中处于完美的伪装状态。
静态道路结构和拓扑对自动驾驶汽车也构成了重大挑战。例如，这里所示的复杂交叉口突出了需要在此处解决的复杂性水平。虽然类似于科幻电影的截屏，但这个交叉口实际上是Google Earth上可见的真实地方。
如果我们放大，我们会发现一个有趣的道路元素，这也许是中国独特的，即左转等待区域。它旨在增加左转交通流量，使更多的车辆在一次交通信号周期内通过交叉口。请注意，设计可能不对称，并且每个方向都是根据交通模式单独设计的。我们甚至可以找到关于它及其有效性的学术论文。虽然它是出于良好意图提出的，但对于新司机和自动驾驶车辆来说可能会非常困惑。
在等待区域的交叉口左转涉及两个步骤。它们都涉及不同的交通信号组合。这里我只展示了最常见的交通信号模式。交通信号组合可能更加复杂，有时涉及专门为等待区域设计的特殊交通信号。
交通信号灯：特殊情况之王
现在我们可以深入研究交通信号灯的所有特殊情况。交通信号灯可能是具有最多长尾角落案例的对象类别之一。交通信号的感知有两个不同的原因而复杂。首先，我们必须识别交通信号的位置、类型和颜色，然后我们还需要知道在我们检测到的所有交通信号中，我们的车辆应该注意哪一个。为了做出这个决定，必须获得交通信号和不同车道之间的正确匹配。
一种特殊的交通灯是专门为公交车设计的。我们必须正确识别它们有两个不同的原因。首先，为了规划和控制自动驾驶汽车，我们需要识别它们以便正确忽略它们，因为它们可能携带与我们应该注意的交通灯冲突的信息，导致我们的自动驾驶汽车困惑。然而，为了预测附近潜在的公交车如何操纵，我们也需要正确了解它的状态。
中国的公交车专用交通灯有许多形式，包括带有标签“BRT”，“SRT”，“公交车”或单个字母“B”的LED灯。它们还可以拥有特定的汉字，如“公交”或“有轨电车”，有时还包括描绘可爱小巴士的图标。除此之外，交通标志修饰符也可能被包含在内，因此自动驾驶汽车必须检测和准确识别这些特征，并将其准确地与相应的交通灯关联起来。
除了专为公交车而设计的交通灯之外，另一种复杂的交通灯是多灯交通灯。与传统的交通灯不同，多灯交通灯可以在同一插座内同时点亮多个灯泡。因此，仅检测交通灯盒是不够的，同样重要的是检测单个灯泡并准确地解释它们的语义含义。
在多灯交通灯的附加图像中，我们还看到了一些附加的数字。它们是下一次颜色变化的倒计时计时器。我们在北美经常看到行人的倒计时计时器，但这些计时器是为车辆而设计的。如果这个信息被正确地使用，它们可以帮助规划以改善行驶的平稳度。
倒计时计时器可以采取各种形式并以不同的方式呈现。它们可以是独立的显示器或与交通灯系统集成。数字的格式可能会有所变化，包括前导零的使用或缺失，使用的字体也可能不同，有些更具艺术性。此外，甚至还有以进度条样式设计的交通灯。这涉及到一种动画，其中进度条逐渐缩短，然后变为不同颜色的完整进度条。虽然这种设计可能被认为是最具创新性的，但它也可能对我们的感知工程师构成挑战。
最后，这里是专门为等待区而设计的交通灯，它们可以采用图标或文本形式。图标通常还涉及动画，灯光逐渐点亮以引导您到等待区。文本可以在LED显示器或交通标志牌上。对于文本，也没有标准模式，这需要光学字符识别（OCR）和一些自然语言处理来提取语义含义。
XNGP：小鹏汽车自动驾驶解决方案
大规模生产的小鹏汽车自动完成左转操作（作者拍摄视频）
大规模生产的小鹏汽车自动完成右转操作（作者拍摄视频）
尽管面临着这些挑战，我们的小鹏团队已经成功地在2023年推出了中国最佳的自动驾驶解决方案。环绕现实（SR）显示仅显示来自车载感知系统获得的信息。在左侧，显示精确地检测道路几何，而在右侧，则描述了一个普遍的场景，即一群行人正在过马路。值得注意的是，所展示的画面是来自市场上今天可用的大规模生产的小鹏汽车的实际录制画面，没有进行任何售后改装。
如果您对这是如何实现的感兴趣，请参考关于XNet部署的另一篇文章——一种BEV（鸟瞰图）范式的端到端感知堆栈。它是上述大规模生产自动驾驶解决方案的关键因素，并为实现完全端到端的自动驾驶解决方案奠定了坚实的基础。
大规模生产自动驾驶中的BEV感知
XNet的配方，小鹏汽车的BEV感知架构
小猪AI.com
要点
- 由于动态物体普遍存在、道路拓扑复杂以及交通信号灯的极端长尾角落情况，中国的驾驶具有挑战性。
- 交通信号灯有许多特殊类型，每种类型都有许多角落情况。有时需要综合考虑多个交通信号灯，以及附近的倒计时器或交通标志。
- 小鹏汽车已经迎难而上，推出了中国最佳的大规模生产自动驾驶产品，截至2023年。
参考文献
- Ma，Wanjing等。“利用左转等待区增加信号化交叉口的容量。” 《交通政策与实践研究》 105（2017）：181–196。
