打脸马斯克，“无人车依赖LiDAR注定失败”的预言实测并不成立

我们的实验也由此展开！Scale 拥有一整套能够从任意传感器组合中生成数据集的工具链，我们最近通过 Aptiv 为 nuScenes 提供注释。nuScenes 是一套 3D 视频集，由车载摄像头与 LiDAR 配合 Aptiv 共同创建。我们能否比较各个系统生成的训练数据，进而将基于摄像头的系统与基于 LiDAR 的系统进行效能比较？

为了回答这个问题，我们从 3D 数据集当中提取出一系列驾驶场景，但只采用 2D 视频图像，而后通过重新标记将其创建为一套不采用 LiDAR 感知系统时的 2D 数据集。此后，我们将这些 2D 注释投射 [1] 至原始 3D 数据，并逐个比较对象以查看其中是否发生了准确度损失。

对决：摄像头对 LiDAR

在两套数据集完成标记与准备之后，我们对结果进行了比较，并发现其中存在一系列重大差异。很多在叠加至视频上时看起来完全合理的注释，在被延伸至 3D 环境时会产生明显的错误表达。以下图为例——如果大家只观察左侧的 2D 图像，乍看之下两套数据集似乎都很准确。但在右侧的纯 3D 场景中，我们会发现纯视频数据集的注释太长，而且缺少了整整一侧的环境观察结果。

左：来自纯视频结果的标记后车辆；右：LiDAR 生成的俯视图叠加结果

左：利用 LiDAR 加视频的组合，同一车辆拥有更好的注释，能够更准确地捕捉到车辆的宽度与长度；右：由 LiDAR 注释生成的俯视图

为什么 2D 场景下的准确度在延伸至 3D 时会变差？是不是为车辆勾勒边界框体的操作员犯了什么错误？并不是这样——换言之，利用平面图像推断精确的 3D 量化结果本身就极具挑战。这相当在某个外观并不规则的物体周围（汽车拥有各种形状以及不同配件，而且无人驾驶汽车在行驶过程中可能遇到多种车辆、行人以及野生动物）绘制一个标准的 3D 长方体，这要求系统明确了解所有边界点的位置。

在 2D 透视图当中，我们至少可以保证这些边界点要么融入对象本身，要么被对象本身所遮挡。以图中的小型货车为例，车辆的左右边缘很容易找到，但由于同场景内的背景色调相似，系统很难找到明确的视觉元素，以准确绘制车辆的左后角位置。更糟糕的是，小货车背面采用倾斜的流线形设计。标注者虽然可以尝试填补这些空白，但最终却低估了物体的宽度，导致长方体在旋转时无法对齐，最终使得 3D 视图中车辆左侧的观察点被齐齐截断。

如果我们认真观察最左侧的边缘，主举看到 2D 注释结果同样低估了对象高度，因为其无法判断小货车弯曲的引擎罩会延伸到具体哪个位置。这种状况来自一顶基本数学特性——深度信息在 2D 图像中会自然“缩小”。当物体接近垂直于地平线时，只移动远边处的几个像素，就能够显著增加感知到的长方体深度。

当将 2D 投射至 3D 时，LiDAR 加摄像头注释（白色）中仅为几个像素的误差，会被纯摄像机注释（橙色）放大为更严重的错误

为了解决这个问题，我们可以采取硬编码方式将车辆尺寸添加到系统当中（录入所有汽车的设计尺寸）。但很快，又会有大量例外情况产生（包括装载有货物的车辆），或者缺少标准尺寸的对象类别（例如建筑区域）。这促使我们利用基于机器学习的解决方案从对象当中提取大小——但这种方法同样会带来新的挑战，我们将在后文中具体解释。

根据我们的经验，解决这类问题的最好办法，就是参考高分辨率 3D 数据——这正是 LiDAR 的专长所在。看看 LiDAR 点云，我们就会意识到它几乎能够解决所有难题，因为捕捉到的点会跟踪车辆左右两条边界，确保我们利用这些结果设置长方体边缘。此外，前文中提到的深度失真问题在 LiDAR 场景下同样不复存在。

第二局：夜间驾车

考虑到无人驾驶汽车需要面对的种种实际场景，第一轮对决中的案例似乎太过简单。现在，我们得往测试中引入一点现实世界中的复杂性元素，并让两套数据集之间的差异变得更加极端。在这里，我们看到系统捕捉到一辆夜间行驶的汽车，其在无人驾驶车辆面前突转变。

现场能见度很差，右侧交通指示牌发生遮挡，对向车辆的大灯还造成了视觉干扰。在这种情况下，3D 数据能够为车辆提供更精确的转向与深度结论——这是因为安装位点较高的 LiDAR 传感器能够帮助车辆越过交通指示牌进行查看，进而测量目标车辆的边缘与行驶角度。

左：利用纯视频得出的夜间车辆注释结果；右：投射至 LiDAR 的俯视图

左：作为比较，从 LiDAR 加视频组合当中得出的同一车辆注释结果；右：投射至 LiDAR 的俯视图

当然，汽车只是我们在行驶途中可能遇到的众多对象之一。我们还需要识别较小的载具，例如自行车或电动踏板车，并确保能够在照明条件较差的夜间快速分析路况。下面来看一个简单的测试——在下图中，我们一起找找交通参与者藏在哪里：

可以看到，在图片右侧的路灯杆与灌木后面，确实有一位骑着电动车的驾驶者。骑手身着黑色衣物，再加上颗粒感极强的低光图像，导致我们难以判断其属于阴影还是真实对象。纯视频训练数据中完全忽略了该对象，好在 LiDAR 注释成功将其记入了捕捉结果。

左：摄像头看到的电动车与骑手，大部分对象被低矮的灌木所遮挡；右：LiDAR 中的俯视图，对象点表示存在电动车与骑手

无法识别这类对象会给无人驾驶车辆带来巨大的风险。由于视频图像太过模糊，不具备 LiDAR 的汽车只有两种选择：直接忽略这些物体；或者能见度较差或驾驶风格过于谨慎时产生幻觉，把移动的阴影视为另一名骑手（导致汽车紧急制动以避免与假想目标发生碰撞）。这两种作法，对于行驶在公共道路上的无人驾驶车辆而言显然都不安全。

感知与预测

可以看到，利用纯 2D 传感器数据预测 3D 标记结果会带来一系列挑战，但这些问题是否广泛存在？我们对数据集中的所有长方体旋转误差进行了统计，并发现纯视频注释与经过 LiDAR 验证的对应结果之间平均相关 0.19 弧度（10.8 度）。在进一步分析数据后，我们发现夜间注释的平均误差为 0.22 弧度，远高于日间场景中的误差 0.16 弧度，且误差会随着目标与摄像头间的距离增加而扩大，准确度自然同步降低。

为了进一步量化这种模式，我们将所有 2D 与 3D 注释结果。利用对象检测任务的标准质量指标 IOU 评分进行了分级。（IOU 的全称为 Intersection Over Union，是对象检测任务中的常用衡量标准，其测量两个形状之间的「差异」，同时考虑结果在位置、形态与大小等方面的错误。）整体数据集的平均得分为 32.1%，但一般来讲，通常要得到 90% 以上的 IOU 得分才会被视为“正确”。

相关启示

那么，这样的结论有何意义？简单来讲，这强调了与无人驾驶汽车的软件相比，人类大脑在感知世界方面采取着完全不同的观察角度。在涉及物理运动规划时，我们不需要在头脑当中进行基于环境的数学运算，而能够自然而然地快速判断潜在风险并及时制动。

相比之下，无人驾驶汽车必须进行这类计算，且主要通过初始设计实现。利用神经网络这类预测系统（往往需要大量调试，且结果混淆度很高）直接控制无人驾驶汽车（端到端学习方法）将非常危险；相反，我们应当把无人驾驶汽车的“大脑”拆分成多个较小的系统，例如首先建立感知系统、而后是预测、规划与最终行动操作系统。

感知是基础，因为预测与规划等后期步骤的执行，都将依赖于感知系统能够正确预测对象位置及其将如何与无人驾驶汽车进行互动。如果你的感知系统不够强大或者不够准确，那么预测能力将大打折扣。

在高速公路这类相对简单的环境下，这些可能不那么重要，毕竟车辆的活动范围较小；但在全面普及无人驾驶的情况下，仍有大量需要提前预测的安全操纵场景存在（例如判断何时可以安全地向左侧移动，或者绕过静止不动的汽车）。

此外，几乎所有无人驾驶堆栈都采取自上而下的视角以进行路线规划，因此一旦误判对象汽车的宽度（如我们提出的第一个示例），则可能导致系统错误预测前方车辆的行动或者距离。虽然不少反对激光雷达的观点认为，“我们人类可以在无需旋转 LiDAR 传感器的情况下正常开车，所以好的神经网络应该也行”。但毫无疑问，无人驾驶汽车的软件架构应该提供更好的预测能力，从而实现比人类更出色的感知准确度。

目前，非 LiDAR 系统开发人员面对的主要挑战，在于想办法从 2D 数据当中获取理想的注释准确度。正因为如此，特斯拉公司才会在其无人驾驶日活动展示的一系列系统实验研究当中，努力探索如何预测物体的尺寸与位置。最近引起热议的方法之一，在于 利用立体摄像头创建一套点云（类似于人类利用双眼的视差判断距离）。

但到目前为止，还没有证据表明这是个理想的选择，因为这要求我们使用分辨率极高的摄像头测量物体距离。演示中的另一种方法，则是利用额外的机器学习层以理解物体的大小与深度。最终，这意味着车辆上的安全系统将更加依赖神经网络，并带来更严重的不可预测性与极端情况下的可怕后果。

基于 LiDAR 的系统能够直接测量距离与大小，使得车辆的感知系统以更从容的方式应对神经网络给出的错误结果。特斯拉方面展示了一个利用神经网络系统进行俯视角深度预测的例子，但即使是在相对简单的场景（白天、高速公路）中，预测出的车辆尺寸也存在明显的尺寸与角度扭曲。

特斯拉基于摄像头数据计算出的车辆边界框。在从俯视角观察时，左车道中的车辆在距离摄像头较远时显示出深度扭曲，而右车道中的车辆则存在宽度与旋转度不准确问题。资料来源：2019 年特斯拉无人驾驶日。

总结陈词

虽然 2D 注释看起来可能还算准确，但其中往往隐藏着更深层次的不准确因素。错误的数据会操控机器学习模型的可信度，而这些模型的输出又会进一步影响到车辆的预测与规划软件。如果不能在计算机视觉研究领域有所突破，那么此类驾驶系统可能很难实现真正的自主能力——毕竟车辆必须在每一英里的行驶过程中进行数千次预测，且不容有失。

原文链接：