传感器融合是什么？及其类型和应用

什么是传感器融合？

目前，几乎各行各业都在使用传感器：在汽车、工厂，甚至我们的智能手机中，都有传感器的身影。虽然单个传感器本身就可以提供有用的数据，但如何能同时从多个传感器的输出中提取信息呢？假设整体大于各部分之和，此举将为我们提供一个更好的周遭环境的模型。传感器融合是我们实现这一壮举的过程。

具体而言，传感器融合是合并来自多个传感器的数据以创建目标场景或对象的更准确概念化过程。其背后的理念是，每个传感器都有优缺点；我们的目标是充分利用它们的优势，减少不确定性，以获得所研究环境的精确模型。

有哪些不同类型的传感器？

首先，我们来定义传感器融合过程中使用的各类型传感器。例如，自动驾驶汽车会使用许多不同的传感器在环境中导航。以下是几种最常见的传感器技术：

相机

相机捕捉场景的图像，然后利用识别场景中的对象。它们的缺点是，图像很容易被夜幕、恶劣天气和灰尘等遮盖。

雷达

雷达传感器通过发射无线电波来探测目标，并精确估计其速度。它使用一个称为径向速度的函数来测量波频变化，以确定目标是朝着它移动还是远离它。不同于相机，雷达无法用于指示它所感知到的目标。

激光雷达

激光雷达（LiDAR）是光探测和测距的缩写，它使用红外传感器来测量目标对象和传感器之间的距离。传感器发出电波，并测量电波从目标反射回来所需的时间。然后使用这些数据创建环境的3D点云。激光雷达的缺点是射程不长，没有相机或雷达的性价比高。

超声波传感器

超声波传感器可以预估数米内目标对象的位置。

里程传感器

如果测量车轮速度，里程传感器可以帮助预测车辆相对于已知起点的位置和方向。

传感器融合的三种类型

通常，传感器融合有三种不同的方法或类型。

一、互补性融合

这种类型的传感器融合由彼此独立的传感器组成，但当它们的输出组合在一起时，就可以创建更完整的场景图像。例如，在一个房间周围放置几个摄像头，分别聚焦房间的不同位置，可以共同提供房间外观的图片。这种融合类型的优点是，它的准确率通常最高。

二、竞争/冗余性融合

以竞争性排列建立传感器融合时，传感器提供对同一目标对象的独立测量。在这一类别中，有两种配置：一种是来自多个独立传感器的数据融合，另一种是来自不同实例的单个传感器的数据融合。在三种传感器融合类型中，这种类型的完整性最高。

三、协作性融合

第三种传感器融合称为协作性融合。它由两个独立的传感器提供数据，将这些数据结合，可以提供单个传感器无法提供的信息。例如，在立体视觉的情况下，两个视角略有不同的相机提供的数据可以共同形成目标对象的三维图像。在三种传感器融合类型中，这种类型最难使用，因为单个传感器的误差特别容易影响最终结果。但它的优势在于，它能够提供场景或目标对象的独特模型。

应该注意的是，为获得尽可能准确的结果，传感器融合的许多应用都不只使用三种类型中的一种。传感器融合中还使用三种通信方案，包括：

• 去中心化：传感器节点之间不发生通信。

• 中心化：传感器与中央节点通信。

• 分布式：传感器节点以设定的间隔进行通信。

通信方案的使用取决于项目的使用场景和需求。

传感器融合算法

为了在传感器融合应用中合并数据，数据科学家需要使用一种算法。卡尔曼滤波也许是传感器融合中最流行的算法。不过，一般而言，数据科学家探讨的传感器融合有三个级别。

传感器融合的三个级别

传感器的输出需要后处理，其级别会有所不同。选择的级别会影响数据存储需求以及模型的准确率。以下简要说明三个级别：

• 低级：在低级，传感器融合采用传感器的原始输出，以确保我们不会在转换过程中无意地将噪声引入数据中。这种方法的缺点是需要处理相当多的数据。

• 中级：中级传感器融合不使用原始数据，而是使用已有单个传感器或单独处理器标注过的数据。它利用对目标对象位置的假设，加权各种解释后得出一种答案。

• 高级：高级传感器融合与中级类似，它融合加权假设，获得关于目标对象位置的答案。但它也使用这种方法来识别对象的轨迹。

卡尔曼滤波算法

卡尔曼滤波早在1960年就已问世，我们现在的智能手机和卫星上都有应用，通常用于导航目的。它旨在估计动态系统的当前状态，但也可用来估计过去（称为滤波）和未来（称为预测）。在解析嘈杂的数据时，它特别有用；例如，自动驾驶汽车上的传感器有时会捕获不完整或嘈杂的数据，然后可以通过卡尔曼滤波算法进行校正。

卡尔曼滤波是贝叶斯滤波的一种形式。在贝叶斯滤波中，算法交替进行预测（对当前状态的估计）和更新（对传感器的观测）。本质上，算法将根据更新进行预测和校正，循环执行这两个步骤，直至达到所需精度。

卡尔曼滤波使用基于状态（包括位置和速度）和不确定性的数学建模进行实时预测。它适用于线性函数，但某些传感器输出（如雷达数据）不是线性的。在这种情况下，数据科学家依靠两种方法来线性化模型：

• 扩展卡尔曼滤波：使用雅可比级数和泰勒级数进行线性化。

• 无迹卡尔曼滤波：使用更精确的近似值进行线性化。

无论如何，卡尔曼滤波算法是传感器融合最常用的算法方法之一，有助于将多个数据源合并为当前的一个清晰状态。

传感器融合的其他算法

除了卡尔曼滤波器，数据科学家还可以选择将其他算法应用于传感器融合。其中包括：

• 神经网络：在深度学习中，使用神经网络融合来自多个传感器的图像数据，以便对结果进行分类。

• 中心极限定理（CLT）：大多数情况下使用钟形曲线表示，CLT算法将平均来自多个传感器的数据。

• 贝叶斯算法：前面我们提到，卡尔曼滤波是贝叶斯滤波的一种，但算法还有其他类型。例如，Dempster-Schafer算法通过不确定性和推理的测量来模拟人类推理。

传感器融合和自动驾驶汽车

传感器融合在自动驾驶汽车领域至关重要。融合算法通过了解车辆的精确位置、移动速度和方向，帮助车辆越过障碍物。换言之，传感器融合能够最大限度地提高自动驾驶车辆的安全性。我们来介绍它的工作原理。

车辆将接收摄像头、雷达和激光雷达传感器的输入，以形成一个周围环境的模型。传感器融合发生在将这些数据合并到一个模型的实践中。之前我们提到这些不同传感器的工作原理及其优缺点。结合它们各自的优势，可以描绘出车辆

环境的高精度图片。然后，导航系统使用这张图片提供的信息决定车辆可以去哪里，以多快的速度行驶。

有时，自动驾驶汽车也会利用从车内提取的数据，即所谓车内外传感器的融合。车辆收集的传感器输入越多，使用传感器融合技术就越复杂。权衡之下，如果操作正确，使用的传感器数据越多，得到的模型通常就越精确。

防止打滑是汽车传感器融合功能的一个示例。利用来自方向盘方向、陀螺仪和加速计的传感器输入组合，传感器融合算法可以确定汽车是否处于打滑中，以及驾驶员希望汽车行驶的方向。在这种情况下，自动驾驶车辆可以自动踩下制动器，以防止进一步打滑。

案例分析：澳鹏在自动驾驶汽车方面的工作

澳鹏与全球十大汽车制造商中的七家合作，为他们提供高质量的训练数据。这些复杂的多模式项目准确率必须尽可能接近100%，才能确保车辆在任何情况下均能安全行驶。

“车辆仅在一种地形的模拟条件下或良好天气状况下表现出色是不够的。实际部署中，车辆必须在每一种可以想象的道路场景中的所有天气状况下都表现出色。这意味着团队在研究车辆AI的机器学习模型时，必须专注于尽可能获取最准确的训练数据，然后才能在道路上进行部署。——澳鹏首席技术官Wilson Pang

在澳鹏的自动驾驶汽车项目工作中，我们认识到，在从不同类型的传感器获取和聚合数据时，面临的质量挑战相当之大。如果及早发现质量较差的训练数据，则需要浪费大量时间来确定数据集的哪些组件需要改进。如果发现得晚，结果将出现在性能不佳的模型中，自动驾驶汽车就无法以所需的准确度完成测试（然后就得从头再来）。因此，澳鹏拥有大量审计工具来监控标注数据，并帮助汽车制造商尽可能提供接近100%的准确率，以确保客户的未来安全。

传感器融合的一个具体示例是，一些与澳鹏合作的汽车制造商往往需要合并两个不同维度的数据集。这项任务非常艰巨，没有正确的技术就难以完成。为了解决这一问题，澳鹏平台提供三维点云标注，在三维层面上，目标跟踪率超过99%。这意味着我们的客户可以使用绑定到三维点云标注的二维图像来标注他们的数据集，以实现跨多个维度的映射。

利用我们的技术，客户团队就能借助各种工具和第三方专业人员完成复杂的、多模式的AI工作。

传感器融合的其他应用

自动驾驶汽车可能是传感器融合最常见的应用，但任何需要聚合多个数据源的领域都能得益于传感器融合。研究人员还在考虑未来将其用于公共安全、可穿戴设备等新的领域。

导航

当您在智能手机上使用地图功能时，实际上您就在使用传感器融合技术。Google地图或Apple地图将GPS数据与手机数据（包括指南针、陀螺仪和加速度计）结合，不仅可以确定您的位置，还可以确定您的方向以及移动速度。这可能是传感器融合影响我们日常生活的一个最佳示例。

物联网

物联网（IoT）为传感器融合提供了大量应用机会。物联网通过互联设备共享和聚合数据，最终为人类的生活带来了便捷。物联网设备就包括传感器，因此将传感器融合应用于这项工作以提高效率很有意义。

当然，传感器融合的具体应用因设备而异。它可以帮助监控家里的智能水表、管理室内温度，甚至能为防范外部入侵提供安全保障。这么说可能有点夸张，但其中确实有无尽的可能性。

执法

兰德公司代表美国国家司法研究所和Priority Criminal Justice Needs Initiative（优先刑事司法需要倡议）主办了一场研讨会，探讨如何将传感器融合应用于执法行动。目前，执法部门越来越依赖视频技术来完成警务工作，其中就包括来自他们的车载摄像头和随身摄像头的视频。由于摄像头和其他传感器已经在采集相关数据，因此，执法人员就有机会利用传感器融合提高效率。

该研讨会发现，传感器融合在改善公共安全方面可能有无限潜力。与会者认为，它有助于侦查犯罪进展以及调查罪行。此外，传感器融合技术还可以加强警官行为的监控，为警官的健康和安全提供更好的保护。研讨会指出，为确保这些技术不被滥用，还必须制定相关安全与公民权利保护措施。点击阅读更多关于人工智能在智慧警务中的应用。

可穿戴技术

可穿戴设备在市场上蓬勃发展，市面上已出现Fitbit和Apple Watch等受欢迎的产品。研究人员进行了一项案例研究，旨在探索传感器融合在可穿戴设备市场中的应用机会。具体而言，该案例研究侧重于监测饮食习惯，以此作为了解人类活动总体情况的替代手段。研究人员利用来自可穿戴设备的数据创建了一个二维空间，可以对饮食活动进行分类。在合并数据的过程中，他们得以识别饮食活动的模式，如果没有传感器融合技术，这点就无法实现。他们希望通过这些研究结果证明，随着时间的推移，有可能对人类活动进行更多的过程监测。

尽管自动驾驶汽车以外的传感器融合应用可能往往处于探索阶段，但随着各类可用数据的不断增加，这一领域的新发展值得关注。

传感器融合的未来

传感器融合要获得完整的结果，硬件和软件都需要迭代。在硬件方面，传感技术在不断改进。大量更准确的数据直接支持传感器融合模型的性能提高。在软件方面，数字信号处理为快速融合大量数据提供了显著的优势。云存储等数据存储方案也是传感器融合技术进步的关键因素，因为计算能力同样在快速提高。

传感器融合的终极目标是什么？事实上，它为模仿人体的感知能力。想想看，我们的大脑接收来自各种感官或系统（如神经系统、肌肉系统等）的输入，才得以创建我们周围环境的图像。这确实是一项了不起的成就，研究人员的模仿简直望尘莫及。但随着支持传感器融合的软件和硬件的发展，我们距离实现这一目标将越来越近。

计算机视觉专家Kuo-Chin Lien的见解

传感器融合技术背后的直观判断是，我们采集的信息越多，我们对世界的理解就越深入。在机器学习模型中使用这些不同的环境信息之前，对其加以整理非常重要。组织数据的两个基本步骤是时间同步和空间校准。只有通过精确的同步和校准，才能正确构建时间因果关系和空间几何关系，然后在传感器融合算法中使用输出。

时间同步和空间校准两者都很重要，通常需要精心设计硬件和软件。值得关注的是，审视自身的人类能力时，我们会发现，在处理不完美的多传感器数据方面，我们似乎有很强的能力适应时间和空间偏移。这也是我们通过数据标注来创建多传感器数据集的原因所在，即使传感器硬件和/或软件的工作环境并不理想，通过和可靠的数据标注提供商合作，您仍然能获得理想的数据集。

实际上，创建新数据集时，可用的传感器校准级别通常具有一定程度的偏差。在数据标注时，我们必须向标注员呈现这种校准错误的传感器信息，使标注员能够轻松解释信息并修复错误。我们发现，与手动流程相比，用于显示不同传感器的精心设计的布局、插入静态视觉提示和动态呈现必要的信息集，都有助于人工标注员加快结果交付，减少错误。更值得关注的是，设计一个多步骤的标注过程将有助于改善最终结果，因为预先标注的数据可能会帮助简化标注者在下一标注阶段的工作。这说明，我们需要花时间思考如何将传感器融合标注作业划分为多个子任务，以及使用什么工具和平台才能产生最佳输出。

我们能为您做些什么

澳鹏提供图像、文本、语音、音频和视频采集以及标注服务，帮助企业构建并持续完善全球最具创新性的复杂人工智能系统。在25余年的发展历程中，我们的专业知识源自全球100多万名技能娴熟的众包资源，涵盖235+种语言和方言，同时我们还拥有业内最先进的AI辅助数据标注平台，澳鹏解决方案能够提供全球技术、汽车、金融服务、零售、制造领域和政府机构的领导者所需的质量、安全性和速度。

我们与汽车制造商的合作表明，澳鹏能够在多模式人工智能项目上提供超过99%的准确率。我们能够将二维和三维数据集相结合，从而支持高度复杂的机器学习训练数据需求。

要详细了解我们如何帮助您完成下一个AI项目，请联系我们。