四阶段战略中克服机器人视觉处理的挑战

第一代机器人，如第一批消费机器人真空吸尘器，相对简单，自我导航和执行任务的能力有限。这些机器人使用振动传感器通过红外发射器和其他障碍物检测碰撞。然而，这些已经成为历史。

用人工智能（AI），机器学习（ML）和计算机视觉（CV）随着集成技术的进步，现在，机器人可以看到周围的环境，分析动态场景或不断变化的条件，并做出决定。硬件创新进一步促进了这些功能的改进，如更强大的移动平台、更复杂的ADM823LYRJZ-R7传感器和高分辨率图像捕获。

有了这些资源，开发者可以专注于开发更少依赖外部硬件(例如GPS）对于更加自主的智能机器人，机器人的工作环境(如室内、弱光下等)得到了很大的拓展。)，并且可以处理不断变化的环境和移动。零售、汽车、农业和工业物联网（IoT），新型机器人在健康和企业等领域的应用铺平了道路。

为了实现上述目标，机器人开发者应努力克服机器人视觉的三大挑战：

●确定对象的方向:不仅要识别周围环境中的对象，还要确定它们在3中D为了使机器人能够与这些物体进行交互和/或避免这些物体的方向。

●处理移动对象：给定环境中的对象可能不是静态的。机器人需要检测、识别和跟踪对象的空间和时间。

●导航：为了使机器人具有自主性，需要相应的算法，使其在不断变化的环境中移动。

四阶段战略

根据要求，开发人员可以通过采用四阶段战略来克服这些挑战：

1.预处理：从现实世界(例如，传感器和相机)收集和转换数据，使数据使用更加方便。

2.特征检测：从预处理数据中提取角落、边缘等特征。

3.对象检测与分类：从特征检测对象，并可根据已知的特征图进行分类。

4.跟踪和导航对象：跟踪已识别的对象，包括在机器人导航过程中改变环境的对象和视点。

这些阶段生成的数据可用于控制伺服、决策和执行其他高级机器人任务。

听起来工作量很大，其实也有可能，但幸运的是，现在有了相应的框架和硬件来帮助你解决这个问题。Qualcomm Technologies, Inc.最近发布了 Qualcomm机器人RB3平台（RB3）（基于QualcommSDA845 SoC（SDA845））及相关的Qualcomm RoboticsRB3开发套件。本套件为开发人员提供移动硬件功能和丰富的工具支持，帮助您解决上述挑战。

本系列共有两篇文章。在第一篇文章中，我们将介绍战略的前两个阶段：预处理和特征检测，以及如何使用功能丰富的开发工具包(例如Qualcomm Robotics RB3开发套件）。

预处理

机器人使用一个或多个摄像头和/或其他传感器从现实世界中收集数据。然而，这些原始数据可能不适用于准确的计算和预测，以满足既定目标的需要。此时，可以使用数字信号进行处理（DSP）等方法，“清理”数据使其易于使用。例如，图像数据可以通过多种方式清理，包括调整大小、增强伽马校正和对比度；传感器数据，如来自Qualcomm Robotics RB3开发套件上的惯性测量单元（IMU），可以集成加速度计、气压计和/或麦克风的传感器数据，内推和/或过滤。

在处理图像数据时，必须规划收集的数量和速度。Qualcomm Robotics RB3开发套件支持两个三维)图像，这意味着系统必须同时处理两个平面。此外，它还可以支持16-32万像素的分辨率和30-60fps帧速率。同样，可以使用Qualcomm SDA845上的高速和低速连接器，以及您使用的传感器类型，以各种频率和比特率收集传感器数据。

为了减少处理这些数据的成本，通常希望使用最低采样率和分辨率来满足应用程序所需的数据量。此外，处理过程应尽可能卸载到适当的处理器。Qualcomm SDA845与专用硬件兼容，包括Qualcomm Hexagon 685 DSP和Qualcomm Spectra 280 ISP，以及更通用的Qualcomm Kryo385 CPU和面向图形的Qualcomm Adreno 630 GPU。

在API一方面，开发者可以使用它Qualcomm计算机视觉库包含许多硬件加速，用于图像预处理API。也可以使用Qualcomm神经处理引擎SDK，包括图像预处理API，用于处理神经网络中的图像。此外，还可以选择使用Qualcomm小龙异构计算SDK，进一步控制计算操作的执行模式。

特征检测

可以通过提供干净的数据来提取功能。对于可视化数据，计算机视觉开发人员希望具备的四个共同特征包括：

●角落：局部2D结构的点状特征；

●边缘：两个区域之间的一组点；

●Blob：感兴趣的地区；

●脊：有脊点的曲线。

这篇维基百科文章提供了更多关于这些特征的信息，并列出了许多特征检测算法和特征类型。从可视数据中检测到的特征：

特征检测算法需要大量的处理能力，但通常是像素一个接一个地运行，所以非常适合Qualcomm SDA845在不同的处理器上平行执行。开发人员可以使用计算机视觉库中的特性来检测特性API，其中包括Harris角检测器、FAST、Hough Transform和其他基于最大稳定极值区域的检测器（MSER）的对象检测API。

结论

前两个阶段为机器人视觉处理奠定了坚实的基础。预处理将数据转换为可用形式，而特征检测是一个理解数据的过程。在后面的文章中，我们将继续讨论最后两个阶段：对象检测和分类、对象跟踪和导航，为机器人提供导航和与周围环境交互所需的数据。

机器人视觉硬件特征导航对象数据

免责声明：本网信息来自于互联网，目的在于传递更多信息，并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益，请及时联系我们，本站将会在24小时内处理完毕。