首页 / 行业

使用NVIDIA Jetson组合实现家务自动化

2022-04-06 14:51:00

假期应该是放松的时间，有了 NVIDIA Jetson 技术，你就可以做到这一点。本月最新的 Jetson 项目来自一位开发人员，他利用 DeepStack 、 Home Assistant 和 NVIDIA Jetson 的组合创造了简化家庭自动化项目的方法。

Robin Cole 是 Vu 卫星公司的高级数据科学家，具有物理学背景，他开发了这个项目。他热衷于使用数据和 Python 解决问题。 Cole 在 GitHub 上的主要活动涉及机器学习的实际应用。

正如他在他的 GitHub profile 中所指出的：“我有许多个人项目，都是关于在边缘设备上训练和部署神经网络的，比如树莓 Pi 和 Jetson 纳米。”

在业余时间，他积极参与两个社区项目：家庭助理和 DeepStack AI ，并正在探索将这两种技术结合起来的方法。科尔的 Jetson 项目将 DeepStack 对象和人脸检测与识别服务集成到流行的家庭自动化平台 home Assistant 中。

DeepStack 在 Docker 容器中运行，并通过 RESTAPI 公开各种计算机视觉模型。 DeepStack 目标检测可以识别 80 种不同类型的目标，包括人、车辆和动物。当前列表不包括雪橇或驯鹿，但可以使用自定义对象检测模型。 DeepStack 可以免费使用，并且完全支持 open source 。您需要一台具有 8GB RAM 或 NVIDIA Jetson 的机器来运行 DeepStack 。

Home Assistant 是一个开源和可扩展的家庭自动化平台，可以在本地嵌入式设备或服务器上运行，同时维护本地控制和隐私。它可以帮助自动化任务，如家庭能源管理，智能地打开或关闭灯，或根据入口是否打开发出警报。家庭助理可以是与 1000 多种不同的设备集成。

该项目使用 DeepStack REST API 中经过训练的模型向 Home Assistant 发送响应， Home Assistant 随后可以根据此输入和其他输入在家中执行任务。 DeepStack 可以在 Jetson 设备上运行，并且它在基于 YOLOv5 的训练模型上实现了良好的推理时间，该模型使用 PyTorch 运行。 DeepStack 和 Home Assistant 通过 Go 服务器和 Redis 层协调通信。

科尔在一份 forum post 中描述自己的工作时写道：“我希望这个项目能激发读者思考家庭和企业内外的新应用，这些应用可以从人工智能中受益，并实现快速原型和实验。”。

这些家庭自动化过程可以应用于监控圣诞树的灯光，在特殊包裹送到前门时发出警报，或者监视烟囱，看是否有一个穿着红色西装的大家伙试图在深夜潜入屋内吃掉你所有的饼干。

可以把它看作是对古老的节日经典你睡觉的时候可以当心；没有必要醒着。您的家庭自动化设置可以完成这项工作，这当然是好事的一种旋转。

通过将 DeepStack 与 Home Assistant 相结合， Cole 向开发者展示了如何创建自己的家庭安全或自动化系统，以及将 Jetson 集成到更大项目中的能力。对于那些想深入挖掘的人来说，该项目为集成其他 NVIDIA 技术（如 DeepStream 、 Metropolis ，甚至 NVIDIA Isaac 与 Home Assistant ）提供了进一步的可能性。

正如 Cole 在其关于该项目的论坛帖子中指出的那样，开发者社区正全力以赴，寻找使用 DeepStack Home Assistant 组合的明智方法，包括：

监测拉丁美洲一家砖厂的活动。

在泰国观察入侵的蛇。

监控包裹交付。

检查摩托车是否锁好。

检查鸡什么时候下蛋。

在人们回家时问候他们，并播放主题曲。

在商店里计算访客人数。

检查停车位何时可用。

这些可能性只受你想象力的限制。我们仍然认为监视圣诞老人的设置可能非常方便。在 developer forums 中分享如何将 DeepStack 和 Home Assistant 与 NVIDIA Jetson 结合的想法。

科尔还一直在开发一款使用摄像头馈送的用于检测火灾的自定义模型。

关于作者