Einleitend
Ich habe nach längeren, intensiven Stunden endlich meine SecurityCam in einem Zustand, den ich dir nun endlich vorstellen möchte. Dabei verwende ich cutting-edge Technologien, die es sich lohnt, näher zu betrachten. Doch bevor ich mit dem Technology-DeepDive in einem mehrteiligen Bericht durchstarte, will ich dir gern noch meine Motivation mitgeben. Vielleicht kannst du dich darin wiederfinden?
Warum eine smarte SecurityCam
Vor schon recht langer Zeit wollte ich wissen, was sich vor meiner Haustüre abspielt. Besonders aber wollte ich gern mitbekommen, wenn der Postbote eintrifft bzw. wann er da war. Wer kleine Kinder hat, die auch mal nachmittags ein Schläfchen halten sollten, der kennt das. Niemand möchte, dass sie durch eine schrille Klingel geweckt werden. Was unsere Postboten meist nicht wissen können (oder wollen 😈).
Ich wollte daher schlichtweg ein System bauen, welches mich darüber informiert, dass der Postbote in meiner Hofeinfahrt einfährt. Doof nur, dass die meisten Systeme von SecurityCams nicht wissen, was ein Postbote ist. Daher habe ich meinen eigenen Ansatz versucht. ..und das kam dabei raus:
Dieser mehrteilige Beitrag ist voll gespickt mit Technologien, die ich dir gern näher erläutern möchte. Vielleicht macht dich die nachfolgende Liste neugierig.
- Azure IoTHub
- Azure IoTEdge
- Computer Vision API
- Custom Vision API
- Tensorflow
- Azure Blob Storage
- Jetson Nano
Mein Hardware Setup besteht, grob beschrieben, aus einem Jetson Nano (einem embedded Device von NVidia), angebunden über Ethernet (kann aber auch WLAN) ans Internet und einer WebCam. Da Machine Learning immer etwas mehr Power braucht und damit auch für Temperatur sorgt, habe ich einen Lüfter drangehängt.
Die software-seitigen Komponenten habe ich nachfolgend mal als Highlevel Architektur skizziert. Darin läuft der Jetson Nano als Edge-Device und ist an Microsoft Azure über den IoT Hub (Cloud Gateway) angebunden. Ein Lautsprecher ermöglicht die Maschine-Mensch-Kommunikation.
Der Nano kann im Offlinebetrieb arbeiten, aber auch bei bestehender Internetverbindung mit der Cloud kommunizieren. Der Jetson Nano analysiert die Bilder, die eine WebCam liefert. Jedes Objekt, dass erkannt wird, wird ausgeschnitten und im lokalen Storage abgelegt. Erkennt das System ein Postauto, wird gleichzeitig an einen Lautsprecher die Meldung „Ich sehe ein Postauto“ ausgegeben. Bei intakter Internetverbindung werden die erkannten Objekte (Bildschnippsel) in den Online-Storage übertragen und lokal gelöscht. Gleichzeitig werden die Eventdaten (wann welches Objekt gesichtet wurde) als Zeitfolgendaten in die Cloud gestreamt. Das nachfolgende Bild zeigt die eintreffenden Events in einem filterbaren Chart.
Und, bist du nun neugierig? Dann ließ im nächsten Beitrag weiter:
“Custom Vision – ich erkenne das Postauto“. In diesem Beitrag beschreibe ich, wie ich ein Machine Learning Modell für das Erkennen eines Postautos gebaut habe.
