Von der Erkennung zum Verständnis: Wie Video Language Models die Kameraüberwachung verändern

Kamerasysteme erzeugen jeden Tag enorme Mengen an Videomaterial. Traditionelle Video AI Analytics hilft dabei, darin automatisch Personen, Fahrzeuge, Objekte und bestimmte Ereignisse zu erkennen. Ein System kann beispielsweise melden, dass jemand einen gesperrten Bereich betritt, dass ein Fahrzeug entgegen der Fahrtrichtung fährt oder dass ein Objekt zurückgelassen wurde.

Das liefert wertvolle Informationen. Dennoch handelt es sich häufig um einzelne Detektionen, die ein Operator selbst kombinieren und interpretieren muss.

Video Language Models, auch Vision Language Models genannt, fügen dem eine neue Ebene hinzu. Sie können nicht nur erkennen, was im Bild zu sehen ist, sondern auch Zusammenhänge zwischen Objekten, Bewegungen und Ereignissen herstellen. Anschließend können sie diese Informationen in normaler Sprache beschreiben. Möchten Sie mehr darüber erfahren, was Video Language Models genau sind? Lesen Sie dazu unseren ausführlichen Artikel zu diesem Thema.

Dadurch verschiebt sich die Videoanalyse von der Frage „Was wurde erkannt?“ hin zu „Was passiert hier eigentlich genau?“

Traditionelle Video AI erkennt vordefinierte Situationen

Traditionelle Video AI Analytics wird in der Regel für klar umschriebene Aufgaben entwickelt. Ein Modell wird beispielsweise trainiert, um Personen, Autos, Taschen, Rauch, Feuer oder Waffen zu erkennen.

Daran lassen sich anschließend Regeln koppeln, wie etwa:

• Alarm auslösen, wenn eine Person einen gesicherten Bereich betritt
• Fahrzeuge registrieren, die eine virtuelle Linie überschreiten
• eine Meldung erzeugen, wenn jemand länger als fünf Minuten in einem Bereich verbleibt
• erkennen, wenn ein Mitarbeiter keinen Schutzhelm trägt
• ein Objekt melden, das über längere Zeit unbeaufsichtigt bleibt

Diese spezialisierten Modelle sind besonders gut für die kontinuierliche Überwachung geeignet. Sie können eine große Anzahl von Kamerastreams analysieren und schnell reagieren, wenn eine vordefinierte Situation eintritt.

Die Einschränkung besteht darin, dass die verschiedenen Detektionen oft separat dargestellt werden. Eine Kamera kann beispielsweise feststellen, dass eine Person und eine Tasche vorhanden sind. Kurze Zeit später wird erkannt, dass die Person den Bereich verlässt.

Der Operator muss anschließend selbst beurteilen, ob diese Beobachtungen zusammenhängen.

Von einzelnen Detektionen zu einem zusammenhängenden Ereignis

Ein Video Language Model analysiert nicht nur einzelne Objekte oder Videobilder. Es betrachtet auch die Reihenfolge, in der Ereignisse stattfinden.

Dabei werden verschiedene Formen künstlicher Intelligenz kombiniert:

• Computer Vision, um Objekte, Personen und Bewegungen zu erkennen
• Zeitanalyse, um zu bestimmen, was zuerst und was danach geschieht
• Sprachtechnologie, um Bilder und Ereignisse zu beschreiben

Angenommen, eine Kamera registriert die folgenden einzelnen Ereignisse:

• eine Person betritt eine Bahnhofshalle
• die Person trägt eine Tasche
• die Tasche wird neben einem Pfeiler abgestellt
• die Person geht ohne die Tasche weiter

Traditionelle Videoanalyse kann diese Elemente einzeln erkennen. Ein Video Language Model kann daraus eine zusammenhängende Beschreibung erstellen:

Eine Person stellt eine Tasche neben einem Pfeiler ab und verlässt den Bereich anschließend, ohne die Tasche mitzunehmen.

Diese Beschreibung gibt dem Operator schneller einen Einblick in das, was möglicherweise geschehen ist.

Das bedeutet nicht, dass ein VLM eine Situation auf dieselbe Weise versteht wie ein Mensch. Das Modell hat kein Bewusstsein und kennt die Absicht der beteiligten Person nicht. Es erkennt Muster und Zusammenhänge im Bild und übersetzt diese in eine wahrscheinliche Beschreibung.

Kamerabilder mit normaler Sprache durchsuchen

Eine wichtige Veränderung besteht darin, dass Nutzer nicht mehr ausschließlich auf vorkonfigurierte Filter und Detektionsregeln angewiesen sind.

Bei der traditionellen Videosuche wählt ein Operator beispielsweise aus:

• Person
• rote Oberbekleidung
• schwarze Hose
• Bewegungsrichtung nach links
• Zeitraum zwischen 14:00 und 15:00 Uhr

Das ist bereits viel schneller, als Kamerabilder manuell durchzusehen. Trotzdem muss der Nutzer genau wissen, welche Merkmale verfügbar sind und welche Filter angewendet werden müssen.

Mit einem Video Language Model lässt sich eine Suchanfrage letztendlich viel natürlicher formulieren. Zum Beispiel:

• „Suche eine Person, die eine Tasche abstellt und dann weggeht.“
• „Zeige Fahrzeuge, die nach Geschäftsschluss an der Laderampe gehalten haben.“
• „Zeige Situationen, in denen jemand stürzt und nicht sofort wieder aufsteht.“
• „Suche Personen, die sich gegen die normale Laufrichtung bewegen.“

Der Nutzer beschreibt die Situation, nach der er sucht. Das System versucht anschließend, diese Beschreibung mit relevantem Videomaterial zu verknüpfen.

Dadurch wird fortschrittliche Videoanalyse für Operatoren zugänglicher, die kein technisches Wissen über KI-Modelle, Metadaten oder Suchfilter haben.

Ersetzen VLMs die traditionelle Videoanalyse?

Video Language Models werden spezialisierte Video AI Analytics wahrscheinlich nicht vollständig ersetzen.

Spezifische Erkennungsmodelle bleiben wertvoll für Situationen, in denen Geschwindigkeit, Konsistenz und Skalierbarkeit wichtig sind. Man denke etwa an Echtzeit-Perimeterüberwachung, Kennzeichenerkennung, Personenzählung oder die Erkennung von Rauch und Feuer.

Ein spezialisiertes Modell wurde entwickelt, um eine bestimmte Aufgabe möglichst effizient auszuführen.

VLMs sind besonders interessant, wenn:

• eine Situation aus mehreren Schritten besteht
• ein Ereignis sich schwer in eine feste Regel fassen lässt
• Nutzer in normaler Sprache suchen möchten
• Bildmaterial zusammengefasst werden muss
• Kontext benötigt wird, um Detektionen besser zu beurteilen
• schnell neue Suchszenarien untersucht werden müssen

Die naheliegendste Entwicklung ist daher eine Kombination beider Techniken.

Traditionelle Analytics erkennen und klassifizieren Objekte und Ereignisse. Ein Video Language Model hilft anschließend dabei, diese Informationen zu verknüpfen, zu beschreiben und durchsuchbar zu machen.

Man könnte sagen, dass traditionelle Video AI die Augen bildet, während ein VLM Sprache und Kontext hinzufügt.

Wichtige Punkte zur Beachtung

Die Möglichkeiten sind groß, aber Video Language Models haben auch Einschränkungen.

Beschreibungen können fehlerhaft sein

Ein VLM kann eine Situation falsch oder unvollständig beschreiben. Bei wichtigen Vorfällen muss der Operator daher immer das Originalmaterial überprüfen. Eine KI-Beschreibung ist ein Hilfsmittel, keine endgültige Feststellung.

Kontext ist nicht dasselbe wie Absicht

Ein System kann erkennen, dass jemand eine Tasche abstellt und weggeht. Es kann nicht mit Sicherheit bestimmen, warum jemand das tut.

Der Unterschied zwischen einer harmlosen Situation und einem Sicherheitsrisiko erfordert oft eine menschliche Beurteilung.

Bildqualität bleibt entscheidend

Schlechte Beleuchtung, geringe Auflösung, ein ungünstiger Kamerawinkel oder eine teilweise Verdeckung des Bildes beeinflussen die Qualität der Analyse.

Auch fortschrittliche KI kann nicht zuverlässig interpretieren, was nicht ausreichend sichtbar ist.

Datenschutz und Governance müssen vorab geregelt sein

Organisationen müssen klar festlegen:

• zu welchem Zweck Videomaterial analysiert wird
• welche Kameras und Standorte Teil der Analyse sind
• wer Zugang zu Bildmaterial und Beschreibungen erhält
• wie lange Daten aufbewahrt werden
• wie Ergebnisse kontrolliert werden
• wann eine menschliche Beurteilung erforderlich ist

Der Einsatz eines VLM ändert nichts an der Verantwortung der Organisation, sorgfältig mit Kamerabildern und personenbezogenen Daten umzugehen.

Video Language Models innerhalb von Vaidio

Innerhalb der Vaidio-Plattform können Video Language Models mit bestehenden Video AI Analytics kombiniert werden. Dadurch entsteht ein hybrider Ansatz. Spezialisierte Analytics können kontinuierlich Personen, Fahrzeuge, Objekte und Ereignisse erkennen. Ein VLM kann anschließend helfen, komplexere Situationen zu beschreiben oder Bildmaterial in natürlicher Sprache zu durchsuchen.

Organisationen können dadurch unter anderem:

• komplexere Situationen untersuchen
• Suchanfragen in normaler Sprache formulieren
• Ereignisse zusammenfassen lassen
• relevante Ausschnitte schneller wiederfinden
• bestehendes Kamerabildmaterial für neue Anwendungen nutzen

Ein wichtiger Ausgangspunkt ist, dass hierfür nicht automatisch ein vollständig neues Kamerasystem erforderlich ist. Die Intelligenz kann zu einer bestehenden Videoumgebung hinzugefügt werden, abhängig von den vorhandenen Kameras, der Infrastruktur und den Integrationen.

Von Kamerabildern zu nutzbarer Information

Die Herausforderung der modernen Kameraüberwachung liegt nicht in einem Mangel an verfügbarem Bildmaterial. Das Problem ist vielmehr, dass Organisationen mehr Videodaten sammeln, als Menschen manuell sichten und beurteilen können. Traditionelle Video AI Analytics brachte hier bereits eine wichtige Veränderung. Kameras konnten nicht nur aufnehmen, sondern auch automatisch Personen, Objekte und Ereignisse melden.

Video Language Models gehen einen Schritt weiter. Sie verknüpfen einzelne Beobachtungen mit Zeit, Kontext und Sprache. Dadurch wird es möglich, Kamerabilder auf natürlichere Weise zu durchsuchen und schneller zu verstehen, welche Ereignisse Aufmerksamkeit erfordern.

Die Kamera selbst verändert sich vielleicht nicht. Die Art und Weise, wie Organisationen Informationen aus Kamerabildern gewinnen, verändert sich jedoch grundlegend. Video entwickelt sich zunehmend von einer passiven Aufzeichnung zu einer aktiven Informationsquelle und Entscheidungsunterstützung.