Video Language Models in Vaidio – wat is het eigenlijk?

Sinds kort maken we binnen het Vaidio-platform gebruik van Video Language Models (VLM’s). Dat klinkt technisch, en dat is het ook, maar de impact ervan is juist heel praktisch. Het betekent dat video niet langer alleen wordt geanalyseerd op losse objecten of simpele gebeurtenissen, maar dat het systeem nu ook kan begrijpen wat er in beeld gebeurt en dit kan beschrijven, doorzoeken en verklaren.

Maar wat zijn Video Language Models eigenlijk? En waarom zijn ze zo’n belangrijke volgende stap in Video Analytics en Vision AI? In dit artikel leggen we het uit.

Waarom ‘traditionele’ video-analyse zijn grenzen kent

‘Traditionele’ (wat nog steeds een relatief nieuwe technologie is, dus helemaal niet zo traditioneel) Video AI is sterk in detectie. Het kan aangeven:

• “Er is een persoon in beeld”
• “Er is een voertuig”
• “Iemand overschrijdt een lijn”
• “Een object is achtergelaten”

Dat is al enorm waardevol, maar het heeft ook beperkingen. Elk van deze waarnemingen staat op zichzelf. AI weet in dit geval niet of die persoon een monteur, patiënt of indringer is. Het ziet een tas, maar niet of die bewust is neergelegd of per ongeluk is achtergelaten. Het detecteert beweging, maar begrijpt geen intentie.

In de praktijk betekent dit dat operators en analisten nog steeds veel zelf moeten interpreteren. Ze krijgen meldingen, kijken naar beelden, trekken conclusies en schrijven hun eigen rapportages. AI levert data, mensen maken er vervolgens betekenis van.

Video Language Models veranderen dat fundamenteel.

Wat is een Video Language Model?

Een Video Language Model combineert drie technologieën:

1. Computer Vision
   Ziet objecten, mensen, voertuigen en hun bewegingen
2. Tijdelijk (temporal) begrip
   Begrijpt wat eerst gebeurt en wat daarna
3. Taalmodellen (LLM’s)
   Zet wat wordt waargenomen om in betekenisvolle beschrijvingen

Samen zorgen deze modellen ervoor dat een systeem niet alleen kan vaststellen wat er in beeld is, maar ook wat er gebeurt.

In plaats van:

“Persoon gedetecteerd. Object gedetecteerd. Persoon verliet het beeld.”

Kan een VLM bijvoorbeeld zeggen:

“Iemand zet een tas naast een pilaar en verlaat de ruimte zonder de tas mee te nemen.”

Dat is geen losse detectie meer. Het is een beschrijving van een gebeurtenis.

Wat betekent dit binnen Vaidio?

Door Video Language Models te integreren in Vaidio verandert de rol van video in een organisatie. Video wordt niet langer een stroom beelden die je moet bekijken, maar een informatiebron die je kunt bevragen.

In plaats van door camera’s, tijdlijnen of gedetecteerde events te klikken, kun je nu vragen stellen zoals:

• “Laat me situaties zien waarin iemand een verboden gebied is binnengegaan en daar langer dan twee minuten is gebleven.
• “Zoek mensen die een voorwerp hebben achtergelaten en zijn weggegaan.”
• “Welke voertuigen zijn na sluitingstijd naar het laadperron gereden?”

VLM’s vertalen zulke vragen automatisch naar:

• objecten
• locaties
• tijd
• volgorde
• gedrag

en doorzoeken vervolgens alle beschikbare videodata om precies die situaties te vinden.

Van detectie naar begrip

Het grote verschil tussen ‘traditionele’ analytics en VLM’s, zit in context.

Traditionele analytics werken met regels:

• als een persoon in gebied X komt → alarm
• als object daar ligt → alarm

Video Language Models begrijpen gebeurtenissen in samenhang:

• Wie was het?
• Waar ging diegene naartoe?
• Wat gebeurde er eerst?
• Wat gebeurde daarna?

Dat maakt het mogelijk om echte scenario’s te herkennen in plaats van alleen losse triggers. Het systeem kan bijvoorbeeld onderscheid maken tussen:

• een medewerker die even iets neerzet
• en iemand die een object achterlaat en verdwijnt

Die nuance is precies wat nodig is om betrouwbare beslissingen te ondersteunen in complexe omgevingen.

Wat levert dit op in de praktijk?

De toevoeging van VLM’s aan Vaidio zorgt voor een aantal belangrijke verbeteringen:

1. Snellere en betere incidentanalyse

Na een incident kan het systeem automatisch beschrijven wat er is gebeurd. In plaats van zelf een video terug te kijken, krijg je een samenvatting van het verloop van het incident.

2. Natuurlijke taal als interface

Operators, security teams en analisten hoeven geen filters meer te bouwen. Ze kunnen gewoon vragen stellen in normale taal.

3. False positives worden verder geëlimineerd

Omdat het systeem gedrag begrijpt in context, kan het beter onderscheid maken tussen normaal en afwijkend gedrag.

4. Nieuwe inzichten uit bestaande camera’s

Zonder nieuwe hardware kunnen organisaties ineens veel diepere vragen stellen over wat er werkelijk in hun omgeving gebeurt.

Een nieuwe stap in Vision AI

Met de introductie van Video Language Models maakt Vaidio een verschuiving van Video Analytics naar Vision Intelligence. Het gaat niet langer alleen om het zien van objecten, maar om het begrijpen van situaties. Video wordt daarmee een bron van kennis, niet alleen van beelden. Dat is precies waarom deze technologie zo’n belangrijke rol speelt in de toekomst van beveiliging, veiligheid en operationeel inzicht en waarom we deze stap al in de ontwikkeling van het Vaidio-platform hebben gezet.

Weten hoe de VLM’s er binnen Vaidio uitzien? Schrijf je dan in voor het What’s New webinar over Vaidio 9.2 op donderdag 22 januari. Inschrijven kan via onderstaande button.