Onderzoekers van BrainCreators en Universiteit van Amsterdam (UvA) ontwikkelen efficiënt framework voor video-AI

Video Cross-Stream Prototypical Contrasting (ViCC) maakt het eenvoudiger om intelligentietaken uit te voeren in de automatische verwerking van bewegende beelden

| BrainCreators | 2 min | 27 juli 2021 20:30
Copyright: BrainCreators
De onderzoekers van BrainCreators en de Universiteit van Amsterdam hebben een nieuw framework voor self-supervised learning ontwikkeld op het gebied van video representatie. Dankzij Video Cross-Stream Prototypical Contrasting (ViCC) is het eenvoudiger om intelligentietaken uit te voeren in de automatische verwerking van bewegende beelden.

De nieuwe methode ViCC is vooral bedoeld om representaties te leren. Dit zijn zeer compacte beschrijvingen van ieder videofragment. Het automatisch leren van representaties voor video is een krachtig middel voor verschillende doelen. Applicaties kunnen hierdoor bijvoorbeeld zonder hulp of met een lichte mate van menselijke ondersteuning ontwikkeld worden. Denk hierbij aan het automatisch herkennen van acties in videofragmenten, het efficiënt doorzoeken van grote video datasets en het signaleren van afwijkende gebeurtenissen. Hierdoor kunnen applicaties veel efficiënter worden ontwikkeld en de bestaande visuele inspectie oplossingen van BrainCreators (zoals ARA en INSPECH) effectiever kennis overbrengen, streams beter optimaliseren en efficiëntere prestaties leveren.

Hoe werkt ViCC

Video datasets hebben veel voordelen ten opzichte van stilstaand beeld. Zo bevat video veel rijkere informatie omtrent acties en bewegingen. Het grote nadeel is dat visuele AI oplossingen vaak afhankelijk zijn van door de mens geannoteerde datasets. Hierdoor moet ieder beeld voorzien zijn van handmatige inspectie en menselijke interpretatie. Als zulke data gebruikt wordt om AI te trainen onder de supervisie van de mens, spreken we van supervised learning. ViCC kan echter effectief kennis samenbrengen uit video datasets met een minimale hoeveelheid menselijke bemoeienis. Dit wil zeggen dat de AI zelf leert van verbanden in de data. Hierdoor maakt ViCC self-supervised learning mogelijk en kunnen er tijd en kosten worden bespaard.

Dankzij ViCC kan AI zelf voor elk videofragment vele variaties aanmaken (augmentation). Bijvoorbeeld door te zoomen, knippen, herschalen of kleuraanpassingen te maken. Hierdoor ontstaan er positieve correlaties in de dataset; de AI weet immers welke video’s op deze manier gerelateerd zijn. Door dit te contrasteren (contrasting) met variaties van andere video's is de AI in staat de representaties te verbeteren. Tegelijk worden zowel kleuren als bewegingen apart verwerkt en gebruikt om elkaars correlaties te versterken (cross-stream). Tenslotte worden representaties op een innovatieve manier gegroepeerd (prototyping) waardoor het leerproces zeer efficiënt plaats kan vinden.

Het resultaat is dat ViCC effectiever kennis kan samenbrengen uit de video datasets met een minimale hoeveelheid menselijke interpretatie. BrainCreators staat hiermee aan de cutting-edge van video deep-learning binnen AI en neemt het voortouw in toegepaste innovatie op het gebied van intelligente videoverwerking.

Meer informatie over het nieuwe framework, kun je vinden in de volgende paper: https://arxiv.org/abs/2106.10137.

Hoe vind je dit artikel?


Geef jij de eerste rating?

Content op basis van interesse of taal liever niet meer zien? Ga dan naar settings om eenvoudig je voorkeuren in te stellen.

Over BrainCreators

BrainCreators is in 2016 opgericht door drie ondernemers die elkaar in de jaren 90 hebben leren kennen via de opleiding Artificial Intelligence aan de Universiteit van Amsterdam. BrainCreators wil met intelligente automatisering de kwaliteit van het leven verbeteren door repeterende handelingen te automatiseren. Dankzij haar BrainMatter platform kunnen organisaties snel digitale inspecteurs ontwikkelen, die direct als digitale dienst inzetbaar zijn in de fysieke wereld.
Meer over BrainCreators

Disclaimer

Dit item is verkregen via óf is gebaseerd op een externe bron en valt daarmee buiten de verantwoordelijkheid van de redactie. Als het item een (gedeeltelijke) vertaling is van het origineel, dan is bij eventuele verschillen in betekenis het originele item leidend.
20191030100036.png
Voor professionals met passie voor digitale revolutie!
20191030101402.jpg
De grootste Nederlandse site over Android
20191029224512.jpg
Het no-nonsense internetbureau
20200707165104.png
Meer meisjes en vrouwen in bèta, techniek en IT
20191029200614.jpg
Drive value with data
20191030103431.png
Conference by app developers, for app developers!
20200608191257.png
Dé leukste website op het gebied van zorg in Nederland
© 2019-2021, alle rechten voorbehouden.
TechVisor
Het vizier op de tech industrie.