Sony Corporation komt met twee intelligente vision sensoren met kunstmatige intelligentie op de beeldsensor. Deze nieuwe sensoren zijn volgens de fabrikant interessant om met slimme camera’s te ontwikkelen. Ze bieden een breed scala aan toepassingen voor retail- en industriële toepassingen.

De sensoren zijn gestapeld (stacked) opgebouwd en bestaan uit een pixelchip en een logic chip. Het zijn volgens Sony de eerste beeldsensoren waarin de kunstmatige intelligentie voor beeldanalyse en beeldverwerking is geïntegreerd in de logic chip. Het signaal dat de pixelchip detecteert, wordt verwerkt door de AI op de sensor, zodat er geen krachtige processor of extern geheugen nodig is. In plaats van beeldinformatie verwerkt de sensor metagegevens. Dit vermindert het datavolume en biedt volgens de fabrikant een betere gegevensbescherming en meer privacy. Mogelijkheden zijn onder andere het op hoge snelheid en realtime volgen van objecten. Gebruikers kunnen ook andere toepassingen kiezen door het interne geheugen te herschrijven naar de vereisten of voorwaarden van het gewenste systeem.

Belangrijkste kenmerken
De pixelchip is back-illuminated en heeft 12,4 effectieve megapixels voor het vastleggen van informatie. De logic chip is uitgerust met Sony’s Digitale Signaalprocessor (DSP) voor AI-signaalverwerking en met een intern geheugen voor het AI-model. Dankzij deze configuratie zijn krachtige processors of een extern geheugen niet noodzakelijk.
De signalen die de pixelchip detecteert worden doorgegeven via een ISP (beeldsignaalprocessor). AI-verwerking vindt plaats op de logic chip en de geëxtraheerde informatie wordt uitgevoerd als metadata. Aangezien beeldinformatie niet extern wordt verwerkt is gegevensbescherming optimaal. Behalve het beeld dat door de conventionele beeldsensor wordt opgenomen, kunnen gebruikers een outputformat naar wens selecteren. Denk hierbij aan afbeeldingen in ISP-formaat (YUV/RGB) en specifieke ROI (Region of Interest)-selecties van de afbeeldingen.

High-speed AI-verwerking
Bij het opnemen van video met een conventionele beeldsensor wordt de data doorgestuurd voor AI-verwerking. Dit leidt tot meer datatransmissie waardoor het lastig is om realtime prestaties te leveren. De nieuwe sensoren van Sony voeren ISP-verwerking en high-speed AI-verwerking (3,1 milliseconde verwerkingstijd voor MobileNet V12) uit op de logic chip en voltooien het hele proces in één frame. Dankzij dit ontwerp wordt het mogelijk om realtime en met hoge precisie objecten te volgen tijdens het opnemen van video.

Selecteerbaar AI-model
Gebruikers kunnen de AI-modellen naar wens in het geheugen programmeren afhankelijk van de omstandigheden op de locatie van het systeem. Dit kan bijvoorbeeld handig zijn wanneer meerdere camera’s op een winkellocatie worden geïnstalleerd. De gebruiker kan zo hetzelfde type camera voor meerdere toepassingen inzetten. Als de camera bij de ingang is geïnstalleerd, kan deze worden gebruikt om de klanten te tellen die de winkel binnenkomen. Bij installatie op een winkelschap, kan deze worden gebruikt om voorraadtekorten te herkennen. Is de camera aan het plafond gemonteerd, dan kan deze worden ingezet om warmtebeelden te maken (ter identificatie van gebieden waar veel bezoekers elkaar ontmoeten). Uiteraard kan het AI-model in een bepaalde camera opnieuw geprogrammeerd worden, van één die heatmaps opspoort naar één die consumentengedrag vaststelt, enz.