Stacked event-based vision sensors

09 Sep., 2021

Sony präsentiert zwei ereignisbasierte Stacked Vision-Sensoren mit der branchenweit kleinsten Pixelgröße von 4,86 μm, die ausschließlich zur Erkennung von Motivveränderungen konzipiert sind

Die Datenerfassung in Hochgeschwindigkeit und hoher Präzision steigert die Produktivität von Industrieanlagen.

Wien. Die Sony Semiconductor Solutions Corporation („Sony“) kündigte heute die bevorstehende Einführung von zwei ereignisbasierten Stacked (gestapelten) Vision-Sensoren an. Diese für Industrieausrüstung konzipierten Sensoren sind in der Lage, ausschließlich Motivveränderungen zu erkennen, und bieten die branchenweit kleinste1 Pixelgröße von 4,86 μm.

Ereignisbasierte Vision-Sensoren erkennen asynchron Veränderungen der Leuchtdichte für jedes Pixel, geben nur die geänderten Daten aus und kombinieren diese mit Informationen zur Pixelposition (xy-Koordinaten) und Zeit. Dies ermöglicht eine schnelle Datenausgabe mit geringer Latenz.

Die beiden neuen Sensoren IMX636 und IMX637 nutzen die Stacking-Technologie mit den proprietären Cu-Cu-Verbindungen2 von Sony, um die branchenweit kleinste1 Pixelgröße von 4,86 μm zu erzielen. Beide Sensoren haben einen geringen Stromverbrauch und liefern Daten mit hoher Geschwindigkeit, niedriger Latenz und hoher zeitlicher Auflösung. Zugleich bieten sie eine für ihre geringe Größe überraschend hohe Bildauflösung. All diese Vorteile wirken zusammen, um eine sofortige Erkennung sich bewegender Objekte in unterschiedlichen Umgebungen und Situationen zu gewährleisten.

Die beiden Sensoren wurden durch eine Kooperation zwischen Sony und Prophesee realisiert, bei der die CMOS-Bildsensortechnologie von Sony mit der einzigartigen ereignisbasierten Vision-Sensortechnologie von Prophesee kombiniert wurde. Dies ermöglicht eine Datenerfassung in Hochgeschwindigkeit und hoher Präzision und trägt dazu bei, die Produktivität von Industrieanlagen zu verbessern.

 

Bezeichnung Musterauslieferung (voraussichtlich)
Ereignisbasierter Stacked Vision-Sensor IMX636, 1/2,5ʺ (Diagonale 7,137 mm), ca.

0,92 effektive Megapixel3

Oktober 2021
Ereignisbasierter Stacked Vision-Sensor IMX637, 1/4,5ʺ (Diagonale 3,983 mm), ca.

0,33 effektive Megapixel3

Oktober 2021

 

Ein Video zu den ereignisbasierten Stacked Vision-Sensoren gibt es hier zu sehen: https://www.youtube.com/watch?v=6xOmo7Ikwzk

 

Angesichts der immer anspruchsvolleren und vielfältigeren Anforderungen im Industrieausrüstungssektor werden vermehrt Sensoren eingesetzt, um aus Kamerabildern die benötigten Informationen zu extrahieren. Dazu ist eine immer effizientere Datenerfassung nötig.

Bei der üblicherweise verwendeten Frame-basierten Methode wird in bestimmten, durch die Bildrate festgelegten Intervallen das gesamte Bild ausgegeben. Die neuen Sensoren von Sony wenden dagegen eine ereignisbasierte Methode an, bei der Änderungen der Pixel-Leuchtdichte asynchron erkannt und die entsprechenden Daten mit Informationen zur Pixelposition (xy-Koordinaten) und Zeit ausgegeben werden. Die Sensoren haben eine proprietäre gestapelte Struktur, bei der die elektrische Leitung zwischen dem Pixelchip und dem Logikchip über eine Cu-Cu-Verbindung hergestellt wird. Mithilfe einer Signalverarbeitungsschaltung werden Änderungen der Leuchtdichte für jedes Pixel ermittelt. Dank dieses Designs können nur diejenigen Pixel Daten ausgeben, die eine Änderung der Leuchtdichte beim Objekt erkennen lassen. So kann der Sensor die Leuchtdichteveränderungen sofort mit hoher Geschwindigkeit, geringer Latenz und hoher zeitlicher Auflösung erfassen und verbraucht dabei nur wenig Strom. Gleichzeitig zeichnet sich dieses Design durch die branchenweit kleinste Pixelgröße von 4,86 μm aus, was zu einem sehr kompakten, hochauflösenden Sensor führt.

Die neuen Sensoren können geringfügige Vibrationsänderungen erfassen und so auf Anomalien hinweisen, die für die vorausschauende Wartung von Anlagen wichtig sind. Sie erkennen auch Veränderungen in den Funken, die beim Schweißen und Spanen von Metall erzeugt werden – Informationen, die sich unter anderem nutzen lassen, um die Arbeiter über den optimalen Zeitpunkt für einen Werkzeugwechsel zu verständigen. Ebenso können die Produkte zu Produktionsverbesserungen bei verschiedenen Anwendungen beitragen, mit denen Frame-basierte Bildsensoren Schwierigkeiten haben, und Arbeitsprozesse erleichtern, für die menschliche Erfahrung benötigt wird.

Hauptmerkmale

Kompaktes Design mit hoher Auflösung, ermöglicht durch die branchenweit kleinste1 Pixelgröße von 4,86 μm

Die neuen Sensoren verfügen über eine proprietäre Stacking-Struktur mit einer Cu-Cu-Verbindung für die elektrische Leitung zwischen dem Pixelchip und dem Logikchip. Mithilfe einer Signalverarbeitungsschaltung werden Änderungen der Leuchtdichte für jedes Pixel ermittelt. Die Pixeleinheit und die Signalverarbeitungsschaltung befinden sich normalerweise auf derselben Platine. Bei diesen Produkten wird jedoch durch die einzigartige Struktur die branchenweit kleinste1 Pixelgröße von 4,86 μm erreicht, während gleichzeitig ein hohes Öffnungsverhältnis4 für die Pixeleinheit erhalten bleibt. Dieses Design bietet sowohl einen kompakten Formfaktor als auch eine hohe Auflösung und ermöglicht eine hochpräzise Erkennung.

Extraktion der Ereignisdaten in Hochgeschwindigkeit mit niedriger Latenz und hoher Zeitauflösung bei geringem Stromverbrauch

Dank der proprietären gestapelten Konstruktion konnte Sony ein ereignisbasiertes Verfahren wählen, das asynchron Veränderungen der Leuchtdichte von Pixeln erkennt und die Daten samt Informationen zur Pixelposition (xy-Koordinaten) und Zeit ausgibt. Anders als bei der Frame-basierten Methode brauchen die Sensoren also nur die erforderlichen Daten auszulesen. Das senkt den Stromverbrauch und gewährleistet gleichzeitig eine hohe Geschwindigkeit im Mikrosekundenbereich und eine niedrige Latenz. Dadurch ist eine Ausgabe mit hoher zeitlicher Auflösung möglich.

Ereignisfilterung für optimierte Informationserfassung

Die Sensoren sind mit von Prophesee entwickelten Ereignisfilterfunktionen ausgestattet, die überflüssige Ereignisdaten eliminieren, wodurch sie für verschiedene Anwendungen geeignet sind. Mithilfe dieser Filter lassen sich Ereignisse entfernen, die für die jeweilige Erkennungsaufgabe nicht benötigt werden, wie etwa das LED-Flackern, das bei bestimmten Frequenzen auftreten kann (Anti-Flicker), ebenso wie Ereignisse, bei denen es sehr unwahrscheinlich ist, dass es sich um den Umriss eines beweglichen Objekts handelt (Ereignisfilter). Außerdem kann mit den Filtern bei Bedarf die Datenmenge so reguliert werden, dass die Zahl von Ereignissen nicht überschritten wird, die nachgeschaltete Systeme verarbeiten können (Ereignisratenkontrolle).

Im Rahmen der Kooperation von Sony und Prophesee bei diesen Produkten ist bei Prophesee die Metavision® Intelligence Suite erhältlich, eine auf Sensorleistung optimierte Software zur Verarbeitung von Ereignissignalen. Die Kombination aus den ereignisbasierten Vision-Sensoren von Sony und dieser Software ermöglicht eine effiziente Anwendungsentwicklung und bietet Lösungen für verschiedene Use Cases.

 

Einzelheiten zu den ereignisbasierten Bildsensoren von Sony finden Sie auf der folgenden Website:

Produktseite

https://www.sony-semicon.co.jp/e/products/IS/industry/product/evs.html

Technologieseite

https://www.sony-semicon.co.jp/e/products/IS/industry/technology/evs.html

 

Technische Daten 

Bezeichnung IMX636 IMX637
Effektive Pixel Ca. 0,92 Megapixel

(1280 × 720 [H × V])

Ca. 0,33 Megapixel

(640 × 512 [H × V])

Elementarzellengröße 4,86 μm × 4,86 μm
Array-Größe Diagonale 7,137 mm

(1/2,5ʺ)

Diagonale 3,983 mm

(1/4,5ʺ)

Farbfilter Schwarzweiß
Gehäuse Keramisches LGA-Gehäuse

(Außenseite: 13 × 13 mm)

 

Stromversorgung

Analog 3,0 V
Digital 1,1 V
Schnittstelle 1,8 V
Nominale Kontrastschwelle (ln) 25 %
 

 

 

Latenzzeit

ROI5 Weniger als 100 Mikrosekunden bei 1 Klux

Weniger als 1000 Mikrosekunden bei 5 Lux

Ausgedünnte Auslesung6 Weniger als 220 Mikrosekunden bei 1 Klux

Weniger als 1000 Mikrosekunden bei 5 Lux

Maximale Ereignisrate 1,06 Geps (Giga-Ereignisse pro Sekunde)
Dynamikbereich 86 dB oder mehr (5-100.000 Lux)7
Hintergrundrate 0,1 Hz @ 1 Klux / 10 Hz @ 5 Lux
Schnittstelle Eingang: I2C (400 kHz / 1 Mhz), 4-adrige SPI

Ausgang: MIPI D-PHY (1,5 Gbps/Lane) 2 Lane,

SLVS(800 Mbps/Lane) 4 Lane

Funktionen zur Verarbeitung von Ereignissignalen Anti-Flicker

Ereignisfilter

Ereignisratenkontrolle

 

Metavision® ist eine eingetragene Marke von PROPHESEE S.A.

 

Bildmaterial: Download

—————————-

1 Bei ereignisbasierten Stacked-Bildsensoren. Laut Untersuchungen von Sony (Stand: Datum dieser Ankündigung, 9. September 2021).

2 Eine Technologie, die beim Stapeln der Pixelfläche (oberer Chip) und der Logikschaltungen (unterer Chip) die elektrische Durchgängigkeit durch verbundene Cu (Kupfer)-Pads gewährleistet. Im Vergleich zu Durchkontaktierungen (TSV), bei denen die Verbindung durch Elektroden am Umfang der Pixelfläche hergestellt wird, bietet dieses Verfahren mehr Flexibilität beim Design, verbessert die Produktivität, ermöglicht eine kompaktere Größe und steigert die Leistung.

3 Basierend auf der Methode zur Angabe der effektiven Pixelzahl von Bildsensoren.

4 Fläche (im lichtdurchlässigen Bereich) von der Lichteinfallsseite pro Pixel betrachtet.

5 Region of Interest, 9 × 9 = 81 Pixel.

6 Ausgedünnte Auslesung, 1/5 (horizontale Richtung).

7 5 Lux ist die minimale Lichtbedingung, die die Abbildungseigenschaften gewährleistet. Low-Light-Abschaltung (nicht garantiert) bei 0,08 Lux, wobei 50 % der Pixel auf einen linearen Kontrast von 100 % reagieren.

Über die Sony Corporation 

Die Sony Corporation ist innerhalb des Sony Konzerns für den Geschäftsbereich Electronics Products & Solutions (EP&S) verantwortlich. Mit der Vision, „den Menschen und der Gesellschaft auf der ganzen Welt durch das Streben nach Technologie und neuen Herausforderungen weiterhin Kando und Anshin* zu liefern“, entwickelt Sony Produkte und Dienstleistungen in Bereichen wie Home Entertainment & Sound, Imaging und mobile Kommunikation.

Weitere Informationen finden Sie unter: www.sony.net

* Beides japanische Wörter, Kando bedeutet Emotion und Anshin hat verschiedene Bedeutungen wie Seelenfrieden, Beruhigung, Zuverlässigkeit und Vertrauen.

Vibration detection comparrison

Vibration detection comparrison

Event data accumlated comparrison

Event data accumlated comparrison

Spark detection comparrison

Spark detection comparrison

Sony Schweiz und Österreich
Registrieren Sie sich, um Pressemitteilungen von Sony per E-Mail zu erhalten
Sie haben sich erfolgreich für die Sony-Pressemitteilungs-E-Mails angemeldet
Fertig!
Ungültige E-Mail-Adresse