1. Was hast du herausgefunden?
Die wesentliche Eigenschaft einer ereignisbasierten Kamera (Event-Based) besteht darin, dass sie ausschließlich Beleuchtungsänderungen von jedem Pixel asynchron darstellt. Darüber hinaus hat dieser Sensor einen sehr hohen Dynamikbereich sowie eine sehr kurze zeitliche Auflösung. Dadurch kann die Event-Based Kamera im Bereich des autonomen Fahrens eine herkömmliche RGB Kamera (Flächenkamera) hervorragend in der Nacht sowie in schnellen Verkehrssituationen unterstützen. In der Arbeit „TUMTraf Event: Calibration and Fusion Resulting in a Dataset for Roadside Event-Based and RGB Cameras” haben wir erstmalig einen Kalibrierungsansatz entwickelt, der auf Basis des Verkehrs einer komplexen Straßenkreuzung das Bild einer stationären Event-Based Kamera auf das Bild einer herkömmlichen RGB-Kamera ausrichtet. Dafür muss der Event-Stream in das RGB-Kamerabild übertragen werden, was beispielsweise für eine Sensorfusion notwendig ist.
Auf Basis dieser „targetless“-Kalibrierung haben wir verschiedene Fusionsansätze für die Event-Based und die RGB-Kamera entwickelt und damit experimentiert, welche die charakteristischen Eigenschaften der Event-Based Kamera berücksichtigen. So konnten wir die Detektionsleistung einer RGB-Kamera mittels der entwickelten Sensorfusion mit der Event-Based-Kamera am Tag um 9 % mAP und in der Nacht um 13 % mAP steigern.
Zu guter Letzt haben wir im Rahmen dieser Arbeit den TUMTraf-Event-Datensatz veröffentlicht. Soweit bekannt, ist dieser Datensatz der erste seiner Art für die wissenschaftliche Community.
2. Welche Herausforderungen gab es während der Forschungen?
Die größten Herausforderungen sind bei den Aufnahmen der Kameradaten aufgetreten. Die Daten wurden am Tag, in der Nacht sowie auch bei Regen, Schneeregen und eisiger Kälte auf dem Testfeld von Providentia++ aufgenommen. Hier bestand das Problem zum einen darin, dass die Finger vor Ort sprichwörtlich abgefroren sind, und zum anderen, dass aufgrund von Nässe und Kälte die prototypische Technik sporadisch gestreikt hat. Darüber hinaus kam bei den ersten Datenaufnahmen heraus, dass die Straßenbeleuchtung in der Nacht unerwartet viel Rauschen in der Event-Based-Kamera verursacht. Aus diesem Grund musste der Sensortreiber optimiert und anschließend die herausfordernden Datenaufnahmen wiederholt werden. Dennoch hat sich das gelohnt und der erste Datensatz mit synchronisierten Event-Based- und RGB-Kamerabildern im Bereich von straßenseitiger Sensorinfrastruktur konnte veröffentlicht werden.
3. Welchen praktischen Nutzen haben diese Forschungen?
Normalerweise werden in der Praxis Sensorkalibrierungen mit einem Muster (z.B.: Schachbrettmuster) durchgeführt. Da jedoch auf einer vielbefahrenen Bundesstraße so ein Muster nicht ständig aufgestellt werden kann, sobald sich die Kameraausrichtung geringfügig durch Witterungsbedingungen ändert, muss ein Kalibrierungsansatz gewählt werden, der kein Muster benötigt. Mithilfe dieser Arbeit können nun Event-Based- und RGB-Kameras zueinander ohne Muster kalibriert werden („Targetless Calibration“). Darüber hinaus zeigt diese Arbeit, wie die Daten einer Event-Based-Kamera mit denen einer RGB-Kamera sinnvoll verknüpft werden können, um Verkehrsteilnehmer auch in der Nacht optimal zu erkennen. Ausblickend für die Zukunft ermöglicht der veröffentlichte Datensatz nun auch weitere Forschungsaktivitäten im Bereich von Event-Based und RGB-Kameras bezüglich straßenseitiger Sensorinfrastruktursysteme.
Hier geht es zu weiteren Informationen und den verfügbaren Datensets: https://innovation-mobility.com/en/project-providentia/a9-dataset/
Publikation
Christian Creß; Walter Zimmer; Nils Purschke; Bach Ngoc Doan; Sven Kirchner; Venkatnarayanan Lakshminarasimhan; Leah Strand; Alois C. Knoll; TUMTraf Event: Calibration and Fusion Resulting in a Dataset for Roadside Event-Based and RGB Cameras; IEEE Transactions on Intelligent Vehicles; 4-2024