Volumetric Video Capture Cameras

Anwendungen für Volumetric Video Capture Cameras

Volucams sind marktführende Spezialvideokameras, die ideal auf die Bedürfnisse von Erstellern von VR/AR/XR-Content abgestimmt sind. Gerade bei immersiven XR-Anwendungen (XR=extended reality), also überall, wo reale und virtuelle Umgebungen miteinander verschmelzen („Virtual / Augmented / Mixed Reality”) und eine volumetrische Erfassung von Körpern erforderlich ist, verfügen Volucams über den nötigen Leistungsumfang und die Flexibilität, die für solche Konfigurationen erforderlich sind – unabhängig, ob es sich um ein Kamerapaar in einem stereoskopischen 3D-Rig handelt, eine Handvoll Kameras für eine 360°-VR-Konfiguration oder ein Array von mehr als 100 Kameras für die volumetrische Videoerfassung.

Volumetrisches 4D Scanning

Volucams eignen sich ideal für Anwendungen, wo volumetrische Videoaufnahmen von Körpern gemacht werden, Lichtfeld-Kamerasysteme oder Multi-Kamerasysteme, in denen aus unterschiedlichen Winkeln Bewegungsabläufe analysiert werden (z.B. beim Sport). 

Avatarisierung
Nach der volumetrischen Erfassung eines Menschen, kann dieser mittels Software digitalisiert und sich als Avatar in einer virtuellen Welt bewegen („Metaversum”). Dabei nehmen mehrere präzis synchronisierte Kameras eine Person aus unterschiedlichen Winkeln auf. Das aufgezeichnete Video wird durch eine Rekonstruktionssoftware verarbeitet, die einen 3D-Avatar des Darstellers erzeugt.

Mehr Realismus durch höhere Auflösung

Führende Aufnahmestudios, die mit volumetrische Videoerfassung arbeiten, verwenden heute hochauflösende Kameras mit einer Auflösung von 4K oder mehr, um Hologramme ihrer aufgenommenen Darsteller mit fein detaillierten und lebensechten Texturen zu liefern. Die Darstellung von winzigen Oberflächendetails wie Haaren, Haut und Stoffen trägt zur Verbesserung des Gesamtrealismusfaktors eines immersiven Erlebnisses bei. Für volumetrische Echtzeit-Videosysteme mit Telepräsenzfunktionen besteht ebenfalls der Bedarf an Kameras mit höherer Auflösung.

Digitaler Zwilling (Digital Twin / Double)

Ein physischer Körper wird volumetrisch von der Kamera erfasst und digitalisiert. So kann etwa das digitale Abbild einer Maschine oder eines Systems erstelllt und für Simulationen verwendet werden („Industrie 4.0”).

Videoaufzeichnungen mit mehreren Kameras

Abhängig von der 3D-Rekonstruktionsmethode und dem zu erfassenden Bühnenbereich müssen mehrere bis sehr viele Videokameras gleichzeitig eingesetzt werden, um sicherzustellen, dass die Person oder das Objekt aus allen Blickwinkeln aufgenommen werden kann. Dies bedeutet, dass eine zuverlässige Multikamera-Aufzeichnungslösung erforderlich ist, die auf mehrere Kameras skaliert werden kann, ohne dass Leistung oder Stabilität beeinträchtigt werden. Die besondere Architektur der Volucam Kameras fußt auf FPGA-basierter Direct-to-Disk-Videoaufzeichnungshardware und bietet eine unkomprimierte RAW-Aufzeichnungsfunktion sowie einen kamerainternen SSD-Speicher mit hoher Kapazität.

Volucam vs Consumer Kameras

Zwar können volumetrische Videoinhalte auch mit Consumer-Videokameras erzeugt werden, allerdings sind die Ergebnisse für professionelle Anforderungen kaum befriedigend. Der visuelle Eindruck ist wenig überzeugend und immersiv. Industriekameras dagegen verfügen über Standardfunktionen, die bei kommerziellen Videokameras in der Regel nicht integriert sind. Dazu gehört die flexible Anpassung des Videoformats über die typischen 16:9-Broadcast-Videostandards hinaus, wie z. B. 4:3 oder sogar 1:1-Seitenverhältnisse, was die Anordnung mehrerer Kameras um einen Aufnahmebereich herum effizienter machen kann. Außerdem werden durch die Verwendung von Global-Shutter-Bildsensoren Bewegungsverzerrungen eliminiert, die sich auf die Nachbearbeitung auswirken. Unkomprimierte RAW-Videos in die Nachbearbeitung einzubringen, ermöglicht Ergebnisse von höchster Qualität. Zudem erfordern Anwendungen im XR-Bereich das synchronisierte Zusammenspiel mehrerer Kameras, was die Volucams zur idealen Wahl macht.

Volucam Features – Vorzüge der volumetrischen Kameras von IO Industries

Leistungsstarke Bildsensoren

Volucam Kameras sind mit hochwertigen CMOS-Bildsensoren von Sony und Gpixel ausgestattet. Deren Auflösungen reichen von 0,4 MP bis 26,2 MP. Die meisten Kameramodelle verfügen über elektronischen Global Shutter Sensoren, um Artefakte zu eliminieren. Diese unterstützen stufenlos einstellbare Bildraten von bis zu 100 Bildern pro Sekunde, und die aktive Auflösung kann für jeden Sensor beliebig bis zum Maximum eingestellt werden, so dass verschiedene Seitenverhältnisse (4:3, 16:9, 1:1 und mehr) möglich sind. Die Größe der Bildsensoren reicht von 1/3" bis 1,1". 

Austauschbare Optik

Volucam Kameras verfügen über einen nativen C-Mount-Anschluss, der im industriellen und Security-Bereich üblich ist. Für andere Objektivtypen, wie z.B. Foto-Optiken, sind Adapter erhältlich. Für das Canon EF-Mount-Objektiv etwa gibt es einen Adapter, der in die Kamera integriert wird, um Fokus und Blende via Ferngesteuerung einzustellen. Weitere Adapter sind von Drittanbietern erhältlich, um C-Mount-Objektive an B4-, PL-, Canon FD- und weitere anzupassen.

Schnelles 10 Gigabit Ethernet

Eine der praktischsten Eigenschaften der Volucam ist ihre 10 Gigabit Ethernet-Konnektivität. Die Schnittstelle wird für alle Konfigurations- und Betriebssteuerungsbefehle sowie für das Streaming von Live-Video an die Steuerungssoftware verwendet. Die Videoaufzeichnungen der Volucam können auf diese Weise mit hoher Geschwindigkeit in einen über das Netzwerk zugänglichen gemeinsamen Ordner oder ein NAS übertragen werden. Der SFP+-Port ermöglicht eine Kupferverkabelung oder eine optische Langstreckenverbindung mit Multimode- oder Singlemode-Glasfaser.
 

Interne Videoaufzeichnung

Ein integriertes Hochleistungs-Solid-State-Laufwerk speichert Aufnahmen auf der Volucam, bis sie über die 10GbE-Schnittstelle zur weiteren Verarbeitung übertragen werden können. Die Kapazität beträgt bis zu 8 TB, so dass auch lange Clips oder viele kürzere Clips aufgezeichnet werden können. Die Videodateien werden in einem RAW-Format in bis zu 12-Bit-Qualität gespeichert. Farbvideos werden erst im weiteren Verlauf des Workflows "demosaiziert". Die Aufzeichnungen können entweder unkomprimiert oder mit einem verlustfreien Codec komprimiert werden. Die Komprimierung ermöglicht kleinere Dateigrößen, was zu längeren möglichen Aufzeichnungszeiten und schnelleren Dateiübertragungszeiten über das Netzwerk führt.

Synchronisation mehrerer Kameras

Die Synchronisation ist bei Multikamera-Arrays von entscheidender Bedeutung. Dies gilt umso mehr bei volumetrischen Videoaufzeichnungen. Mit der Volucam können viele Kameras sowohl shutter- als auch zeitsynchronisiert werden. Dadurch haben alle zur selben Zeit aufgenommenen Bilder auch die gleichen Zeitstempel, anhand derer die Bilder korreliert werden können. Die Volucam unterstützt das IEEE-1588 Präzisionszeitprotokoll über die 10GbE-Schnittstelle. Mehrere Kameras können mit einer Grandmaster-Uhr synchronisiert werden, oder es wird eine Kamera als Master betrieben, die die Zeit selbst an die anderen Kameras weitergibt. Weitere Synchronisationsoptionen sind ein SMPTE LTC-Eingang und GPIO-Pins für die lokale Synchronisation zwischen Kameras.

Live-Video Monitoring

Für Direct-to-Display-Monitoring mit niedriger Latenz verfügt die Volucam über einen 12G-SDI-Videoausgang, der Full HD- oder Ultra HD-Videos mit bis zu 60 Bildern pro Sekunde streamen kann. Ein Tri-Level-Sync-Eingang ermöglicht die Synchronisation des SDI-Signals auf eine Sync-Referenz bei einer Live-Produktionsumgebung. Für den Transport, das Multiplexing und die Anzeige von 12G-SDI-Videosignalen existiert eine breite Infrastruktur, mit denen die Live-Streams vieler Kameras gleichzeitig auf einem Master-Studiomonitor angezeigt werden können. Live-Videostreaming wird auch über die 10GbE-Schnittstelle unterstützt. Die dafür verwendete Bandbreite kann durch Anpassung der Auflösung und der Bildrate des Live-Videostreams angepasst werden. 

Einfache Konfiguration und Bedienung

Die Volucam macht die Einrichtung eines synchronisierten Multi-Kamera-Videoaufzeichnungssystems einfacher als je zuvor. Eine typische Konfiguration umfasst den Anschluss mehrerer Kameras an einen 10GbE-Netzwerk-Switch und die Verwendung eines einzigen PCs als Kontrollstation. Für die Überwachung mit niedriger Latenz können SDI-Überwachungsgeräte verwendet werden. Für die "Leitstelle" steht es eine Client-Software zur Verfügung oder es kann das Volucam-SDK verwendet werden, um die Befehle in eigene Softwareanwendungen zu integrieren. Die Client-Software konfiguriert die Kameras nach Bedarf, startet die Aufzeichnungen und zeigt das Live-Video an für die Echtzeitüberwachung. Sobald die Aufzeichnungen abgeschlossen sind, beginnen die Kameras mit der Übertragung ihrer Daten an einen über das Netzwerk zugänglichen gemeinsamen Ordner oder ein NAS, von wo aus die Dateien von einer 3rd Party Verarbeitungssoftware abgerufen werden.

StudioCap-VC-Software – easy-to-use Multi-Kamera-Management-Software

Die Volucam-Kameraserie wurde von Grund auf mit Blick auf Videoaufzeichnungsanwendungen mit mehreren Kameras entwickelt. Aus diesem Grund wurde bei der Entwicklung der Software-Bedienoberfläche der gleiche Aufwand betrieben wie bei der Entwicklung der Kameras selbst. Die StudioCap-VC-Software von IO Industries gibt dem Bediener die Möglichkeit, eine ganze Gruppe von Volucam-Kameras auf einmal zu steuern, so dass möglichst viele Aufgaben pro Kamera entfallen, und liefert gleichzeitig ein verständliches Feedback über den Status des Kamera-Arrays. Mit den Bedienelementen können Kameraeinstellungen konfiguriert, Aufzeichnungen gestartet und gestoppt und eine oder mehrere Kameras für die Anzeige von Live-Videos mit niedriger Latenz ausgewählt werden. Eine studiogerechte Hierarchie für die Organisation von Aufnahmen (Shots) macht die Arbeit am Set zum Kinderspiel. Für volumetrische Aufnahmen sind spezielle Funktionen wie die Erstellung von Kalibrierungs- und Hintergrundbildern für die spätere Nachbearbeitung vollständig integriert.

Unterstützung für multimodale 3D-Rekonstruktions-Workflows

Im Laufe der Zeit wurden verschiedene Techniken zur Erzeugung von Videos mit freiem Blickwinkel aus Multiview-Kamerasystemen erforscht und eingesetzt. Viele beruhen auf Farbvideokameradaten zur Bestimmung von Form- und Texturdetails. Andere verwenden einen multimodalen Ansatz, bei dem die Ergebnisse von Farbkameras und von Kameras mit Tiefenerkennungsfunktion kombiniert werden. Die meisten tiefenerkennenden Kameras sind eine Kombination aus einem monochromen Bildsensor und einem strukturierten Lichtprojektor, der unsichtbare Lichtmuster auf Objekte vor der Kamera wirft. Mit Hilfe der Einzelkamera- oder Stereopaarverarbeitung können mit diesen Kameras auch Formdetails bestimmt werden. Die Videokameras von IO Industries sind entweder mit Farb- oder Monochrom-Bildsensoren erhältlich, und es sind optische Filter verfügbar, die Aufnahmen im nahen Infrarotbereich ermöglichen, der üblicherweise von strukturierten Lichtprojektoren verwendet wird. Multikamera-Videoerfassungssysteme von IO Industries, kombiniert mit spezialisierten Projektoren mit strukturiertem Licht, wurden mit neuartigen Verarbeitungsabläufen verwendet, um bemerkenswert realistische 3D-Rekonstruktionen und hochmoderne Videolösungen mit freiem Blickwinkel zu erzeugen.

Vereinfachte Lösungen für mobile Videoaufzeichnungen mit mehreren Kameras

Für die Live-Überwachung mit geringer Latenz verfügt der Rodeo DVR über einen SDI-Videoausgang, der Full HD mit bis zu 60 Bildern pro Sekunde streamen kann. Wenn hochauflösende Kameras an den DVR angeschlossen sind, kann die Auflösung der Kamera mit Hilfe von Zuschneide- und Skalierungsfunktionen an den Full HD-Ausgang angepasst werden, so dass das gesamte Sichtfeld bis hin zu einem 1:1-Pixel-Ausschnitt angezeigt werden kann. Für den Transport, das Multiplexing, die Konvertierung und die Anzeige von SDI-Videosignalen steht eine Vielzahl von Infrastruktur-Tools zur Verfügung, mit denen viele Live-Streams von mehreren Rodeo-DVRs gleichzeitig auf einem oder mehreren Monitoren angezeigt werden können. Live-Videostreaming wird auch über die 10GbE-Schnittstelle unterstützt, mit einstellbarer Kontrolle über die dafür verwendete Bandbreite, so dass der Kontroll-PC Live-Video von vielen Rodeo-DVRs gleichzeitig anzeigen kann.

Volucam Modellübersicht