Spatial Video: Wie räumliche Bilder die Sprache des Films verändern
Seit mehr als einem Jahrhundert erzählt das Kino Geschichten innerhalb eines rechteckigen Bildes. Spatial Video und immersive Filmformate verändern diese vertraute Beziehung zwischen Kamera, Bildraum und Publikum. Entfernungen werden stereoskopisch erfahrbar, der Blick kann sich innerhalb einer Szene bewegen und Geräusche erhalten eine nachvollziehbare Position im Raum. Doch die eigentliche Veränderung liegt weniger in der Technologie als in der Frage, wie sich eine Geschichte erzählen lässt, wenn das Publikum nicht mehr ausschliesslich auf einen festgelegten Bildausschnitt blickt.
Wenn Bilder räumlich werden: Die Technologie hinter Spatial Video
Ein klassischer Film zeigt eine dreidimensionale Welt auf einer zweidimensionalen Fläche. Perspektive, Licht, Bewegung und Schärfentiefe vermitteln räumliche Informationen, obwohl das Bild selbst keine stereoskopische Tiefe besitzt. Eine Landschaft erscheint weitläufig, weil sich ihre Elemente in der Tiefe staffeln. Eine Nahaufnahme wirkt unmittelbar, weil das Motiv einen grossen Teil des Bildausschnitts einnimmt. Diese räumlichen Eindrücke entstehen durch fotografische Gestaltung und unsere Erfahrung mit dem Sehen.
Spatial Video ergänzt diese Bildsprache um eine weitere Information: die leicht unterschiedlichen Perspektiven unserer beiden Augen. Bei der Wiedergabe auf einem geeigneten Gerät können diese getrennt dargestellt werden, sodass das Gehirn aus den Bildunterschieden einen zusätzlichen Tiefeneindruck ableitet.
Das verändert die räumliche Wahrnehmung, ersetzt jedoch keine der bisherigen Grundlagen guter Filmgestaltung. Auch ein stereoskopisches Bild benötigt einen nachvollziehbaren Aufbau, eine klare Lichtführung und eine erkennbare Beziehung zwischen Motiv und Umgebung.
Warum zwei Perspektiven ein dreidimensionales Bild erzeugen
Unsere beiden Augen betrachten die Umgebung aus leicht unterschiedlichen Positionen. Ein Gegenstand, der sich unmittelbar vor uns befindet, erscheint für das linke Auge an einer etwas anderen Stelle als für das rechte. Je nach Entfernung verändert sich dieser Unterschied. Das Gehirn verarbeitet diese Informationen gemeinsam mit weiteren Hinweisen wie Perspektive, Bewegung, Verdeckung und Grössenverhältnissen zu einem räumlichen Eindruck.
Dieses Prinzip wird als Stereopsis bezeichnet. Es bildet eine wesentliche Grundlage stereoskopischer Fotografie und Filmproduktion.
Bei einer stereoskopischen Aufnahme werden zwei Ansichten derselben Szene erfasst. Sie müssen zeitlich und geometrisch aufeinander abgestimmt sein, damit die spätere Wiedergabe einen plausiblen Tiefeneindruck erzeugt. Dabei spielt der Abstand zwischen den beiden Aufnahmeperspektiven eine wichtige Rolle. In der Fachsprache wird dieser als Baseline oder Interaxial Distance bezeichnet.
Apple verwendet für die Beschreibung seiner räumlichen Medien einen durchschnittlichen menschlichen Augenabstand von ungefähr 64 Millimetern als Referenz. Ein solcher Kameraabstand kann helfen, die dargestellte Umgebung in einem vertrauten Grössenverhältnis wahrzunehmen. Bei der Aufnahme von Spatial Videos mit dem iPhone 15 Pro beträgt der Abstand zwischen den verwendeten Kameras dagegen nur 19,2 Millimeter.
Das bedeutet nicht, dass mit einem Smartphone grundsätzlich kein überzeugender räumlicher Eindruck entstehen kann. Es zeigt vielmehr, dass die spätere Tiefenwirkung von der Kamerageometrie, den Objektiven, der Aufnahmeentfernung und der Wiedergabe abhängt. Ein grösserer Abstand zwischen zwei Kameras verstärkt unter vergleichbaren Bedingungen die Unterschiede ihrer Perspektiven. Dadurch kann Tiefe deutlicher erscheinen, gleichzeitig können aber auch unnatürliche Grössenverhältnisse oder Schwierigkeiten bei nahen Motiven entstehen.
Die Herausforderung besteht deshalb nicht darin, möglichst viel Tiefe zu erzeugen. Sie besteht darin, eine räumliche Darstellung zu entwickeln, die zur betrachteten Szene passt.
Für die professionelle Filmgestaltung ist das ein wichtiger Unterschied. Während bei einem klassischen Einzelkamerabild vor allem Perspektive, Bildwinkel und Schärfentiefe geplant werden, muss bei stereoskopischen Aufnahmen zusätzlich die Beziehung zwischen beiden Kameraperspektiven berücksichtigt werden. Quelle: Apple Developer: Creating Spatial Photos and Videos with Spatial Metadata
Spatial Video, 180° und 360° sind nicht dasselbe
Unter dem Begriff immersiver Medien werden unterschiedliche Technologien zusammengefasst, die häufig miteinander verwechselt werden. Spatial Video, stereoskopisches 3D, 180-Grad-Video und 360-Grad-Video beschreiben jedoch verschiedene Eigenschaften eines Bildes.
Spatial Video bezeichnet im Apple-Ökosystem ein stereoskopisches Videoformat, das zwei Bildansichten und zusätzliche Informationen über die Aufnahme enthält. Die Wiedergabe kann beispielsweise innerhalb eines räumlich wirkenden Fensters erfolgen. Das Video besitzt eine definierte Bildbegrenzung und muss nicht das gesamte Sichtfeld des Publikums ausfüllen.
Ein 180-Grad-Video erfasst dagegen einen sehr grossen Bereich vor der Kamera. Auf einem entsprechenden Headset kann das Publikum innerhalb dieser vorderen Halbkugel den Blick bewegen. Eine solche Aufnahme kann stereoskopisch sein und damit zusätzlich eine räumliche Tiefenwirkung erzeugen.
Ein 360-Grad-Video bildet die Umgebung in sämtliche Richtungen ab. Dadurch kann sich die betrachtende Person vollständig umsehen. Allerdings besitzt nicht jedes 360-Grad-Video stereoskopische Tiefe. Viele Aufnahmen zeigen lediglich eine rundum aufgezeichnete, aber für beide Augen identische Ansicht.
Apple Immersive Video ist wiederum ein spezifisches Produktions- und Wiedergabeformat. Es verbindet hochauflösendes stereoskopisches Material mit einem besonders grossen Sichtfeld, präzisen Projektionsinformationen und räumlichem Ton. Apple beschreibt dafür ein mögliches Sichtfeld von bis zu 230 Grad. Im Gegensatz zu klassischen 360-Grad-Aufnahmen wird die verfügbare Bildinformation damit stärker auf den Bereich konzentriert, in dem sich das Publikum üblicherweise orientiert.
Seit visionOS 26 unterstützt Apple zusätzlich verschiedene 180-Grad-, 360-Grad- und Wide-Field-of-View-Formate über das Apple Projected Media Profile. Die Unterstützung solcher Formate bedeutet jedoch nicht, dass sämtliche Inhalte die gleiche Aufnahmetechnik oder denselben räumlichen Eindruck besitzen.
Die Unterscheidung ist für die Filmgestaltung entscheidend. Stereoskopische Tiefe beantwortet die Frage, wie räumlich eine Szene wahrgenommen wird. Das Sichtfeld bestimmt dagegen, wie viel von dieser Szene gleichzeitig oder durch Kopfbewegungen betrachtet werden kann. Beide Eigenschaften lassen sich unterschiedlich kombinieren. Quelle: Apple Developer: Explore Video Experiences for visionOS
Räumliche Anwesenheit ist nicht dasselbe wie Bewegungsfreiheit
Ein häufiges Missverständnis betrifft die Vorstellung, sich innerhalb eines räumlichen Videos frei bewegen zu können. Tatsächlich bleibt auch eine stereoskopische Filmaufnahme an die Perspektiven gebunden, aus denen sie aufgezeichnet wurde.
Wer in einem 180-Grad-Film den Kopf nach links dreht, kann einen anderen Bereich der aufgenommenen Umgebung betrachten. Diese Blickbewegung erzeugt jedoch keine vollständig neue Kameraposition. Ein Objekt, das während der Aufnahme hinter einer Wand verborgen war, lässt sich nicht plötzlich von der anderen Seite betrachten.
Technisch wird häufig zwischen drei und sechs Freiheitsgraden unterschieden. Drei Freiheitsgrade beschreiben die Rotation des Kopfes. Dazu gehören das Drehen nach links oder rechts, das Neigen und das seitliche Kippen. Sechs Freiheitsgrade berücksichtigen zusätzlich die Bewegung der Position im Raum.
Klassische sphärische Videoaufnahmen erlauben in erster Linie die Veränderung der Blickrichtung. Manche Wiedergabesysteme können kleinere Kopfbewegungen durch Projektionstechniken berücksichtigen. Dadurch entsteht jedoch nicht dieselbe räumliche Freiheit wie in einer vollständig dreidimensionalen, interaktiven Umgebung.
Für echte Positionswechsel benötigt ein System zusätzliche räumliche Informationen, beispielsweise durch 3D-Geometrie, volumetrische Aufzeichnung oder computergenerierte Szenen. Erst dann können bislang verdeckte Bereiche aus neuen Perspektiven sichtbar werden.
Diese Unterscheidung betrifft auch die Erzählweise. In einem räumlichen Film kann das Publikum selbst entscheiden, wohin es blickt. Es kann aber nicht beliebig durch die aufgezeichnete Handlung gehen.
Der Regisseur bestimmt weiterhin den Standort der Kamera, die räumliche Organisation der Szene und den zeitlichen Ablauf. Die Blickführung wird offener, die zugrunde liegende Perspektive bleibt gestaltet.
Warum Auflösung allein keinen räumlichen Realismus erzeugt
Die Entwicklung immersiver Kameras wird häufig über ihre Auflösung beschrieben. Apple Immersive Video unterstützt Aufnahmen mit mehr als 50 Megapixeln pro Auge und hohen Bildraten. Die Blackmagic URSA Cine Immersive besitzt zwei Sensoren mit jeweils 8160 × 7200 Pixeln und unterstützt stereoskopische Aufnahmen mit bis zu 90 Bildern pro Sekunde.
Solche Werte sind erheblich. Sie lassen sich jedoch nicht unmittelbar mit der Auflösung eines gewöhnlichen Kinobildes vergleichen.
Bei einer klassischen Filmaufnahme konzentrieren sich die Bildpunkte auf einen begrenzten rechteckigen Ausschnitt. Bei einem immersiven Video verteilen sie sich über ein wesentlich grösseres Sichtfeld. Das Publikum betrachtet zu einem bestimmten Zeitpunkt nur einen Teil dieser aufgezeichneten Fläche.
Deshalb ist für die wahrgenommene Bildschärfe nicht allein die Gesamtzahl der Pixel relevant. Entscheidend ist auch, wie viele Bildpunkte innerhalb eines bestimmten Sehwinkels dargestellt werden. Dieser Wert wird als Pixels per Degree beschrieben.
Eine sehr hochauflösende 180-Grad-Aufnahme kann bei der Betrachtung eines kleinen Details weniger scharf wirken, als ihre nominelle Auflösung zunächst erwarten lässt. Gleichzeitig können Unterschiede zwischen den beiden Kamerabildern, ungenaue Kalibrierung oder fehlerhafte Projektionen den räumlichen Eindruck beeinträchtigen.
Auch die Wiedergabetechnik setzt Grenzen. Displayauflösung, optische Eigenschaften des Headsets und die Verarbeitung der Bilddaten beeinflussen, welche Details tatsächlich sichtbar werden.
Für die Bildgestaltung folgt daraus eine vertraute Erkenntnis: Technische Qualität ist eine Voraussetzung für glaubwürdige Bilder, ersetzt aber keine durchdachte Komposition. Eine stereoskopisch korrekt dargestellte Szene kann räumlich eindrucksvoll und erzählerisch dennoch unklar sein. Quelle: Blackmagic Design: URSA Cine Immersive
Wie räumliches Filmemachen die Bildgestaltung verändert
Die grundlegenden Werkzeuge der Filmgestaltung bleiben auch in immersiven Formaten erhalten. Licht bestimmt die Sichtbarkeit von Formen und Oberflächen. Perspektive beeinflusst die Beziehung zwischen Motiv und Umgebung. Bewegung verändert die räumliche Wahrnehmung, während der Schnitt verschiedene Momente miteinander verbindet.
Was sich verändert, ist die Position des Publikums innerhalb dieser Gestaltung.
Ein klassischer Film kann die Aufmerksamkeit durch einen engen Bildausschnitt unmittelbar auf ein einzelnes Detail lenken. Ein immersiver Film besitzt diese Kontrolle nur eingeschränkt. Er muss berücksichtigen, dass das Publikum innerhalb des verfügbaren Sichtfelds selbst entscheiden kann, welchem Bereich es Aufmerksamkeit schenkt.
Dadurch erhalten die räumliche Organisation der Szene und die zeitliche Entwicklung einer Handlung zusätzliche Bedeutung.
Die Kamera bestimmt nicht mehr allein, wohin wir blicken
Im traditionellen Film kann eine Nahaufnahme ein Gesicht aus seiner Umgebung lösen. Ein Gegenschuss zeigt die Reaktion einer zweiten Person. Anschliessend kann eine Totale die räumliche Beziehung zwischen beiden Figuren erklären. Das Publikum folgt einer Abfolge bewusst ausgewählter Perspektiven.
In einem immersiven Film muss dieselbe Beziehung möglicherweise innerhalb einer einzigen Einstellung verständlich bleiben.
Zwei Personen können sich gegenüberstehen, während sich das Publikum zwischen ihnen befindet. Eine dritte Person kann sich seitlich nähern. Ein Geräusch kann eine Handlung ankündigen, die zunächst ausserhalb der direkten Blickrichtung stattfindet.
Dadurch verändert sich die Bedeutung des Kamerastandorts.
Eine Kamera auf Augenhöhe kann den Eindruck vermitteln, selbst Teil einer Begegnung zu sein. Eine deutlich erhöhte Position schafft Distanz und Überblick. Steht die Kamera zu nahe an einer Person, kann diese körperlich ungewöhnlich präsent erscheinen. Befindet sie sich zu weit entfernt, gehen möglicherweise subtile Gesten und Gesichtsausdrücke verloren.
Diese Entscheidungen sind nicht grundsätzlich neu. Auch die klassische Filmgestaltung arbeitet mit Aufnahmehöhe, Abstand und Perspektive. Neu ist, dass sich ihre Wirkung bei immersiver Wiedergabe stärker auf die wahrgenommene körperliche Beziehung zur Szene auswirken kann.
Besonders deutlich wird das bei der Bewegung einer Person auf die Kamera zu. In einem gewöhnlichen Film verändert sich ihre Grösse innerhalb des Bildes. In einer stereoskopischen Darstellung verändert sich zusätzlich die wahrgenommene räumliche Entfernung.
Eine Bewegung wird damit nicht ausschliesslich gesehen. Sie beeinflusst auch, wie nahe das Geschehen dem eigenen Standort erscheint.
Blickführung ohne einen erzwungenen Bildausschnitt
Die grössere Freiheit des Publikums stellt die Regie vor eine neue Herausforderung: Wie lässt sich sicherstellen, dass ein relevanter Moment überhaupt wahrgenommen wird?
Ein klassischer Schnitt auf eine Handbewegung garantiert weitgehend, dass diese innerhalb des sichtbaren Bildes liegt. In einem 180-Grad-Film könnte das Publikum währenddessen eine andere Person oder einen entfernten Teil der Umgebung betrachten.
Die Lösung besteht nicht zwangsläufig darin, die Blickfreiheit wieder einzuschränken.
Stattdessen können Bewegung, Licht, Körperausrichtung und Ton genutzt werden, um Aufmerksamkeit innerhalb der Szene zu lenken. Auch der zeitliche Aufbau wird wichtiger. Eine Handlung kann vorbereitet werden, bevor sie ihren entscheidenden Moment erreicht.
Apple beschreibt in einer Schulung zur immersiven Filmmontage ein anschauliches Beispiel: Ein junger Elefant bewegt sich innerhalb einer Einstellung von rechts nach links. Es ist wahrscheinlich, dass die Aufmerksamkeit des Publikums dieser Bewegung folgt. Schneidet der Film unmittelbar danach auf eine Einstellung, in der sich das nächste wichtige Motiv an einer völlig anderen Position befindet, kann der Betrachter den Anschluss verpassen.
Ein besser vorbereiteter Schnitt berücksichtigt deshalb, wo sich die Aufmerksamkeit am Ende der ersten Einstellung vermutlich befindet und wo sie zu Beginn der nächsten benötigt wird.
Ein zweites Beispiel aus derselben Schulung zeigt Heissluftballons. Während sich ein Ballon aufrichtet, entwickeln sich an unterschiedlichen Stellen der Umgebung weitere Ereignisse. Die Szene benötigt genügend Zeit, damit das Publikum diese Zusammenhänge entdecken kann.
Das verändert den Rhythmus der Montage. Eine längere Einstellung kann sinnvoll sein, weil der Bildraum Informationen enthält, die nicht gleichzeitig wahrgenommen werden können.
Die Freiheit des Publikums erzeugt damit eine neue Form der gestalterischen Verantwortung. Die Regie muss entscheiden, welche Ereignisse unmittelbar sichtbar sein sollen und welche bewusst entdeckt werden dürfen. Quelle: Apple Developer: Hands-on Experience with Editing for Apple Immersive Video
Nähe, Tiefenwahrnehmung und körperliches Unbehagen
Stereoskopische Bilder wirken nicht bei allen Menschen gleich. Ihre Wahrnehmung hängt von individuellen Sehbedingungen, dem Aufnahmematerial und der technischen Wiedergabe ab.
Eine besondere Herausforderung betrifft das Zusammenspiel zweier natürlicher Augenbewegungen. Wenn wir einen Gegenstand in der Realität betrachten, richten sich unsere Augen auf dessen Entfernung aus. Gleichzeitig verändert sich die Fokussierung der Augenlinsen.
Diese Vorgänge werden als Vergenz und Akkommodation bezeichnet.
Bei stereoskopischen Displays können sie voneinander abweichen. Die Bilder vermitteln einen Gegenstand in einer bestimmten räumlichen Entfernung, während die optische Fokussierung weiterhin durch die Eigenschaften der Anzeige bestimmt wird. Dieser Unterschied wird als Vergence-Accommodation Conflict bezeichnet.
Wissenschaftliche Untersuchungen haben gezeigt, dass solche Konflikte unter bestimmten Bedingungen zu visuellem Unbehagen beitragen können. Insbesondere schnelle Veränderungen der erforderlichen Augenstellung können die Wahrnehmung belasten. Das bedeutet nicht, dass jede stereoskopische Darstellung unangenehm ist. Es erklärt jedoch, weshalb räumliche Filmgestaltung zusätzliche Rücksicht auf die Wahrnehmung nehmen muss.
Auch die Montage ist davon betroffen.
Ein Schnitt von einer weit entfernten Landschaft auf ein Objekt unmittelbar vor der Kamera verlangt eine schnelle Veränderung der Augenstellung. In einem klassischen Film ist dieser Wechsel alltäglich. In einer stereoskopischen Darstellung kann er stärker spürbar werden.
Eine mögliche Lösung besteht darin, zwischen den beiden Einstellungen eine mittlere räumliche Distanz einzuführen. Dadurch verändert sich die erforderliche Konvergenz schrittweise. Apple nennt diese Technik ausdrücklich als Möglichkeit, Tiefensprünge beim Schnitt angenehmer zu gestalten.
Hinzu kommt die Bewegung der Kamera selbst. Eine schnelle Fahrt, starke Beschleunigungen oder unruhige Rotationen können in einem immersiven Bild intensiver wirken als auf einem gewöhnlichen Monitor. Deshalb müssen Kamerabewegungen nicht nur dramaturgisch, sondern auch hinsichtlich ihrer körperlichen Wirkung beurteilt werden.
Die gestalterische Konsequenz ist keine grundsätzliche Verpflichtung zu statischen Bildern. Vielmehr benötigt jede Bewegung einen nachvollziehbaren Grund und eine sorgfältige Prüfung auf dem vorgesehenen Wiedergabesystem. Quelle: Kim et al.: The Rate of Change of Vergence-Accommodation Conflict Affects Visual Discomfort, Vision Research, 2014
Submerged: Was ein U-Boot über immersive Filmproduktion zeigt
Wie weit diese Anforderungen in eine reale Filmproduktion eingreifen können, zeigt Submerged von Edward Berger. Der 2024 veröffentlichte Kurzfilm war Apples erster vollständig inszenierter Spielfilm in Apple Immersive Video. Er erzählt von der Besatzung eines U-Boots während des Zweiten Weltkriegs, die auf einen gefährlichen Angriff reagieren muss.
Die rund 17-minütige Produktion entstand an Drehorten in Prag, Brüssel und Malta. Für den Film wurde ein vollständiges, ungefähr 23 Tonnen schweres U-Boot-Set aus Stahl, Messing und anderen Materialien gebaut. Teile davon konnten vollständig unter Wasser gesetzt werden. Gedreht wurde mit speziell entwickelten immersiven Kameras.
Bereits die Vorbereitung zeigte, dass sich klassische Produktionsentscheidungen nicht unverändert übertragen liessen.
Das ursprünglich historisch korrekt dimensionierte U-Boot war für die immersive Kamera zu eng. In Kameratests wurde deutlich, dass die Nähe der Wände die spätere Betrachtung unangenehm machen konnte. Die Konstruktion musste deshalb an die räumlichen Anforderungen der Aufnahme angepasst werden.
Auch die Beleuchtung stellte das Team vor neue Probleme.
Bei einer klassischen Filmproduktion können Leuchten häufig ausserhalb des sichtbaren Bildausschnitts positioniert werden. Bei einem immersiven Sichtfeld von ungefähr 180 Grad wird dieser unsichtbare Bereich wesentlich kleiner. Lichtquellen, Stative und andere technische Einrichtungen geraten schneller ins Bild.
Das Produktionsteam integrierte deshalb einen grossen Teil der Beleuchtung direkt in das Set. Diese Entscheidung unterstützte zugleich die glaubwürdige Gestaltung der historischen Umgebung und reduzierte den Aufwand, unerwünschte technische Elemente später digital entfernen zu müssen.
Die aussergewöhnlich hohe Bildschärfe machte auch Details sichtbar, die in einer konventionellen Produktion möglicherweise weniger stark aufgefallen wären. Das Team musste historische Instrumente aus geeigneten Materialien herstellen, weil einfache Ersatzmaterialien innerhalb der immersiven Darstellung nicht glaubwürdig genug wirkten. Selbst einzelne Make-up-Effekte mussten nach Tests verändert werden.
Der Produktionsprozess zeigt damit einen interessanten Zusammenhang: Je stärker ein Film den Eindruck räumlicher Anwesenheit erzeugen soll, desto genauer muss seine Umgebung bis in die unmittelbar sichtbaren Details ausgearbeitet werden.
Auch die Kontrolle des gedrehten Materials veränderte sich. Ein gewöhnlicher Monitor reichte nicht aus, um die räumliche Wirkung, den tatsächlichen Grösseneindruck und möglichen Sehkomfort zuverlässig zu beurteilen. Das Team setzte mehrere Vision-Pro-Geräte ein, damit die Beteiligten ihre Aufnahmen unter den vorgesehenen Wiedergabebedingungen prüfen konnten.
Apple dokumentierte diese Erfahrungen später in einer technischen Präsentation zur Produktion. Sie zeigen, dass sich die Grundstruktur eines Filmsets nicht vollständig verändert: Regie, Kamera, Licht, Ausstattung und Postproduktion bleiben bestehen. Der Aufwand verlagert sich jedoch, weil einzelne Entscheidungen früher getroffen und unter räumlichen Wiedergabebedingungen getestet werden müssen.
Submerged ist damit weniger ein Beleg dafür, dass immersive Filme grundsätzlich wirkungsvoller erzählen. Es ist ein konkretes Beispiel dafür, welche Veränderungen ein neues Bildformat innerhalb einer professionellen Produktion auslösen kann. Quellen: Apple Newsroom: Submerged Apple Developer: Production Expectations for Apple Immersive Video, Learnings from Submerged
Räumlicher Ton als Teil der visuellen Erzählung
Ein immersiver Film besteht nicht allein aus einem erweiterten Bildraum. Auch die Tonwiedergabe verändert die Beziehung zwischen Publikum und Szene.
In klassischen Filmproduktionen kann eine Geräuschquelle durch ihre Lautstärke, Klangfarbe und Position innerhalb einer Stereo- oder Surround-Mischung verortet werden. Bei immersiven Formaten kommt hinzu, dass diese räumliche Zuordnung auf die Bewegung des Kopfes reagieren kann.
Das Apple Spatial Audio Format unterstützt unter anderem objektbasierte Tonquellen, mehrkanalige Mischungen und Ambisonics. Bei geeigneter Wiedergabe werden die Signale binaural verarbeitet und an die aktuelle Kopfbewegung angepasst. Ein Geräusch kann dadurch in einer bestimmten Richtung der virtuellen Umgebung verankert erscheinen, auch wenn sich der Betrachter anders ausrichtet.
Für die Erzählweise entsteht daraus eine neue Möglichkeit.
Ein Geräusch kann eine Handlung ankündigen, bevor diese gesehen wird. Schritte hinter dem Publikum können eine bevorstehende Begegnung vorbereiten. Ein Werkzeuggeräusch aus einer seitlichen Position kann die Aufmerksamkeit auf einen Arbeitsvorgang lenken. Die Regie muss dafür nicht zwangsläufig einen neuen Bildausschnitt vorgeben.
In einer dokumentierten Schulung zur immersiven Tonproduktion erklärt Apple ausserdem, weshalb räumliche Aufnahmen klassische Mikrofontechniken nicht ersetzen. Dialoge werden weiterhin häufig mit einzelnen Mikrofonen aufgezeichnet, um Verständlichkeit und Kontrolle zu gewährleisten. Räumliche Atmo-Aufnahmen ergänzen dieses Material durch Informationen über die akustische Umgebung.
Das ist ein wichtiger Unterschied. Eine dreidimensionale Tonmischung ist nicht automatisch besser, wenn sämtliche Geräusche möglichst eindrucksvoll verteilt werden. Sie muss die sichtbaren Handlungen unterstützen und eine nachvollziehbare räumliche Beziehung herstellen.
Der Ton wird damit stärker zu einem Mittel der Orientierung. Er hilft dem Publikum, auch jene Bereiche einer Szene wahrzunehmen, die sich gerade ausserhalb seiner Blickrichtung befinden. Quelle: Apple Developer: Spatial Audio Workflows for Apple Immersive Video
Zwischen technischer Möglichkeit und erzählerischem Mehrwert
Mit Spatial Video und immersiven Filmformaten entsteht ein zusätzlicher gestalterischer Raum zwischen klassischem Film und interaktiven digitalen Umgebungen.
Dieser Raum ist interessant, weil bestimmte Informationen unmittelbar über Distanz, Grössenverhältnisse und die Position von Menschen oder Gegenständen vermittelt werden können.
Die entscheidende Frage bleibt jedoch, wann diese Möglichkeiten tatsächlich einen Vorteil bieten.
Nicht jeder Ort muss stereoskopisch aufgezeichnet werden. Nicht jede Geschichte wird durch ein grösseres Sichtfeld verständlicher. Und eine technisch eindrucksvolle Darstellung ist noch kein Nachweis dafür, dass sich Informationen besser einprägen oder Entscheidungen leichter treffen lassen.
Wann räumliches Video einen tatsächlichen Mehrwert bietet
Ein sinnvoller Anwendungsbereich entsteht dort, wo die räumlichen Eigenschaften einer Situation selbst Teil der Aussage sind.
Bei einer architektonischen Dokumentation können Abstände, Raumfolgen und Grössenverhältnisse relevant sein. Ein immersiver Blick aus einer festen Position kann helfen, die räumliche Organisation eines Gebäudes nachzuvollziehen. Eine klassische Filmsequenz könnte dieselben Informationen über mehrere bewusst gewählte Einstellungen vermitteln. Welche Form geeigneter ist, hängt davon ab, was das Publikum verstehen soll.
Ähnliche Überlegungen gelten für handwerkliche oder technische Tätigkeiten. Wenn die Position von Händen, Werkzeugen und Werkstücken wesentlich ist, könnte eine stereoskopische Darstellung zusätzliche Orientierung bieten. Für die Erklärung eines kleinen Details bleibt eine konventionelle Nahaufnahme möglicherweise die deutlichere Lösung.
Auch dokumentarische und kulturelle Inhalte können von räumlichen Formaten profitieren. Eine Aufführung, ein Atelier oder eine Ausstellung besitzen räumliche Beziehungen, die für das Verständnis des Geschehens relevant sein können. Die Möglichkeit, sich innerhalb eines grösseren Sichtfelds umzusehen, verändert die Art, wie ein solcher Ort wahrgenommen wird.
Dabei entsteht kein automatischer Qualitätsgewinn.
Ein Publikum kann innerhalb einer immersiven Szene wichtige Ereignisse übersehen, weil seine Aufmerksamkeit an einer anderen Stelle liegt. Eine räumliche Aufnahme kann die Grösse eines Raumes eindrucksvoll vermitteln, aber weniger präzise erklären, weshalb ein bestimmtes Detail relevant ist.
Der Nutzen hängt deshalb von der Informationsaufgabe ab.
Räumliches Video ist vor allem dann interessant, wenn die räumliche Beziehung selbst etwas vermittelt, das innerhalb einer klassischen Bildfolge nur indirekt erkennbar wäre.
Warum klassische 2D-Filme weiterhin Vorteile besitzen
Der zweidimensionale Film verfügt über eine besonders ausgereifte Sprache der Auswahl.
Eine Kamera kann einen Raum auf wenige wesentliche Elemente reduzieren. Der Schnitt verbindet unterschiedliche Perspektiven und Zeitpunkte. Durch die Veränderung des Bildausschnitts lässt sich Aufmerksamkeit sehr gezielt steuern.
Diese Kontrolle ist kein technischer Mangel, den immersive Formate beseitigen müssen. Sie gehört zu den Stärken des Mediums.
Ein Portraitfilm kann durch einen engen Ausschnitt die Aufmerksamkeit auf den Ausdruck einer Person konzentrieren. Eine Reportage kann zwischen Übersicht, Handlung und Detail wechseln, um komplexe Abläufe verständlich zu machen. Ein kurzer Unternehmensfilm kann in wenigen Sekunden Informationen vermitteln, für die eine immersive Szene möglicherweise mehr Betrachtungszeit benötigen würde.
Hinzu kommt die Zugänglichkeit.
Klassische Videos lassen sich auf Websites, Smartphones, Computern, Fernsehern und zahlreichen weiteren Geräten wiedergeben. Immersive Inhalte benötigen für ihre vollständige Wirkung eine entsprechend ausgestattete Wiedergabeumgebung.
Für eine breite öffentliche Kommunikation ist dieser Unterschied relevant. Eine hervorragende immersive Aufnahme erreicht ihren gestalterischen Zweck nur dann, wenn das Publikum sie in der vorgesehenen Form erleben kann.
Auch die Betrachtungssituation verändert sich. Ein Film auf einer Website kann spontan angesehen werden. Eine immersive Erfahrung verlangt normalerweise mehr Aufmerksamkeit, ein entsprechendes Gerät und eine bewusste Entscheidung, sich auf die Wiedergabe einzulassen.
Das bedeutet nicht, dass sich beide Formate ausschliessen. Es spricht vielmehr dafür, die Wahl des Mediums an der tatsächlichen Nutzung auszurichten.
Vom Smartphone zur professionellen immersiven Filmproduktion
Der technische Zugang zu räumlichen Aufnahmen ist heute wesentlich einfacher als in früheren Entwicklungsphasen stereoskopischer Filmproduktion.
Apple unterstützt Spatial Video bereits auf bestimmten iPhones sowie der Vision Pro. Auf dem iPhone werden solche Aufnahmen in der dokumentierten Standardkonfiguration mit 1920 × 1080 Pixeln und 30 Bildern pro Sekunde im MV-HEVC-Format gespeichert. Dieses Videoformat enthält die getrennten Bildinformationen für beide Augen.
Solche Aufnahmen eignen sich, um räumliche Motive und die grundsätzliche Wirkung stereoskopischer Bilder kennenzulernen. Sie sind jedoch nicht mit einer aufwendigen immersiven Filmproduktion gleichzusetzen.
Professionelle Systeme wie die Blackmagic URSA Cine Immersive erfassen erheblich grössere Datenmengen. Ihre zwei hochauflösenden Sensoren zeichnen stereoskopisches Material auf, das anschliessend innerhalb eines speziell unterstützten Produktionsworkflows verarbeitet wird.
Blackmagic stellt dafür Funktionen in DaVinci Resolve Studio bereit. Dazu gehören die Bearbeitung stereoskopischer Aufnahmen, Farbkorrektur, visuelle Effekte, räumlicher Ton und die Kontrolle der immersiven Darstellung.
Mit zunehmender technischer Qualität steigen auch die Anforderungen an das Datenmanagement. Zwei hochauflösende Bildansichten müssen verarbeitet und präzise aufeinander abgestimmt werden. Bei hohen Bildraten vergrössert sich das Datenvolumen zusätzlich.
Das eigentliche Produktionsproblem liegt jedoch nicht allein in der Speicherung.
Eine immersive Aufnahme muss auf der vorgesehenen Zielplattform beurteilt werden. Fehler in der räumlichen Darstellung, unpassende Distanzen oder unangenehme Bewegungen sind auf einem gewöhnlichen Monitor nicht immer ausreichend erkennbar.
Dadurch wird die Sichtung des Materials zu einem wichtigen Bestandteil des Workflows. Kamera, Schnitt, Farbkorrektur und Ton müssen stärker auf die endgültige Betrachtungssituation abgestimmt werden.
Auch die Aufnahmeplanung benötigt entsprechende Tests. Ein Motiv, das auf einem 2D-Monitor überzeugend wirkt, kann durch die stereoskopische Darstellung zu nah, zu gross oder räumlich unausgewogen erscheinen.
Die Technik ist damit zugänglicher geworden. Die Anforderungen an eine sorgfältige Produktion bleiben hoch. Quellen: Apple Support: Record Spatial Video on Apple Vision Pro or iPhone Blackmagic Design: URSA Cine Immersive
Warum die 2D-Fassung mitgedacht werden sollte
Für Inhalte, die ausserhalb einer spezialisierten immersiven Plattform veröffentlicht werden sollen, stellt sich eine zusätzliche Frage: Wie funktioniert dieselbe Geschichte auf einem gewöhnlichen Bildschirm?
Eine stereoskopische Aufnahme kann technisch als zweidimensionale Ansicht wiedergegeben werden. Dadurch verschwindet die räumliche Tiefeninformation, während der ursprüngliche Bildaufbau erhalten bleibt.
Das ist praktisch, garantiert aber noch keinen überzeugenden 2D-Film.
Eine immersive Szene kann davon leben, dass sich das Publikum selbst umsieht und unterschiedliche räumliche Beziehungen entdeckt. Auf einem flachen Bildschirm wird daraus möglicherweise ein statischer Ausschnitt, in dem die entscheidenden Ereignisse zu klein oder zu weit voneinander entfernt erscheinen.
Umgekehrt kann eine dynamische 2D-Montage mit wechselnden Bildgrössen und Nahaufnahmen nicht ohne Weiteres in eine immersive Fassung übertragen werden, wenn dadurch unangenehme Tiefensprünge entstehen.
Bei Produktionen für mehrere Ausspielungsformen muss deshalb früh entschieden werden, welche Version den gestalterischen Ausgangspunkt bildet.
Bei einem immersiven Dokumentarfilm kann die räumliche Erfahrung im Mittelpunkt stehen. Die 2D-Fassung sollte dann eigenständig so gestaltet werden, dass Handlung und Zusammenhänge auch ohne stereoskopische Tiefe verständlich bleiben.
Bei einem klassischen Unternehmensfilm kann dagegen der 2D-Film die Hauptfassung sein. Räumliche Sequenzen könnten ergänzend eingesetzt werden, sofern sie eine konkrete zusätzliche Information vermitteln.
Die beiden Formen müssen nicht zwangsläufig denselben Schnitt besitzen.
Diese Unterscheidung verhindert, dass eine aufwendige Produktion am Ende mehrere technisch verfügbare, aber gestalterisch unzureichende Fassungen hervorbringt.
Was Spatial Video über die Zukunft der Filmgestaltung verrät
Die Entwicklung räumlicher Videoformate steht in einer längeren Geschichte technischer Veränderungen des Films. Tonfilm, Farbe, neue Kamerasysteme, digitale Produktion und unterschiedliche Bildformate haben jeweils zusätzliche gestalterische Möglichkeiten eröffnet.
Keine dieser Entwicklungen hat sämtliche bisherigen Formen des Erzählens bedeutungslos gemacht.
Spatial Video erweitert vor allem die Beziehung zwischen Bild und Betrachter. Während klassische Filme räumliche Verhältnisse hauptsächlich durch visuelle Hinweise und ausgewählte Perspektiven vermitteln, können stereoskopische Aufnahmen zusätzliche Tiefeninformationen bereitstellen.
Immersive Formate verändern darüber hinaus die Blickführung. Das Publikum erhält innerhalb einer aufgezeichneten Szene mehr Freiheit, während die Regie weiterhin für die räumliche Organisation, die dramaturgische Abfolge und die Orientierung verantwortlich bleibt.
Welche Rolle diese Formate langfristig spielen werden, hängt nicht allein von ihren technischen Eigenschaften ab. Entscheidend sind die Verfügbarkeit geeigneter Geräte, wirtschaftlich tragfähige Produktionsmethoden und Inhalte, deren Wirkung tatsächlich von der räumlichen Darstellung profitiert.
Für Filmstudios und Creative Professionals ist diese Entwicklung unabhängig von einer unmittelbaren eigenen Produktion interessant. Sie macht sichtbar, wie sehr die Wirkung eines Films von der Position der Kamera, dem Abstand zum Motiv und der Lenkung von Aufmerksamkeit abhängt.
Das sind keine neuen Fragen. Räumliche Filmformate verlangen lediglich, sie unter anderen Bedingungen zu beantworten.
Die eigentliche gestalterische Herausforderung bleibt deshalb vertraut: Aus technischen Möglichkeiten eine Bildsprache zu entwickeln, die dem Inhalt gerecht wird.
Häufig gestellte Fragen zu Spatial Video
Was ist Spatial Video?
Spatial Video bezeichnet ein stereoskopisches Videoformat, bei dem zwei leicht unterschiedliche Ansichten einer Szene aufgezeichnet und mit zusätzlichen räumlichen Metadaten gespeichert werden. Auf kompatiblen Geräten können diese Ansichten getrennt für beide Augen dargestellt werden, wodurch ein räumlicher Tiefeneindruck entsteht. Spatial Video ist nicht automatisch ein 180- oder 360-Grad-Film. Das Format kann einen klar begrenzten Bildausschnitt besitzen.
Was ist der Unterschied zwischen Spatial Video, 180° und 360°?
Spatial Video beschreibt in erster Linie die stereoskopische Tiefendarstellung innerhalb eines definierten Bildbereichs. Ein 180-Grad-Video erfasst ein sehr grosses Sichtfeld vor der Kamera. Bei einem 360-Grad-Video kann sich das Publikum in sämtliche Richtungen umsehen. Beide Grossbildformate können stereoskopisch oder ohne zusätzliche Tiefeninformation produziert werden. Apple Immersive Video kombiniert stereoskopische Aufnahmen mit einem besonders grossen Sichtfeld, speziellen Projektionsdaten und räumlichem Ton.
Kann man Spatial Video mit einem iPhone aufnehmen?
Ja. Unterstützte iPhone-Modelle können Spatial Video mit zwei Kameraperspektiven aufzeichnen. Apple dokumentiert dafür unter anderem eine Auflösung von 1920 × 1080 Pixeln mit 30 Bildern pro Sekunde. Die Aufnahme wird in einem Format gespeichert, das zwei stereoskopische Ansichten enthält. Für eine räumliche Wiedergabe wird ein kompatibles Gerät benötigt. Auf gewöhnlichen Bildschirmen kann eine zweidimensionale Ansicht dargestellt werden.
Kann man sich innerhalb eines Spatial Videos frei bewegen?
Nicht in derselben Weise wie innerhalb einer vollständig dreidimensionalen, interaktiven Umgebung. Ein aufgezeichnetes Spatial Video besitzt festgelegte Kameraperspektiven. Bei immersiven 180- oder 360-Grad-Formaten kann das Publikum zwar seine Blickrichtung verändern, aber keine beliebigen neuen Ansichten hinter verdeckten Objekten erzeugen. Für eine echte Veränderung der Kameraposition benötigt ein System zusätzliche räumliche Informationen, etwa dreidimensionale Geometrie oder volumetrische Aufnahmen.
Warum können immersive Videos Schwindel oder Unbehagen auslösen?
Bei bestimmten stereoskopischen Darstellungen können die erforderliche Augenstellung und die optische Fokussierung voneinander abweichen. Dieser Effekt wird als Vergence-Accommodation Conflict bezeichnet. Schnelle Tiefenwechsel, abrupte Kamerabewegungen oder eine ungeeignete räumliche Darstellung können das visuelle Unbehagen zusätzlich beeinflussen. Die Wirkung unterscheidet sich individuell. Deshalb müssen immersive Filme auf geeigneten Wiedergabegeräten getestet und hinsichtlich Kamera, Schnitt und Tiefengestaltung sorgfältig geplant werden.
Ist Spatial Video die Zukunft der professionellen Filmproduktion?
Spatial Video erweitert die gestalterischen Möglichkeiten der Filmproduktion, wird klassische 2D-Filme jedoch voraussichtlich nicht in allen Bereichen ersetzen. Räumliche Formate sind vor allem dort interessant, wo Distanz, Massstab und die Position innerhalb einer Szene wesentlich für das Verständnis sind. Für viele Interviews, Reportagen, Werbefilme und digitale Veröffentlichungen bleibt 2D die zugänglichere und häufig präzisere Form. Welche Rolle Spatial Video langfristig spielen wird, hängt von der Entwicklung der Produktionswerkzeuge, der Wiedergabegeräte und geeigneter Inhalte ab.
Weiterführende Quellen
Apple Developer: Creating Spatial Photos and Videos with Spatial Metadata
Technische Grundlagen stereoskopischer Aufnahmen, Kamerabasis, Projektionsdaten und räumlicher Metadaten.
Apple Developer: Explore Video Experiences for visionOS
Technische Einordnung von Spatial Video, 180-Grad-, 360-Grad- und Wide-Field-of-View-Formaten sowie der Wiedergabe unter visionOS 26.
Explore Video Experiences for visionOS
Apple Newsroom: Submerged, 2024
Dokumentation des ersten fiktionalen Films in Apple Immersive Video unter der Regie von Edward Berger, einschliesslich Angaben zu Setbau und Produktionsbedingungen.
Apple Developer: Production Expectations for Apple Immersive Video
Produktionsanalyse zu Submerged mit konkreten Erkenntnissen über Kameratests, Setdesign, Licht, Vorvisualisierung und die Kontrolle des Materials auf Vision Pro.
Production Expectations: Learnings from Submerged
Apple Developer: Hands-on Experience with Editing for Apple Immersive Video
Praktische Beispiele zur Blickführung, Schnittgestaltung, räumlicher Tiefe und Orientierung während der immersiven Wiedergabe.
Hands-on Experience with Editing
Apple Developer: Spatial Audio Workflows for Apple Immersive Video
Fachliche Einordnung von räumlicher Tonaufnahme, Dialogaufzeichnung, binauraler Wiedergabe und Tonmischung für immersive Filmproduktionen.
Blackmagic Design: URSA Cine Immersive
Technische Spezifikationen des stereoskopischen Kamerasystems und Informationen zum Produktionsworkflow mit DaVinci Resolve Studio.
Blackmagic URSA Cine Immersive
Kim et al., 2014: The Rate of Change of Vergence-Accommodation Conflict Affects Visual Discomfort
Wissenschaftliche Untersuchung zum Einfluss unterschiedlicher stereoskopischer Tiefenreize auf visuelles Unbehagen.
Ein neuer Blick auf den Bildraum
Spatial Video verändert nicht die grundlegende Aufgabe des Films. Eine Geschichte benötigt weiterhin eine klare Perspektive, eine nachvollziehbare Gestaltung und eine bewusste Auswahl dessen, was gezeigt werden soll.
Neu ist die Möglichkeit, räumliche Beziehungen unmittelbarer erfahrbar zu machen. Der Abstand zwischen zwei Menschen, die Dimension eines Ortes oder die Bewegung innerhalb einer Umgebung können eine zusätzliche Bedeutung erhalten. Gleichzeitig wird die Verantwortung für Blickführung, Bildkomposition und Orientierung komplexer.
Aus der Perspektive klassischer Filmproduktion ist daran besonders interessant, wie vertraute Entscheidungen unter neuen Bedingungen wirken. Der Kamerastandort wird zur Position des Publikums. Ein Schnitt verändert die wahrgenommene räumliche Nähe. Und ein Geräusch kann die Aufmerksamkeit lenken, ohne dass sich die Kamera bewegen muss.
Bei LAD.studio beschäftigen wir uns mit diesen gestalterischen Fragen innerhalb klassischer fotografischer und filmischer Produktionen. Räumliche Videoformate sind für uns ein interessantes Entwicklungsfeld, dessen technische und erzählerische Möglichkeiten wir beobachten.
Denn unabhängig davon, ob ein Film auf einem Bildschirm oder in einem immersiven Bildraum betrachtet wird, bleibt eine Frage entscheidend: Welche Form macht den Inhalt am besten verständlich?
