Als erfahrene Kenner der VR/AR- und Mixed Reality-Szene hatten Sebastian Zwez und ich, Kevin Proesel, zwar Vieles, aber eben doch noch nicht Eines gesehen: das Volumetric Capturing Studio von Microsoft. Ein Studio, in dem es möglich ist, Schauspieler in 3D aufzunehmen und so 3D-Modelle von ihnen zu generieren, die später in jeglichen VR/AR/MR-Anwendungen eingesetzt werden können.
Da wir seit einigen Jahren an der Spitze der Entwicklungen in den Bereichen Experiential Content und Virtual Reality für die Serviceplan Gruppe arbeiten, ist ein solches Addendum an Möglichkeiten für uns unglaublich interessant und wir mussten es unbedingt in Augenschein nehmen. Entsprechend haben wir uns über die Einladung zur Microsoft Mixed Reality Academy in Redmond gefreut und konnten es kaum erwarten, die dort angesiedelten Microsoft Studios zu besuchen. – Ein wahres Disneyland für Mixed Reality Jünger wie uns.
Noch kurz zu uns: Während ich für die Saint Elmo‘s Gruppe digitale Szenographie für Marken und Produkte schaffe und mein Team an holographischen Entwicklungen im Bereich Mixed Reality in Retail-Kommunikation-Kampagnen arbeitet, verantwortet Sebastian im Plan.Net Innovation Studio, in dem die Innovationskraft der Agenturgruppen beeindruckend vorgestellt wird, den Bereich AR/VR/360. Ausgestattet sind sie dort mit den aktuellsten Devices von der HTC VIVE über die Meta 2 bis hin zur Microsoft HoloLens. Das Innovation Studio kann gerne jederzeit im Haus der Kommunikation in München besucht werden.
The Germans
Was auffällt, sobald man den Microsoft Campus betritt – es ist weit mehr als ein Campus: Das weitläufige Areal nordöstlich von Seattle erstreckt sich über diverse Lokalitäten und ist so groß, dass es naiv von uns Germans war zu glauben, dass man sich fußläufig über den Campus bewegen kann. Das war Lektion eins: in Amerika ist alles einfach eine Nummer größer. Und Microsoft unterhält aus diesem Grund extra ein eigenes Shuttle-Netzwerk, damit die Mitarbeiter hier von A nach B kommen.
Lektion zwei: Die Germans sind zwar pünktlich, aber zunächst am falschen Ort. Es wird schnell klar, dass das Microsoft von heute mehr ist als Windows und Office. Das Unternehmen hat sich in den letzten Jahren neu erfunden und seine geballte Kraft in innovative Teilaspekte eines gesamthaften, plattformübergreifenden Serviceangebotes gesteckt. Das wird deutlich, als wir an diesem Morgen auf dem Riesencampus vor der falschen Tür stehen, hinter der es um „Extreme Computing“ geht. Auch ein Teilaspekt, den man zunächst nicht mit Microsoft in Verbindung bringt und der einem deutlich macht, „hier wird an Großem gearbeitet“.
The Holy Grail for Volumetric Content
Nachdem wir an der falschen Tür geklopft hatten, öffnen sich endlich die Pforten der lang ersehnten „Stage C“ für uns: ein Greenscreen-Studio in beachtlichen Dimensionen, groß genug für alle Besucher der Mixed Reality Academy Gruppe. Zehn Personen stehen im Mittelpunkt einer kreisförmig angeordneten Kameralandschaft und schauen sich neugierig um. Das ist es also, das Mekka der Mixed Reality, der Holy Grail des Volumetric Capturings.
Jason Waskey und Spencer Reynolds vom Team der Mixed Reality Capture Stage erzählen uns, wie das Ganze funktioniert. Die kreisförmig angeordneten Kameras nehmen uns gleichzeitig von allen Seiten auf. Dabei nimmt ein Teil der Kameras ein flaches RGB-Bild auf, während der andere Teil in der Lage ist, ein Tiefenportrait von uns zu erfassen. Zusammen ergibt sich eine Melange aus Daten, die es erlaubt, die Tiefeninformationen und das RGB-Texturing zu 3D-Objekten der abgefilmten Personen in ihrer natürlichen Bewegung zusammenzubringen. Heraus kommt ein Stream, der Personen in Bewegung zeigt, aber ein Betrachten aus allen Perspektiven erlaubt (das sogenannte Free Viewport Streaming). Die Personen werden volumetrisch erfasst – daher die Begriffsdefinition des Volumetric Capturings.
Das Spannende ist – und hier haben wir technisch Versierten genau aufgepasst – der Prozess läuft mehr oder weniger automatisiert ab. In mehreren Schritten arbeitet sich die Capturing-Software durch die Erfassungs- und Umwandlungsschritte. Dabei sind die Ergebnisse von absolut hoher Qualität und, wir müssen neidlos zugeben, das Beste, was wir in vergleichbaren Produktionsverfahren bisher sehen konnten.*
Unrivaled: hochwertiger und skalierbarer Content für jedes Device
Eines muss gesagt werden: Die Technologie per se ist nicht neu und Microsoft arbeitet hier seit sieben Jahren daran, das Verfahren kleiner, schneller und durch eine Anbindung an die (eigene) Cloud flexibler zu machen. Es gibt diverse Anbieter und clevere Köpfe, die in dem Bereich forschen und teilweise auch beachtenswerte Verfahren entwickelt haben, die alle teilweise ähnlich, aber in Detail komplett unterschiedliche Ansätze verfolgen. Wir haben uns hinlänglich mit bisherigen Technologien beschäftigt und können sagen, dass das Microsoft-Setup gerade im modularen Aufbau und vor allen Dingen in der Genauigkeit der Detailerfassung sehr weit vorne liegt.
Der Ansatz besticht in der Überlegung, eine offene Datenbasis zu schaffen, die Volumetric Content für jedwede Anwendung schafft. Da es sich um 3D-Objekte handelt, können sie problemlos in andere Projekte integriert und mit anderen „klassischen“ 3D-Daten kombiniert werden. Das versetzt uns in die Lage, ganze volumetrische Filmsequenzen zu produzieren und Teil unserer Holographic Experiences werden zu lassen. Und das ganz unabhängig vom Zieldevice oder der Zielumgebung – ob AR, VR oder doch MR.
Die Content-Ebene wird dadurch nachhaltig dichter und relevanter, da man nicht mehr stilisierten und doch nicht echten Avataren begegnet, sondern echten plastischen Hologrammen. Ein Punkt, der uns schnell deutlich wird, als wir das Material sichten, das wir selber auf der Capturing Stage C shooten durften – wir sind ganz plastisch und jeder kann uns von allen Seiten anschauen, und: Wir sind auch von hinten schön.
Resumee
Microsoft hat sich in einen (wieder) relevanten Player gewandelt. Mehr noch: Bis jetzt ist der IT-Hersteller der einzige Player mit brauchbaren Lösungen im Bereich Mixed Reality: Dazu gehören Windows Mixed Reality Plattform und mehrere Devices mit dem Flaggschiff HoloLens. Es bleibt aber spannend zu sehen, wie sich die Branche mit ähnlichen Ansätzen weiterer großer Player entwickeln wird. Apple und Google werden hier in den nächsten Jahren sicherlich nicht mit kleinen Dingen aufwarten, sondern voller Ernst in den Wettbewerb gehen, der, wenn man Tim Cook Glauben schenken mag, nichts Anderes machen wird, als die Branche ähnlich zu revolutionieren, wie es einst die Einführung des iPhones tat.
Wir sind jedenfalls sehr darauf gespannt und freuen uns, denn der Bedarf an 3D-Content wird damit auf jeden Fall enorm steigen. Und damit auch unsere Möglichkeiten, immersive Geschichten zu erzählen, welche das Tor in eine Zukunft öffnen, in der es völlig neue Dimensionen des Storytellings auszuloten gilt. Die reale Realität wird sich durch solche Ansätze und Technologien noch einmal dramatisch erweitern.
Wir bedanken uns bei Microsoft für die Einladung nach Redmond und die tollen Erfahrungen im Volumetric Capturing Studio. Besonderer Dank gilt dem Team von Steve Sullivan [https://www.linkedin.com/in/steve-sullivan-90b557/] und Michael Gallelli sowie Thomas Heigl und Sandro Stark vom Industry Lead Team aus Deutschland, die seitens Microsoft mit viel Organisationstalent dafür gesorgt haben, dass wir einen so beeindruckenden Blick in die Zukunft der Materie werfen konnten!
*Die genauen technischen Daten und Hintergründe haben wir uns natürlich genau angeschaut, und Jason und Spencer haben wir auch bis aufs Äußerste mit Fragen gegrillt, aber aufgrund der Vertraulichkeit der Dinge können wir hier nicht weiter auf Details eingehen.
