Vision Pro Mixed Reality Headset von Apple (und HoloLens, Meta Quest ...): Zukunft oder Flop?

Quote from Zitruskeks

natürlich hat die Vision Pro DEUTLICH mehr Power als die HL1 - sie kommt auch fast eine Dekade später.

Dekade ist wohl etwas übertrieben. 6 bis 7 Jahre. Ich würde aber auch nicht die HoloLens 1 mit der Vision Pro vergleichen, sondern die aktuelle HoloLens 2 – die aber immer noch deutlich schwächer ist. Auch ein paar Jahre sind bei Mobile-Technik ganz schön viel. Wie gesagt: Handy-SoC gegen Laptop-SoC. Hier hat Apple mit seinen M-Prozessoren einfach Vorteile.

Quote from Zitruskeks

Militäranwendung da wird wohl kaum ein Raytracingbild gewollt sein. Taktische Infos, Strichgrafik.

Ja, ein paar Linien und Text sind natürlich schnell gezeichnet. Ich glaube nicht, dass Apple in diese Richtung will. Deswegen lass uns hier nicht weiter über militärische Anwendungen sprechen – die sind weit entfernt von dem, was Consumer (oder auch "normale" Firmen) wünschen. Wenn Apples Kunden an "Militär" denken, wollen die kleine, 3D-gerenderte Panzerdivisionen durchs Wohnzimmer fahren lassen oder in First-Person-Sicht Geiseln befreien oder virtuelle Hubschrauber steuern.

Ich habe mir mal ein paar HL 2 Videos angeguckt. Ein Problem dabei ist, dass der stark eingeschränkte FOV hier nicht wirklich gezeigt wird. Auch kann man natürlich nicht wirklich nachempfinden, wie gering die Auflösung so knapp vor dem Auge wirkt.

Mir sind da gleich ein paar störende Details aufgefallen: Zum einen wirkt alles sehr ruckelig, wobei das natürlich durch die Brille anders wirken kann. Das Hand-Tracking wirkt sehr ungenau (die virtuelle und die echte Hand sind nie deckungsgleich) und hat einen kräftigen Lag. Dann gibt es keinerlei Verdeckungen, die echte Hand kann eingeblendete 3D-Objekte nicht überdecken, Finger liegen also hinter Menüs und Buttons. Und dann diese immer transparent aussehenden Objekte, die den Hintergrund nie ganz überdecken können.

Und dieses Standard-Menü mit App-Launcher, das man auf einer Handfläche aufrufen kann, hat irgendwie gar nichts Holo-mäßiges, sondern sieht wie ein Fenster von Windows 3.1 aus. Überhaupt hat sich das Interface noch nicht so richtig vom Desktop-Windows lösen können.

Aber vor allem die User-Interaktion gefällt mir noch nicht. Es scheint so, dass man meistens Buttons/Icons auslöst, indem man die im 3D-Raum mit dem Finder treffen muss. Auf Dauer scheint mir das recht anstrengend. Apple hat das jetzt anders gelöst – man wählt mit den Augen aus und bestätigt mit einer Geste – egal wo die Hände liegen. Laut Testern soll das "magisch" gut funktionieren.

Hier ist noch ein recht aktuelles Interview (ca. 1/2 Jahr alt), in dem der HoloLens keine große Zukunft vorausgesagt wird (auch beim Militär ist man mit der Lösung wohl unglücklich):

Ich denke, in vielen Aspekten funktioniert Apples neuer Ansatz besser. Aber ob das etwas nützen wird, steht natürlich in den Sternen. Was beide Ansätze teilen, ist ja der hohe Preis. Da sind die Home-VR-Lösungen ganz klar im Vorteil. Nur kommen die ja auch nicht richtig voran, vor allem das Metaverse tritt auf der Stelle. Insgesamt kein einfacher Markt, den Apple betreten will.

Oculus Erfinder Palmer Luckey wird zu seiner Meinung bzgl. Apples Vision Pro befragt:

Und hier ist jemand, der die Meta Quest Pro als Multi-Bildschirm-Arbeitsplatz verwendet hat und seine Erfahrungen damit schildert:

Quote from Retrofan

Meta Quest Pro als Multi-Bildschirm-Arbeitsplatz

Er schildert ja einige Probleme: In (bewegten) Fahr- und Flugzeugen funktioniert es nicht richtig, weil die Bewegungssensoren irritiert sind. Deswegen hat Apples Motion Pro wahrscheinlich einen speziellen Travel-Mode bekommen. Und in der Öffentlichkeit stört natürlich, dass man sich mit der VR-Brille komplett abschottet (das versucht Apple mit den vorne eingeblendeten Augen etwas abzumildern) und dass die GUI-Bedienung mit den Händen im Raum für außenstehende weird aussieht. Auch hier hat Apple ja gegengesteuert, indem die GUI-Bedienung weitaus dezenter abläuft, weil man Objekte mit den Augen auswählt und mit einer kleinen Geste (einer liegenden Hand) bestätigen kann. Das (Minority Report-) Fuchteln im Raum wird dadurch massiv weniger.

Der Lag wird deutlich geringer sein (auch ein großer Kritikpunkt im Video), die Auflösung höher, Personen, die das Sichtfeld betreten, werden automatisch eingeblendet usw. Ich bin gespannt, wie sich die Verbesserungen auf die praktische Nutzung auswirken werden.

Quote from Zitruskeks

Das will man nicht wenn's nicht anders geht.

Alle, die die Vision Pro bisher getestet haben, haben die Steuerung gelobt. Das Eye Tracking soll wohl ungeschlagen gut sein. Das ging so weit, dass manche meinten, es würde wie Gedankenlesen bzw. "magisch" wirken. Auf jeden Fall wird das ermüdungsfreier sein, als wenn man ständig mit den Armen und Händen im Raum herumtasten muss, um irgendwas virtuelles zu treffen.

Quote from Zitruskeks

Der Typ meint ja auch eine gute echte AR Lösung (see through)wäre da besser

Von "see-through" hat er nach meiner Erinnerung nicht gesprochen. Er sagte, dass AR (wie er es von Apples Brille erwartet – die zu der Zeit noch nicht vorgestellt war) wahrscheinlich eher zu Zukunft ist als VR bzw. Meta. Ansonsten gehen da die Meinungen vielleicht auch auseinander. Der Oculus-Erfinder meint ja, Cam-based AR wäre das einzige mit Zukunft. Man kann natürlich das virtuelle und das reale Bild viel besser miteinander verschmelzen, wenn auch das Realbild durch einen digitalen Prozess läuft. Zumindest sind so der Lag, sollte man ihn bemerken, und das FOV von beidem identisch.

Ich kann mir gut vorstellen, dass nach Apples Vision Pro Auslieferung, see-through ohne Cam ganz schnell für tot erklärt wird. So ähnlich wie bei Hardware-Keyboard-Phones nach der iPhone-Präsentation: Anfangs noch der heilige Gral (besungen von Steve Ballmer und RIM/Blackberry) und danach ganz schnell im Mülleimer der Geschichte.

Quote from Zitruskeks

Hast du schon mal mit Eyetracking was gesteuert? Ich hab ein Projekt damit gemacht. Das will man nicht wenn's nicht anders geht.

Hier ist ein toll gemachtes Video eines VR-Auskenners, der das Vision Pro-UI rudimentär auf einer Quest Pro nachempfunden hat, um zu erleben, ob das wirklich einen Unterschied macht. Es zeigt auch insgesamt ein wenig die UI-Historie und grundsätzliche Bedien-Paradigmen. Er kommt zu zwei Erkenntnissen: Erstens – die "Magie" ist vor allem Software, daher könnte man ähnliches auch auf anderen Geräten bekommen, wenn man das UI ändert (sofern Eyetracking und Gestenerkennung gut funktionieren). Zweitens: Apples Bedienkonzept per Eyetracking plus Gesten könnte vielleicht "die Maus" für AR/VR werden.

Das ist auch ein Statement gegenüber denen, die meinen, die Vision Pro sei nichts besonderes. Wenn Apple hier mal wieder das Bedien-Paradigma für die Zukunft vorgeben sollte, dann wäre das Gerät (alle tolle Hardware mal außen vor) schon etwas besonderes. Apple hat ja nicht selten dafür gesorgt, dass bestimmte Eingabe-Systeme erfolgreich werden und in der Bevölkerung ankommen: Der Apple 2 war einer der ersten Homecomputer mit integrierter Schreibmaschinen-Tastatur (und der Apple I hatte wenigstens schon einen direkten Anschluss dafür), der Macintosh war der erste PC mit GUI und Maus, für den Erfolg des iPods (immerhin damals Marktführer) hat das intuitive Click Wheel mitgesorgt und das Multitouch-UI des iPhones hat auch neue Standards gesetzt (vorher: Stylus und/oder Hardware-Keyboard). Und diese Innovationen wurden meisten von der Konkurrenz schnell übernommen und noch weiter verbreitet. Vielleicht passiert das ja ein weiteres Mal mit dem Eyetracking-UI der Vision Pro.

Leitender AR-Direktor verlässt Google aufgrund „mangelnden Engagements“

Google ist also vorerst aus dem AR/VR-Rennen raus. Bei AR (und Preis) bleibt dann Microsoft und bei VR vor allem Meta als stärkste Konkurrenten. Sony mit seinem reinen Gaming-Ansatz dürfte zu weit weg von Apples angestrebter Zielgruppe sein.

Apple Vision Pro: Rasend schnell dank R1 und eigens entwickeltem Highspeed-DRAM

Auszug: Zu den herausragenden Eigenschaften der Vision Pro gehört die Fähigkeit, Nutzern die reale Umgebung nahezu verzögerungsfrei auf den Displays zu präsentieren. Apple bezifferte bei der Vorstellung des Mixed-Reality-Headsets die Latenz für Bild und Ton auf gerade einmal zwölf Millisekunden. [...] Um diese Performance erreichen zu können, stellt Apple dem unter anderem für visionOS, Apps und Grafikausgabe zuständigen M2 den R1 zur Seite. Dieser eigens für die Vision Pro entwickelte Chip ist ausschließlich mit der Signalverarbeitung der zwölf Kameras, sechs Mikrofone und fünf Sensoren beschäftigt.

Der R1 ist allerdings nicht die einzige Komponente, welche in dieser Hinsicht für die Leistungsfähigkeit der Vision Pro sorgt. Apple nutzt laut einem Bericht von The Korea Herald darüber hinaus neuartige Speicherchips, die eigens für das Mixed-Reality-Headset aus Cupertino entwickelt wurden. Dabei handelt es sich um 1-Gigabit-DRAMs mit äußerst geringer Latenz des Herstellers SK Hynix. Diese wurden speziell auf Apples Anforderungen abgestimmt und verfügen im Vergleich zu herkömmlichen RAM-Bausteinen über die achtfache Menge an Eingabe- und Ausgabe-Anschlüssen (Pins). Dank dieser als „Low Latency Wide IO“ bekannten Technik ist es Apple der Zeitung zufolge möglich, die Verarbeitungsgeschwindigkeit zu verdoppeln.

Darüber hinaus kommt bei den DRAM-Chips für die Vision Pro ein spezielles Fertigungsverfahren zum Einsatz, das sogenannte Fan-Out Wafer Level Packaging. Dadurch lässt sich der schnelle Arbeitsspeicher als eine einzige Einheit an den R1 anbinden beziehungsweise in diesen integrieren, was maßgeblich zur großen Performance der Vision Pro bei der Präsentation der realen Umgebung beiträgt. The Korea Herald zufolge ist es SK Hynix durch die Entwicklung gelungen, sich als exklusiver Zulieferer von DRAM für das Mixed-Reality-Headset aus Cupertino zu etablieren.

Apple Vision Pro und Motion-Sickness - Gefahr gebannt?

Gerüchte um Entwicklungsstopp der Meta Quest Pro 2

Auszug: Die Zukunft der Meta Quest Pro scheint alles andere als gesichert zu sein. Der kommerzielle Durchbruch blieb aus und einem Bericht von The Information zufolge habe der Konzern seinen Zulieferern mitgeteilt, keine weiteren Komponenten für das aktuelle Modell zu benötigen.

Allerdings seien auch potenzielle Nachfolger von dieser Entscheidung betroffen: Der Bericht behauptet, Meta wolle die Pro-Reihe einstellen und sich stattdessen auf die preiswertere Baureihe konzentrieren. Damit sei das Schicksal der Quest Pro 2 besiegelt.

In einer inzwischen abgelaufenen Antwort auf Instagram Stories geht Andrew Bosworth, CTO von Meta, auf die oben genannten Gerüchte ein. Aussagen zum Ende der Quest Pro 2 würden möglicherweise einem Mitarbeiter entstammen, dessen Projekt eingestellt wurde. [...] Es seien schlicht mehrere Prototypen parallel in Entwicklung, einige würden ein Ende finden, andere wiederum verdienten mehr Aufmerksamkeit. Vielleicht bringe Meta die Quest Pro 2 heraus, vielleicht auch nicht.

Sollte das Gerücht aber zutreffen – was würde das für die Vision Pro bedeuten? Eher Schlechtes (der Markt rechnet sich nicht) oder eher Gutes (ein Konkurrent weniger)?

Was alles noch nicht fertig ist bei der Vision Pro (Timestamp):

Dank der Vision Pro gibt es jetzt auch frischen Wind bei 3D-Standards:

Neuer offener 3D-Standard: Apple, Pixar, Adobe, Nvidia und Autodesk schmieden Allianz

Auszug: Bei USD, ursprünglich von Pixar entwickelt und bereits seit 2016 quelloffen, handelt es sich um eine leistungsfähige Beschreibungstechnologie für 3D-Inhalte. Diese kommt in einer Vielzahl von 3D-Bearbeitungs- und Rendering-Anwendungen zum Einsatz und definiert Codierung sowie Organisation von dreidimensionalen Daten. USD kommt unter anderem bei der Produktion von Kinofilmen zum Einsatz, lässt sich aber auch darüber hinaus äußerst vielseitig nutzen. Die jetzt von Apple und den anderen Unternehmen gegründete Alliance for OpenUSD (AOUSD) will die Fähigkeiten des Standards künftig erweitern, damit dieser den Anforderungen neuer 3D-Anwendungen gerecht wird. Zudem möchten die Beteiligten, zu denen auch die Joint Development Foundation der Linux Foundation zählt, die Kompatibilität verbessern und andere Standardisierungsorganisationen ins Boot holen.

Angestrebt ist Apples Mitteilung zufolge auch die Anerkennung von OpenUSD durch die International Organization for Standardization (ISO). Die AOUSD hofft auf eine große Akzeptanz des offenen Standards und will Entwickler von Anwendungen und Inhalten in die Lage versetzen, große 3D-Projekte in Angriff zu nehmen. Die Allianz betrachtet USD auch als Schlüssel für die zukünftige Ausweitung des Angebots an 3D-fähigen Geräten und Diensten. Sollten sich die Erwartungen erfüllen, dürfte Apple davon profitieren, weil es in diesem Fall im Lauf der Zeit vermutlich zahlreiche Apps für die Vision Pro geben wird. Entsprechend optimistisch äußert sich denn auch Mike Rockwell, in Cupertino als Vizepräsident zuständig für das Mixed-Reality-Headset. „USD ist die grundlegende Technologie für die visionOS-Plattform“, so der Manager.

Das ist doch gerade für viele von uns ganz interessant:

Windows auf der Apple Vision Pro: UTM-Entwickler zeigen, was mit dem Headset möglich ist

Und es ist sogar Windows XP – so schön retro.

Folgendes ColdFusion-Video (Why Apple’s Vision Pro is the Next iPhone (Analysis)) finde ich ganz gut und unaufgeregt gemacht. Es wird eine Analogie zum iPhone aufgebaut, ohne zu behaupten, die Vision pro würde/könne das iPhone ersetzen. Es geht mehr um den Impact dieser Geräte-Kategorie – auf die IT und IT-User.