StereoLift Live bringt KI-gestützte 2D-zu-3D-Echtzeitkonvertierung für Meta Quest direkt auf den PC-Desktop

Die wichtigsten Punkte

• Echtzeit-Konvertierung vor Ort: StereoLift Live wandelt Desktop-Inhalte von Windows- und Linux-PCs direkt bei der Wiedergabe in stereoskopisches 3D um, ohne dass zuvor Videodateien gerendert oder in der Cloud zwischengespeichert werden müssen.
• Lokales Netzwerk-Streaming in voller Auflösung: Anstelle von komprimiertem Half-SBS setzt die Lösung auf Full-SBS-Streaming (1920 × 1080 Pixel pro Auge), das verschlüsselt über das lokale WLAN oder LAN direkt an die Meta Quest übertragen wird.
• Hybride Bedienung: Anwender können ihren Rechner über Hand-Tracking oder Quest-Controller in einem latenzarmen 2D-Modus steuern und anschließend für Videos oder Spiele auf die räumliche 3D-Ansicht wechseln.
• Hohe Hardwareanforderungen: Für die rechenintensive Tiefenschätzung und das Rendering auf dem Host-Rechner wird eine moderne Nvidia-Grafikkarte (GeForce RTX 2080 oder höher) vorausgesetzt.
• Kostenloser Early Access: Die Software wurde über Product Hunt eingeführt und ist aktuell ohne Lizenzgebühren und ohne tägliche Zeitlimits für Windows und Ubuntu verfügbar.

Analyse

Technischer Ansatz: Lokale Inferenz statt Cloud-Warteschlange

Bisherige Verfahren zur automatischen 2D-zu-3D-Videokonvertierung basierten vor allem auf Offline-Prozessen. Anwender luden Videodateien auf Cloud-Server hoch, auf denen neuronale Netze jedes Einzelbild analysierten, Tiefenkarten schätzten und ein stereoskopisches Bildpaar generierten. Dieser Ablauf lieferte zwar hochwertige Ergebnisse, verhinderte jedoch die spontane Nutzung für Live-Streams, interaktive Anwendungen oder Desktop-Spiele.

StereoLift Live schlägt eine technologische Brücke, indem die Inferenz direkt auf die lokale Rechenleistung des Nutzers verlagert wird. Durch die Nutzung dedizierter Tensor- und Shader-Kerne moderner Nvidia-RTX-Grafikkarten wird die Tiefenextraktion so stark beschleunigt, dass sie parallel zur Bildschirmausgabe erfolgt. Die Desktop-App fängt das Monitorsignal ab, berechnet für jedes Auge eine eigene Perspektive und kodiert das Signal für das lokale Netzwerk. Die Meta Quest fungiert hierbei primär als latenzarmer Client für Dekodierung und Anzeige, was die Akkulaufzeit der autarken VR-Brille schont und gleichzeitig die maximale Bildqualität sicherstellt.

Benutzererfahrung: Ergonomie und immersive Zusatzfunktionen

Ein zentraler Schwachpunkt früherer VR-Streaming-Lösungen lag in der starren Trennung zwischen Produktivitätswerkzeugen und Medienwiedergabe. StereoLift Live begegnet diesem Problem mit einem zweistufigen Nutzungskonzept. Im interaktiven 2D-Modus verhält sich die Anwendung wie ein klassischer virtueller Desktop: Nutzer navigieren mit Maus, Tastatur, Quest-Controllern oder freien Handgesten durch das Betriebssystem, wählen Mediendateien aus oder surfen im Browser.

Sobald die Wiedergabe beginnt, wechselt die Software in den stereoskopischen Modus. Die virtuelle Leinwand lässt sich im Raum völlig frei platzieren, neigen und skalieren. Dadurch eignet sich das System sowohl für sitzende als auch für zurückgelehnte oder liegende Positionen, ohne dass feste Anzeigeprofile erzwungen werden. Ergänzt wird die Darstellung durch Funktionen wie „Ambient Glow“, welches die Randfarben des virtuellen Displays sanft in den umgebenden virtuellen Raum projiziert, um den Kontrast zu mildern und das Eintauchen in die Inhalte zu verstärken.

Auflösungsvorteil durch Full-Side-by-Side

Im Bereich des stereoskopischen Streamings greifen viele Plattformen auf das sogenannte Half-SBS-Format (Side-by-Side) zurück, bei dem beide Augenansichten horizontal gestaucht in einen einzigen Frame gepresst werden. Bei Full-HD-Material halbiert dies die effektive horizontale Auflösung pro Auge auf 960 × 1080 Pixel, was zu spürbaren Unschärfen führt. StereoLift Live überträgt stattdessen unkomprimierte Full-SBS-Streams mit 1920 × 1080 Pixeln je Auge. Dieser Schritt erfordert zwar eine stabile lokale Netzwerkverbindung, schöpft jedoch die Displaykapazitäten moderner Headsets wie Meta Quest 3, Quest 3S und Quest Pro deutlich besser aus.

Bedeutung für die KI-Branche

Der Start von StereoLift Live markiert einen wichtigen Entwicklungsschritt bei der praktischen Nutzung von generativen KI- und Computervision-Modellen auf Endanwender-Hardware. Lange Zeit galten echtzeitfähige Monokular-Tiefenschätzungen (Monocular Depth Estimation) aufgrund ihres enormen Rechenbedarfs als Domäne von Rechenzentren. Dass Entwickler solche Algorithmen nun für Consumer-GPUs optimieren und mit Latenzen bereitstellen, die für VR-Anwendungen akzeptabel sind, unterstreicht die rasante Entwicklung lokaler Inferenz-Engines.

Darüber hinaus adressiert StereoLift Live eines der größten Probleme des Spatial-Computing-Marktes: den Mangel an nativen 3D-Inhalten. Weder Filmstudios noch Spieleentwickler können den wachsenden Bedarf an immersiven Medien allein decken. KI-Systeme, die vorhandene 2D-Bibliotheken „on the fly“ und ohne Medienbruch räumlich aufbereiten, schließen diese Lücke. Gelingt es solchen Lösungen, Rechenaufwand und Artefakte weiter zu reduzieren, könnten ähnliche Algorithmen künftig direkt in Grafikkartentreiber oder VR-Betriebssysteme integriert werden, womit räumliches Sehen zum Standard für digitale Bildschirminhalte avancieren würde.

Häufig gestellte Fragen

Welche Systemvoraussetzungen müssen für StereoLift Live erfüllt sein?

Für den Betrieb auf dem PC wird ein Rechner mit Microsoft Windows oder Ubuntu Linux (Versionen 22.04 oder 24.04) benötigt. Da die 3D-Verarbeitung lokal berechnet wird, ist zwingend eine dedizierte Nvidia-Grafikkarte erforderlich; der Entwickler empfiehlt mindestens ein Modell der Klasse GeForce RTX 2080. Headset-seitig werden autarke Brillen der Meta-Quest-Familie (Quest 2, Quest Pro, Quest 3 und Quest 3S) über die offizielle Quest-App unterstützt. Beide Geräte müssen sich im selben lokalen Netzwerk befinden.

Wie unterscheidet sich StereoLift Live vom regulären StereoLift-Dienst?

Das ursprüngliche StereoLift-Angebot ist ein webbasierter Cloud-Konverter, bei dem fertige 2D-Videodateien hochgeladen, serverseitig in 3D gerendert und anschließend als vollständige Videodatei heruntergeladen werden. StereoLift Live hingegen ist eine lokale Echtzeitanwendung. Sie verarbeitet Bildschirminhalte direkt bei der Wiedergabe auf dem eigenen Rechner und streamt das Signal sofort an das Headset, sodass kein Vorab-Rendering und kein zusätzlicher Speicherplatz für 3D-Videodateien erforderlich sind.

Können auch herkömmliche PC-Spiele in 3D dargestellt werden?

Grundsätzlich wandelt StereoLift Live jeden Bildschirminhalt um, der auf dem Desktop angezeigt wird. Da die Tiefenberechnung jedoch rein visuell über die erfassten 2D-Bilder erfolgt und nicht über native Spieltiefenpuffer (wie etwa bei dedizierten 3D-Treibern), hängt die Qualität stark von der visuellen Klarheit des Spielgeschehens ab. Aufgrund der nötigen GPU-Ressourcen für die gleichzeitige Spielausführung und die 3D-Inferenz eignet sich das System primär für Medieninhalte, Streams und weniger hardwarehungrige Titel.