Eine zukünftige Version von DLSS wird wahrscheinlich vollständiges neuronales Rendering beinhalten, deutete Bryan Catanzaro, ein Nvidia VP of Applied Deep Learning Research, an. In einer von Digital Foundry organisierten Diskussionsrunde (Video) sprachen verschiedene Experten der Videospielindustrie über die Zukunft der KI in der Branche. Während der Diskussion sorgte Catanzaro von Nvidia mit seiner Offenheit, einige Schlüsselfunktionen eines hypothetischen „DLSS 10“ vorherzusagen, für Aufsehen.
Im Laufe der Jahre hat sich die DLSS-Technologie von Nvidia erheblich weiterentwickelt. Erstmals mit der RTX 20-Serie eingeführt, fragten sich viele nach dem wahren Wert von Technologien wie den Tensor-Kernen, die in Gaming-GPUs enthalten sind. Die ersten Raytracing-Spiele und die erste Version von DLSS waren von zweifelhaftem Wert. DLSS 2.X verbesserte jedoch die Technologie und machte sie nützlicher, was dazu führte, dass sie in größerem Umfang genutzt – und kopiert wurde, zunächst mit FSR2 und später mit XeSS.
DLSS 3 kam mit den Grafikkarten der RTX 40-Serie auf den Markt und fügte die Frame Generation-Technologie hinzu. Mit 4x Upscaling und Frame Generation ermöglicht das neuronale Rendering, dass ein Spiel möglicherweise nur 1/8 (12,5 %) der Pixel vollständig rendern muss. Zuletzt bot DLSS 3.5 mit der Einführung der Ray Reconstruction-Technologie verbesserte Denoising-Algorithmen für Ray-Tracing-Spiele.
Die obige Zeitleiste wirft Fragen darüber auf, wohin Nvidia mit zukünftigen Versionen von DLSS gehen könnte. Und natürlich trifft „Deep Learning Super Sampling“ nicht mehr wirklich zu, da die letzten beiden Ergänzungen auf andere Aspekte des Rendering abzielten. Digital Foundry stellte diese Frage an die Gruppe: „Wo sehen Sie DLSS in der Zukunft? Welche anderen Problembereiche könnte das maschinelle Lernen auf gute Weise angehen?“
Bryan Catanzaro brachte sofort das Thema des vollständigen neuronalen Renderings zur Sprache. Diese Idee ist nicht ganz so abwegig, wie es vielleicht scheint. Catanzaro erinnerte das Gremium daran, dass Nvidia-Forscher auf der NeurIPS-Konferenz 2018 eine Open-World-Demo zeigten, bei der eine Welt in Echtzeit mithilfe eines neuronalen Netzwerks gerendert wurde. Während dieser Demo lieferte die UE4-Spiele-Engine Daten darüber, welche Objekte sich in einer Szene befanden, wo sie sich befanden und so weiter, und das neuronale Rendering lieferte alle Grafiken auf dem Bildschirm.
Die Grafik im Jahr 2018 war eher einfach – „nichts, was an Cyberpunk herankommt“, gab Catanzaro zu. Die Fortschritte bei der KI-Grafikgenerierung waren in der Zwischenzeit jedoch unglaublich. Schauen Sie sich zum Beispiel die Qualitätssprünge an, die wir im letzten Jahr bei KI-Bildgeneratoren gesehen haben.
Catanzaro deutete an, dass die 2018er-Demo einen Einblick in einen wichtigen Wachstumsbereich der (generativen) KI im Gaming-Bereich bot. „DLSS 10 (in ferner Zukunft) wird ein komplett neuronales Rendering-System sein“, spekulierte er. Das Ergebnis werden „immersivere und schönere“ Spiele sein, als die meisten sich heute vorstellen können.
Catanzaro ist der Meinung, dass zwischen jetzt und DLSS 10 ein allmählicher, von den Entwicklern kontrollierbarer und kohärenter Prozess stattfinden wird. Die Entwickler haben inzwischen Erfahrung mit Tools, die es ihnen ermöglichen, ihre Visionen mit traditionellen Game-Engines und 2D-/3D-Rendering-Technologien zu steuern. Sie brauchen ähnliche, fein kontrollierte Tools für generative KI, so der Nvidia VP.
Eine weitere interessante Perspektive auf die Zukunft der KI im Gaming lieferte Jakub Knapik, VP Art und Global Art Director bei CD Projekt RED. Knapik sagte ganz offen, dass Catanzaros leicht glaubhafte Vision von generativer KI-Grafik „mich wie verrückt erschreckt“. Er zeigte sich jedoch begeistert davon, dass KI die interaktiven und immersiven Welten verbessert, die den Spielspaß ausmachen, und nicht nur die Grafik.
Derzeit könnten 90 % eines Spiels präskriptiv sein, bemerkte der leitende CDPR-Entwickler. Im Gegensatz dazu verwies er auf Nvidias Cyberpunky“-Demo eines KI-gesteuerten interaktiven NPCs, der ein Fenster zu tiefergehenden KI-gestützten Spielen bietet. Knapik führte weiter aus, dass für CDPR die Geschichte im Vordergrund steht und dass er hier den besten Einsatz von KI in der Zukunft sieht.
Sowohl Catanzaro als auch Knapik schienen sich einig zu sein, dass Entwickler umfassende Kontrolle über die KI benötigen, um ihre kreativen Visionen zu verwirklichen. Die Leute werden nicht einfach ein AAA-Spiel aus einer Chat-Eingabeaufforderung zaubern können, scherzte der Nvidia VP. Wir können es jetzt schon sehen: „/Vorstellen: Ein dystopisches zukünftiges First-Person-Spiel mit RPG-Elementen in einer gewalttätigen, von Konzernen beherrschten Welt.“
