(0:00) Guten Tag. Danke, Jensen, für die Einleitung.
(0:08) Die Geschichte der Grafik in Filmen ist immer wieder faszinierend anzusehen. Ich werde nie müde, sie zu sehen. Und wisst ihr was? Vieles davon hat tatsächlich direkt hier auf einer SIGGRAPH-Paper begonnen.
(0:21) Heute habe ich nur eine Sache für euch, und ich denke, es könnte das nächste Kapitel dieses Films sein: DLSS 5.
(0:31) Wir haben davon auf der GTC Spring in diesem Jahr nur einen kurzen Einblick gezeigt. Und hier auf der SIGGRAPH können wir tiefer einsteigen: Was es ist, warum wir es so gebaut haben, und warum wir so begeistert davon sind.
(0:44) Die „5“ geht zurück auf Turing, die erste GPU, bei der wir RT-Core und Tensor-Core Seite an Seite direkt auf demselben Chip platziert haben. Und schon damals waren wir der Überzeugung, dass Grafik und KI gemeinsam voranschreiten müssen, um eines Tages Echtzeit-Fotorealismus zu erreichen.
(1:05) Und lasst mich euch zeigen, was das bedeutet.
(1:09) Hinter diesem Film steckt ein Muster. Alle paar Jahre kommt eine revolutionäre Technologie, und die Bildrealität sowie die Qualität des Echtzeit-Renderings überspringen die vorherige Generation. Es eröffnet ein neues Zeitalter, eine neue Plattform, und zeichnet eine neue Kurve in dieses Diagramm ein.
(1:28) Programmierbare Shader waren definitiv eines der besten Beispiele. Plötzlich konnten alle Game-Artists Programme schreiben, um jeden Pixel zu schattieren. Und ich erinnere mich noch lebhaft daran, wie groß der Sprung in der Spielqualität war.
(1:43) Spulen wir vor bis heute: Wir sind bei Path Tracing mit DLSS 4 – vollständig simuliertes Licht in Echtzeit-Frameraten.
(1:53) Aber schaut nach oben. Wir sind noch nicht da. Wir sind noch nicht bei „von der Realität nicht zu unterscheiden“ im Echtzeit-Rendering. Woher kommt also die nächste Kurve?
(2:05) Beginnen wir mit dem, was wir wissen. Traditionelle Grafik baut Bilder aus ersten Prinzipien auf. Wir erstellen die Szene. Wir simulieren das Licht, das darin mit Physik herumhüpft. Und dann rahmen wir es mit einer Kamera ein, die wir auf die Genauigkeit eines Millimeters steuern. Das ist Rendering. Jeder Pixel ist da, weil jemand will, dass er da ist.
(2:28) Und während wir das tun, ist etwas anderes passiert. Generative Modelle haben Fotorealismus gelernt. Wenn wir diesen Modellen genug aus der echten Welt füttern, lernen sie irgendwann, wie Haut Licht streut, wie Haare leuchten, wenn sie von hinten beleuchtet werden, oder wie Glas die Welt um sich herum verbiegt. Aber diese generativen Modelle sind langsam und riesig, und sie sind nicht so leicht steuerbar wie Rendering.
(2:55) Wäre es also nicht großartig, wenn es einen Weg gäbe, das Beste aus beiden Welten zu bekommen?
(3:01) Mit dieser Frage im Hinterkopf machten wir uns auf die Suche nach dem nächsten Sprung in der Bildqualität für Echtzeit-Rendering. Und das ist das, was wir daraus gemacht haben: Der Renderer baut die Welt weiterhin genau so auf, wie das Spiel sie erstellt hat. Und die Generation wird zur gelernten Stufe danach, um ihr Erscheinungsbild zu bereichern.
(3:23) Rendering definiert also die Welt, und Generation bereichert das Erscheinungsbild. Das ist die Kernintuition hinter DLSS 5. Ich könnte das den ganzen Tag beschreiben, aber das ist die SIGGRAPH. Also rollen wir das ab.
[Demo-Sequenz]
(4:12) Ja, danke. Alles, was ihr gerade gesehen habt, ist traditionelles Rendering, gefolgt von DLSS 5, das in Echtzeit das endgültige fotorealistische Erscheinungsbild generiert. Und ich finde, es sieht großartig aus. Es ist ein neues Level an Realismus. Aber hier real auszusehen ist nur die halbe Miete. Die andere Hälfte ist, dem Originalinhalt treu zu bleiben.
(4:33) Und das ist knifflig, denn alle generativen Modelle sind probabilistisch. Ihr könnt es nach einem Porträt eines Händlers bei Sonnenuntergang fragen; ihr bekommt einen wunderschönen Händler. Ihr fragt nochmal, ihr bekommt einen anderen Händler. Oder wenn ihr es zehn Mal fragt, bekommt ihr zehn verschiedene Händler.
(4:50) Im Allgemeinen steuert das Feld diese allgemeinen Modelle mit verschiedenen abstrakten Signalen wie Text-Prompts, Referenzbildern, 3D-Proxies oder sogar Storyboards. Und das ist übrigens ein wirklich schnelllebiges Forschungsgebiet, dem es sich lohnt zu folgen.
(5:06) Und sie funktionieren alle. Es ist nur so, dass jedes davon dem Modell noch viel Spielraum für Improvisation lässt. Und das ist für Offline-Generation völlig in Ordnung. Aber beim Echtzeit-Rendering können wir nicht wählen. Was auch immer das Modell generiert, wird dem Betrachter im nächsten Frame präsentiert.
(5:23) Wir brauchen also eine Bedingung, die stärker eingeschränkt und rigoroser ist.
(5:30) Und wisst ihr was? Es gibt ein solches Signal, das sich direkt vor unserer Nase versteckt. Wir werden das Frame verwenden, das das Spiel gerade gerendert hat. Es ist kein Prompt. Es ist keine Referenz. Es ist keine Proxy-Szene. Es ist die eigene Ausgabe des Renderers, und es ist ein Signal, das tatsächlich universell über alle Engines verfügbar ist: Path Tracing, Rasterizer, Hybrid, was auch immer.
(5:55) Und im Gegensatz zu einem Prompt ist das tatsächlich eine sehr informationsdichte und pixelgenaue Ansicht der aktuellen Aufnahme, und sie kann wirklich die Grundlage für viele Dinge liefern wie Charakteridentität, das Lighting-Setup, die Stimmung, die Kamerakomposition und so weiter. Wir nehmen also das gerenderte Frame und machen es realistischer.
(6:14) Und die Idee ist wirklich simpel. Aber in dem Moment, in dem wir uns tatsächlich daran gemacht haben, so etwas zu bauen, stellt sich heraus, dass es unglaublich herausfordernd ist.
(6:22) Drei fundamentale und harte Forschungsherausforderungen stellten sich sofort.
(6:26) Die erste: Die künstlerische Intention bewahren. Auch wenn wir dem Modell ein gerendertes Frame geben, wird ein generatives Modell es verändern. Das ist sein ganzer Job. Aber mit jeder Veränderung besteht die Chance, dass es von der ursprünglichen Intention abdriftet. Sagen wir, der Held hat eine Narbe, und dem Modell gefällt sie einfach nicht. Es entfernt sie. Ja, das Bild sieht jetzt sauberer aus, aber es ist der falsche Charakter.
(6:53) Also zogen wir eine harte Linie und trainierten das Modell so, dass es diese Intention respektiert. Und wir nutzen einige der internen Buffer des Renderers wie Albedos, Oberflächennormalen und einige der Lichtinformationen, um sicherzustellen, dass das Modell versteht, womit es konsistent bleiben muss. Und innerhalb dieser Einschränkungen ist das Modell frei, das zu bereichern, was Realismus verkauft: Dinge wie besseres Subsurface Scattering, feinere Materialantworten, Lichttransmission durch Haare und Laub, sogar bessere Kontaktschatten und besseres Umgebungslicht. Die Narbe kann also besseres Skin-Shading aufnehmen, aber sie sollte niemals verschwinden. Und DLSS 5 muss das Bild so verändern, dass es die Geschichte nicht verändert. Das ist die erste Herausforderung.
(7:38) Herausforderung Nummer zwei: Temporales Streaming. Die meisten Videogeneratoren arbeiten in Chunks. Sie schließen über mehrere Frames hinweg und generieren dann einen Batch von Frames auf einmal. Aber beim Echtzeit-Rendering können wir das nicht tun, denn es muss sofort auf Benutzereingaben reagieren und Frame für Frame rendern und präsentieren.
(7:58) Aber glücklicherweise haben wir, wenn wir in der Game-Engine arbeiten, Zugriff auf Dinge wie Bewegungsvektoren. Und die gesamte DLSS-Suite nutzt sie von Tag eins an. Sie können dem Modell einfach sagen, wie sich Dinge über benachbarte Frames hinweg bewegen. Und das Modell muss nicht über Pixel und Frames hinweg schlussfolgern, um herauszufinden, was die Bewegung ist.
(8:17) Und dank dessen und anderer Dinge ist es uns gelungen, DLSS 5 kausal und Frame für Frame laufen zu lassen: Ein Frame rein, ein Frame raus. Und es muss nicht vorausschauen. Und es bleibt dabei zeitlich stabil und kohärent. Kein Flimmern, kein Driften, kein Schwimmen.
(8:37) Und Herausforderung Nummer drei: Geschwindigkeit. Ein 4K-Frame besteht aus etwa 8 Millionen Pixeln. Und wenn wir mit mehr als 60 fps rendern, haben wir wirklich weniger als 16 Millisekunden. Und das meiste davon wird vom Spiel selbst verbraucht.
(8:53) Also, wie gesagt, die Foundation-Modelle, die diese fotorealistischen Erscheinungsbilder generieren können, sind groß und langsam, und sie können alles in Sekunden generieren. Und was Echtzeit-Rendering will, ist etwas Spezifischeres. Es sollte kleiner und effizienter und fokussierter sein.
(9:07) Also destillierten wir – wir nahmen das, was diese allgemeinen Modelle über das Erscheinungsbild der Welt wissen, und komprimierten es in ein viel kleineres einstufiges Pixel-Space-Diffusion-Transformer-Modell, das nur eine Sache tut: Echtzeit-Rendering realistischer aussehen lassen. Es ist immer noch kein normaler Filter, denn es hat das gesamte breite Weltwissen von diesen riesigen Foundation-Modellen geerbt, und es versteht wirklich das Bild, das es betrachtet: Es versteht Charaktere, versteht Beleuchtung und Kontext. Aber was es verloren hat, ist die Allgemeinheit. Es kann einfach keine lustigen Katzenvideos mehr generieren. Aber weil es nur diese eine Sache tut, ist es uns gelungen, es kompakt und effizient genug zu machen, um wirklich Seite an Seite mit dem Spiel zu laufen und das gesamte Erlebnis trotzdem wie ein Spiel fühlen zu lassen.
(10:01) Also: Narrative Intention, Frame-für-Frame-Kohärenz und Streaming, und Frame-Budget. Löst man alle drei, kann man Generation live in einem Renderer haben.
(10:14) Aber das gerenderte Frame ist wirklich nur eine Kontrollebene. Das Problem ist, dass die Abbildung zwischen einem gerenderten Frame und einer realistischeren Version davon nicht eins-zu-eins ist. Es gibt keinen Referenz-Ground-Truth, gegen den wir abgleichen können, und mehrere Ergebnisse könnten Sinn ergeben. Also: Welchen Look wollt ihr? Wo wollt ihr ihn? Und wie stark wollt ihr ihn anwenden? Das sind alles künstlerische Entscheidungen. Und die gehören den Leuten, die das Spiel machen, nicht dem Modell.
(10:45) Und die beste Person, um euch zu zeigen, was das bedeutet, ist ein Artist. Also lassen wir Gaff herein, unseren Creative Artist, und er wird DLSS 5 für euch dirigieren. Willkommen, Gaff.
(10:58) [Gabriele Leone betritt die Bühne]
(11:03) Danke, Ed. Danke, alle. Okay, also was ich euch heute zeigen werde, ist, wie wir DLSS 5 für alles steuern können, was ihr auf dem Bildschirm seht: Charaktere, Elemente und Requisiten, sowie die gesamte Umgebung. Bevor ich das tue, gehe ich zurück zu dem, was Ed erwähnt hat: dass DLSS 5 im Grunde das Frame verbessert und das gerenderte Frame respektiert. Es verändert die Geometrie in keiner Weise; es hebt das Bild auf ein höheres Level.
(11:29) Wenn wir uns dieses Beispiel hier ansehen, könnt ihr sehen, dass wenn wir DLSS 5 bei diesem Charakter einschalten, er besseren Kontrast, bessere Ambient Occlusion, bessere Kontaktschatten bekommt. Ich möchte, dass ihr auf die Ohren achtet, zum Beispiel: wie sie Subsurface Scattering bekommen, das vorher fehlte. Oder schaut auf die Ambient Occlusion zwischen dem Kopf und dem Stück Stoff auf seinem Kopf, und die Augen bekommen bessere Reflexionen.
(11:50) Wie ihr seht, respektiert DLSS 5 das gerenderte Frame vollständig und verbessert es einfach nur.
(11:56) Nachdem wir das gesehen haben, zeige ich euch die Steuerungen, die wir in DLSS 5 einbauen, um das Frame art-direktieren zu können. Ich fange mit einer breiten Kontrollebene an und zeige euch, wie granular wir steuern können, was DLSS 5 mit dem Frame macht.
(12:12) Der erste Satz an Steuerungen sind tatsächlich die Modelle selbst. DLSS 5 hat also verschiedene Modelle. Wie ihr in diesem Frame hier sehen könnt, haben wir verschiedene Modelle: Modell A, B, C. Sie haben unterschiedliche Ausgaben, weil sie mit unterschiedlichen Parametern trainiert wurden. Wenn ein Entwickler ein Modell wählt, ist er nicht auf eins festgelegt. Und das Thema, das ihr in meiner gesamten Präsentation hier sehen werdet, ist, dass ihr sozusagen mixen und matchen könnt, was immer ihr wollt. Also ein bestimmtes Modell zu wählen, sperrt euer ganzes Spiel nicht in eins ein. Ihr könnt ein Modell für eine Szene wählen, ein Modell für eine andere Szene, ein Modell für eine Zwischensequenz. Ihr könnt wählen, was immer zu euch passt.
(12:43) Dann einige globalere Steuerungen. Wir haben Struktur-Intensität sowie Ton-Intensität. Struktur-Intensität moduliert die hochfrequenten Details des Frames, und Ton-Intensität moduliert die niederfrequenten Details des Frames. Einfacher gesagt: Struktur-Intensität fügt im Grunde Dinge wie bessere Ambient Occlusion, besseres Subsurface Scattering und bessere Reflexionen hinzu. Während Ton-Intensität etwas ausdrucksstärker ist und das Lighting beeinflusst – es verbessert die Beleuchtung. Wie ihr seht, wenn wir den Ton-Regler bewegen, verändert es die Farben, weil es effektiv das Subsurface Scattering und das Lighting verändert. Das sind also globale Steuerungen, die wiederum das gesamte Frame verbessern.
(13:29) Jetzt zeige ich euch einige Steuerungen, die wir haben. Es gibt zwei verschiedene Ebenen an Steuerungen: Steuerungen, die von der Engine-Seite kommen, und Steuerungen, die von der Modell-Seite kommen. Weil DLSS 5 ein intelligentes Modell ist, versteht es, was im Frame ist. Das hier zum Beispiel ist automatische Modell-Maskierung. Das Modell versteht den Charakter, den Basis-Charakter selbst. Und wir können den Regler nutzen, um die Intensität zu steuern, mit der DLSS 5 nur auf den Basis-Charakter angewendet wird, wie ihr seht. Und das kommt vollständig von der Modell-Seite.
(13:57) Ich zeige euch noch ein Beispiel dafür. In diesem Beispiel ist DLSS 5 in der Umgebung ausgeschaltet, und wir schalten es nur für den Charakter wieder ein, weil das Modell versteht, welcher der Charakter ist. Das kommt also vollständig von der Modell-Seite, weil das Modell die Semantik der Szene versteht.
(14:23) Was ich euch hier zeige, ist ein Beispiel desselben Modells mit unterschiedlicher Struktur-Intensität. Ihr könnt sehen, dass 25 % Struktur-Intensität offensichtlich näher am gerenderten Frame ist. Wir haben einen Mittelpunkt, und dann haben wir 95 %, was näher am maximalen Uplift ist, den DLSS bieten kann.
(14:42) Also wieder: Ihr könnt sehen, dass der Entwickler die Option hat, welche Intensität er für sein endgültiges Frame bevorzugt.
(14:52) Und als Nächstes zeige ich euch sozusagen das Gegenteil davon. Ich zeige euch dieselbe Struktur-Intensität, aber mit unterschiedlichen Modellen. Wieder: Unterschiedliche Modelle liefern unterschiedliche Ausgaben, weil die Trainingsparameter unterschiedlich sind.
(15:06) Und nachdem wir uns die Charaktere angesehen haben, zeige ich euch, wie DLSS 5 auch den Rest der Szene verbessert. In diesem Beispiel hier: Sagen wir, wir wollen wieder die gesamte Szene verbessern. Aber eigentlich wollen wir das nicht. Sagen wir, wir wollen bestimmte Objekte in der Szene verbessern. Das sind Steuerungen, die von der Engine-Seite kommen. Hier haben wir zum Beispiel die Kanne, die Trauben und die Flaschen maskiert. Und diese sind auf der Engine-Seite implementiert. Und ihr könnt maskieren, wie es euch passt. Ihr könnt also so viele Masken haben, wie ihr wollt, und wie ihr seht, können wir die Regler unabhängig voneinander steuern. Jedes Objekt kann in Intensität und Ton vollständig unabhängig voneinander eingestellt werden. Ihr könnt also vollständig art-direktieren, welches Objekt in der Szene ihr im Grunde wollt, dass DLSS 5 verbessert oder nicht verbessert.
(15:50) Und noch ein Beispiel aus einer unserer Szenen hier: Wir haben den unteren Teil gruppiert, wie ihr seht – das gesamte Schneidebrett, die Requisiten oben – und wieder komplett maskiert; der Rest der Umgebung wird hier nicht beeinflusst. Hier können wir steuern – ihr könnt sehen, dass DLSS 5 bessere Reflexionen hinzufügt, wie ihr seht, bessere Kontaktschatten auf den Boden. Bei den Flaschen seht ihr viel bessere Translucenz in der Flasche, bessere Metallreflexionen, und das sind genau die Elemente, die wir aufwerten, ohne den Rest der Szene zu berühren. Wieder: Ton-Intensität, Struktur, alles kann vom Entwickler nach Belieben angepasst werden.
(16:28) Und zu guter Letzt möchte ich euch zeigen, wie DLSS 5 die gesamte Umgebung verbessern kann. In diesem Fall die Laubszene.
(16:35) Und wie ihr seht, sieht diese Szene sehr schön aus. Es ist eine Raytracing-Szene, aber sie sieht immer noch ein bisschen plastikartig aus. Und wenn wir DLSS 5 einschalten, wie ihr seht, kommen die Pflanzen zum Leben und sehen wirklich fotorealistisch aus. Das liegt daran, dass DLSS 5 Subsurface Scattering hinzufügt. Und das ist etwas, das, wie ihr wisst, traditionell im traditionellen Rendering unglaublich teuer wäre, und DLSS 5 bringt das Bild auf die nächste Stufe. Auch hier könnten wir die Intensität vollständig steuern, die wir wünschen.
(17:05) Also, was ich hoffe, euch heute gezeigt zu haben – und das ist nur ein kleiner Einblick in die Steuerung, die wir haben – aber was ich hoffe, dass ihr mitnehmt, ist die Tatsache, dass DLSS 5 vollständig vom Entwickler steuerbar ist. Wir haben viele Steuerungen. Wir bauen mehr, und wir arbeiten mit unseren Partnern zusammen, um ihr Feedback einzubinden, damit DLSS 5 ein Werkzeug für die Artists, die Art-Directors und die Creative Directors wird, um im Grunde ihre Vision im endgültigen Frame widerspiegeln zu können.
(17:31) Danke.
(17:36) Danke, Gaff, für die Demo.
(17:39) Ja, ihr habt gerade die ganze Idee gesehen. Das Frame hat wirklich definiert, was bleiben muss, und Gaff, der Artist, hat dirigiert, was sich verändern könnte. Und wisst ihr, Kontrolle und Art Direction ist ein wirklich spannendes Forschungsgebiet für uns, und das ist etwas, an dem wir weiter iterieren und arbeiten werden, basierend auf dem Feedback der Entwickler, das wir erhalten.
(18:00) Also, KI wird seit einigen Jahren bereits im Echtzeit-Rendering angewendet, und es gibt grob zwei Hauptkategorien. Die erste ist Rekonstruktion, und der Job der Rekonstruktion ist es, den Ground-Truth-Referenz-Render wiederherzustellen – das heißt, angenommen, der Renderer hätte keine Ressourcenlimits, das perfekte Bild. Und die aktuelle DLSS-Suite gehört zu den besten kleinen Echtzeit-Modellen dafür. Und dann haben wir auch Funktionsapproximations-Technologien wie Neural Radiance Cache, Neural Materials: Sie nutzen winzige neuronale Netze, um einige weitaus teurere Berechnungen zu approximieren. Und DLSS 5 fügt eine dritte hinzu: Es ist Generation, denn jetzt verändert und generiert das Modell tatsächlich das endgültige Erscheinungsbild im Bild. Und die künstlerische Direction wird jetzt zum neuen Ground Truth.
(18:56) Erinnert euch an das Diagramm, das ich euch vorhin gezeigt habe, das mit der fehlenden Kurve. Hier ist es. Historisch gesehen war unser Hebel, um die Bildqualität zu skalieren, der Render hochzuskalieren. Mehr Strahlen, höher aufgelöste Texturen, mehr Dreiecke – und die sind immer noch wichtig. Ein besseres Rendering gibt DLSS 5 einen besseren Ausgangspunkt. Aber DLSS 5 fügt jetzt einen zweiten Hebel hinzu, denn jetzt, wenn wir das Modell hochskalieren, wird sich auch die Bildrealität und -qualität verbessern. Und das Spannendere hier ist, dass selbst wenn wir das Modell nicht hochskalieren, Verbesserungen auf der Offline-Trainingsseite – wie bessere Trainingsdaten, bessere Loss-Funktionen, einfach Verbesserungen in der Trainingsdynamik – sich auch direkt in eine Verbesserung der Bildqualität zur Laufzeit übersetzen, ohne zusätzliche Kosten.
(19:51) Und es ist auch erwähnenswert, dass, obwohl wir gerade auf der Kurve des Path Tracing sind, jede der Kurven davor immer noch lebendig ist. Wir fahren immer noch auf allen, und DLSS 5 ist dasselbe. Es erweitert bestehende Pipelines. Es ersetzt sie nicht.
(20:10) Und ich möchte auch klarstellen, dass wir nicht behaupten, Echtzeit-Fotorealismus gelöst zu haben. Wahrer Fotorealismus liegt noch vor uns. Im Moment wird die Animation nicht im selben Maße wie das Erscheinungsbild gehoben. Und letztendlich wollen wir, dass das Modell in der Lage ist, immer realistischere Bilder zu generieren. Und DLSS 5 sitzt wirklich an einem Ende eines viel breiteren generativen Spektrums. Es ist für Spiele optimiert. Es ist wirklich eng angebunden. Es ist in Echtzeit. Es ist kausal. Und auf der anderen Seite, die interaktiven Video-Foundation-Modelle – das ist eine ganz andere Geschichte. Und da draußen wird es noch kniffliger, wobei das Modell treu bleiben muss. Wir haben nicht alle Antworten, aber was wir wissen, ist, dass je mehr das Modell bieten und generieren kann, desto mehr Kontrolle es bieten muss, um nützlich und wertvoll zu sein. Und das ist eine weit offene Forschungsmöglichkeit für die SIGGRAPH-Community, und diese Kurve fängt gerade erst an. Wir sind immer noch im steilen Teil.
(21:18) Das ist also die 5. Ein neues Level an Realismus. Simulation definiert die Welt. Generation bereichert ihr Erscheinungsbild. Und Artists dirigieren das Ergebnis. Nicht KI, die Grafik ersetzt. KI, die Grafik erweitert, genauso wie programmierbare Shader und Ray Tracing zuvor Grafik erweitert haben. Jeder Pixel in einem Spiel ist immer noch da, weil jemand will, dass er da ist. DLSS 5 wurde gebaut, um das so zu bewahren. Und wir bringen es diesen Herbst heraus.
