Was ich bei dem Ganzen bisher nicht verstanden habe:
Wo läuft denn jetzt das KI-Modell?
Auf der Grafikkarte?
Selbst wenn man die Rastergrafik+RT/PT als Grundlage nimmt, ist denn sicher gestellt das die Ausgabegrafik immer gleich aussieht, wenn dort dann vom Modell "dazu gedacht" wird?
Ich mein, RT/PT folgt Physik und den Lichtquellen, wie funktioniert das bei KI?
Alles Fragen, die NVIDIA in der Präsentation beantwortet.
1. Wo läuft das Modell? Auf der Grafikkarte, direkt neben dem Spiel. Es ist ein destilliertes, deutlich kleineres Modell (one-step Diffusion Transformer im Pixelraum), das bewusst so kompakt gebaut wurde, dass es in das Frame-Budget passt. Bei 60+ fps hat man ja unter 16ms pro Frame, und davon frisst das Spiel den Großteil. Genau das war eine der drei Forschungsfragen, die sie nennen: Speed. Ein riesiges generatives Modell wäre viel zu langsam, also haben sie das Weltwissen daraus in ein kleines, spezialisiertes Modell komprimiert, das nur eine einzige Aufgabe kann: Echtzeit-Rendering realistischer aussehen lassen.
2. Bleibt das Bild stabil? Ja, und zwar aus zwei Gründen. Erstens läuft das Modell kausal, Frame für Frame: ein Frame rein, ein Frame raus, es schaut nicht in die Zukunft. Zweitens bekommt es die Motion Vectors aus der Engine, also die exakte Information, was sich wohin bewegt. Es muss Bewegung nicht aus Pixeln erraten, wie das Video-KIs machen. NVIDIA verspricht explizit: "no shimmer, no drifting, no swimming". Ob das in der Praxis hält, werden die ersten Spiele zeigen, aber der Ansatz dafür ist genau der, der bei DLSS SR und RR schon funktioniert.
3. Wie kann KI "Physik" machen? Gar nicht, und das ist der Punkt. Die Physik kommt weiterhin aus dem Renderer: Raytracing, Pathtracing, Lichtquellen, das bleibt alles. DLSS 5 rechnet keinen Lichttransport, es reichert das Erscheinungsbild an. Damit es dabei nicht freidreht, bekommt es die internen Buffer der Engine als Anker: Albedo, Oberflächennormalen, Lichtinformationen. Dazu kommt die künstlerische Kontrolle über Masken und Regler. NVIDIA formuliert es so: "Simulation defines the world, generation enriches its appearance, and artists direct the outcome."
Kurz: Das Modell "denkt sich nichts dazu" im freien Sinne. Es ist auf genau eine Aufgabe trainiert und an die Szenendaten der Engine gekettet. Was es kann, ist aus seinem Training zu wissen, wie realistische Materialien und Licht aussehen, und das innerhalb enger Schienen auf das Renderbild anzuwenden.
