Nvidia: Butterweiche Superzeitlupe dank Deep Learning

Jetzt ist Ihre Meinung gefragt zu Nvidia: Butterweiche Superzeitlupe dank Deep Learning

Um ruckelfreie Zeitlupen zu bieten, muss ein Video mit einer hohen Anzahl an Bildern pro Sekunde aufgenommen werden. Die entsprechenden Kameras sind freilich recht teuer. Mit einer auf Deep Learning basierenden Software von Nvidia könnte man in Zukunft aber auch Videos, die mit nur 30 oder 60 Bildern pro Sekunde aufgenommen wurden, als butterweiche Superzeitlupe abspielen.

Bitte beachten Sie: Der Kommentarbereich wird gemäß der Forenregeln moderiert. Allgemeine Fragen und Kritik zu Online-Artikeln von PC Games Hardware sind im Feedback-Unterforum zu veröffentlichen und nicht im Kommentarthread zu einer News. Dort werden sie ohne Nachfragen entfernt.

Zurück zum Artikel: Nvidia: Butterweiche Superzeitlupe dank Deep Learning

Sehr beeindruckend! -in Anbetracht der Tatsache, dass durch dieses Verfahren MASSIV an Speicherplatz während der Aufname gespart werden kann und auch etwas beängstigend, da der nächste -bis dato den Profis vorbehaltene Bereich- den Consumern zufallen könnte.
Zeitlupe würde das "Besondere" verlieren; genauso, wie wackelfreie - und hochaufgelöste Aufnamen und Drohnenflüge.
Ich bin gespannt, was da noch kommen wird und wann solch ein Algorythmus Unsereins zugänglich gemacht wird.

Rein optisch erstmal nicht verkehrt, aber ob es da zu Akzeptanzproblemen kommen könnte?
Schließlich würde ein Großteil der Einzelbilder nur mit einer Wahrscheinlichkeit berechnet und nicht 100% Detailgetreu aufgezeichnet worden sein.
Für Privatpersonen also bestimmt eine nette Spielerei, aber lässt sich damit professionell arbeiten?

Edelhamster schrieb:

Rein optisch erstmal nicht verkehrt, aber ob es da zu Akzeptanzproblemen kommen könnte?
Schließlich würde ein Großteil der Einzelbilder nur mit einer Wahrscheinlichkeit berechnet und nicht 100% Detailgetreu aufgezeichnet worden sein.
Für Privatpersonen also bestimmt eine nette Spielerei, aber lässt sich damit professionell arbeiten?

Zum Vergrößern anklicken....

Damit kann man bestimmt gut Sequenzen für die Werbung erstellen, oder simple Szenen aufpeppen.

Es funktioniert natürlich nicht mehr, sobald es darauf ankommt schnelle Details aufzunehmen.

Wow. Zwei Newseinträge zum gleichen Thema, einer nur mit Video (hier) der andere mit Video und Text und das innerhalb von zwei Stunden.
Kommt um 11:35 dann der dritte Newseintrag dazu? Sind dann immerhin zwei weitere Stunden zum letzten vergangen.

Nvidia: Butterweiche Superzeitlupe dank Deep Learning
Nvidia: Ruckelfreie Video-Zeitlupen dank Deep Learning

Meiner Meinung nach ist das gar nicht besonders beeindruckend, denn der Bildinhalt entspricht nicht der Realität.
Es ist etwas anderes, ob man ein Bild tatsächlich festhält, oder ob dieses generiert wird und Teile davon möglicherweise mit der Realität übereinstimmen. Vielleicht findet sich ja irgendwo ein Anwendungszweck dafür, aber in der Regel wendet man eine Zeitlupe an um ein reales Detail hervorzuheben z.B. beim Fußball um ein Foul zu erkennen. Derartiges ist mit dieser Technik nur sehr eingeschränkt möglich.

evolute schrieb:

Meiner Meinung nach ist das gar nicht besonders beeindruckend, denn der Bildinhalt entspricht nicht der Realität.
Es ist etwas anderes, ob man ein Bild tatsächlich festhält, oder ob dieses generiert wird und Teile davon möglicherweise mit der Realität übereinstimmen. Vielleicht findet sich ja irgendwo ein Anwendungszweck dafür, aber in der Regel wendet man eine Zeitlupe an um ein reales Detail hervorzuheben z.B. beim Fußball um ein Foul zu erkennen. Derartiges ist mit dieser Technik nur sehr eingeschränkt möglich.

Zum Vergrößern anklicken....

Schau das Video nochmal an und verdecke die linke Seite vom Video in der Zeitlupe. Klar geht ein wenig Brilianz verloren, da es a nur wenige echte Bilder gibt, aber es passiert dennoch
weiterhin genau das, was auch in echt passiert ist. Man sieht hier ja nicht plötzlich komplett falsche Bewegungen.

Viel cooler finde ich die Tatsache, dass Computer mittlerweile echte Bilder "Erfinden" können, die nicht der Realität entsprechen. Alleine das ist schon ein wirklicher Fortschritt.

Es wird ja nur einer der tausend Anwendungsbereiche von Deep Learning sein. Ich denke an kann hier von dem nächsten "Big Thing" reden.

Ich muss sagen die gezeigten Szenen sehen ziemlich gut aus. Ich hatte vor einer Weile mal mit "slowmoVideo" experimentiert, aber je nach Bildinhalt war der Algorithmus schnell überfordert. Das was hier gezeigt wird ist schon deutlich besser.

Dominicus1165 schrieb:

Schau das Video nochmal an und verdecke die linke Seite vom Video in der Zeitlupe. Klar geht ein wenig Brilianz verloren, da es a nur wenige echte Bilder gibt, aber es passiert dennoch
weiterhin genau das, was auch in echt passiert ist. Man sieht hier ja nicht plötzlich komplett falsche Bewegungen.

Zum Vergrößern anklicken....

Was heißt "komplett falsch"?
Im Vergleich zu einer echten Highspeed-Aufnahme fehlen die schnellen Details und es gibt weiterhin Bildfehler. Der reine Informationgehalt ist geringer, als der der normalen Aufnahme und natürlich erst recht geringer, als der der echten HighSpeed-Aufnahme.
Es gaukelt nunmal einen Informationsreichtum vor, den es nicht hat.
Daher leider nur für Bereiche nutzbar, wo es "nur" auf hübsche Bilder ankommt

Edelhamster schrieb:

Rein optisch erstmal nicht verkehrt, aber ob es da zu Akzeptanzproblemen kommen könnte?
Schließlich würde ein Großteil der Einzelbilder nur mit einer Wahrscheinlichkeit berechnet und nicht 100% Detailgetreu aufgezeichnet worden sein.
Für Privatpersonen also bestimmt eine nette Spielerei, aber lässt sich damit professionell arbeiten?

Zum Vergrößern anklicken....

Etwas, was Du hier jedoch nicht ignorieren solltest ist die Tatsache, dass via diverser Interpolationsverfahren bereits heute Zeitlupen errechnet werden.
Sei es in Premiere, After Effects, Media Composer, Pro Tools (Audio), Cubase (Audio) u.a.

Dort wird durch das vorhandene Frame/die vorhandene Waveform (Bild und Ton) dessen "logischer Nachfolger" berechnet bzw. eine Lücke im Audio durch Stretching "gefüllt"; im professionellen Einsatz.
Hier ist es schlicht ein etwas anderer Ansatz; jedoch der Einsatz im professionellen Bereich ist auch hier gegeben.

Desweiteren darf man nicht vergessen, dass diese Technik zur Zeit a) noch nicht fertig ist und b) die Technik fortlaufend perfektioniert wird.

Mit anderen Worten: Da ist noch großer Spielraum nach oben gegeben

keine Ahnung was daran neu ist... Premiere, Avid, After Effects (plugin twixtor z.B.) kann sowas schon seit Jahren und es sieht hier genauso schlecht aus wie in den genannten Programmen, details verschmieren etc.
Wozu also das ganze wenn es doch schon Programme gibt die das können? XD

telmi schrieb:

keine Ahnung was daran neu ist... Premiere, Avid, After Effects (plugin twixtor z.B.) kann sowas schon seit Jahren und es sieht hier genauso schlecht aus wie in den genannten Programmen, details verschmieren etc.
Wozu also das ganze wenn es doch schon Programme gibt die das können? XD

Zum Vergrößern anklicken....

Der Unterschied liegt vermutlich in der >finalen< Endqualität, dem "Mehr" an möglichen interpolierten Frames bei gleichem Ausgangsmaterial und einem wahrscheinlichen Zeitgewinn bei der Berechnung.

Rein technisch finde ich das ja interessant, zumal hier ja "echte Bilder" verwendet werden und nicht irgendwie Comics oder sowas.
Aber man darf nicht vergessen, dass hierbei niemals neue Information entsteht. Zwischen allen Frames mit noch so kleinem Zeitunterschied gibt es ja unendlich viele mögliche Frames, von denen in der Realität genau einer eingetreten ist, egal, ob die Kamera das nun aufgenommen hat oder nicht. Diese neue Technik generiert künstlich ein paar Frames, die "optisch plausibel" aussehen. Man kann also davon ausgehen, dass die Wahrscheinlichkeit, dass ein dadurch generierter Frame genau den wahren Frame trifft, exakt 0 % beträgt. Für das Entertainment ist diese Technik vielleicht eine nette Spielerei. Für alle anderen Bereiche, die jedoch auf den echten Informationsgehalt angewiesen sind, ist das Verfahren regelrecht gefährlich.
Insbesondere, da diese Technik die Grenze zwischen "Beobachtung" und "Deutung" verwischt. Wenn man z.B. eine Teilchensimulation damit "verlangsamen" würde, wobei Prozesse innerhalb eines Zeitintervals kleiner des Frameabstands denkbar sind und noch keine Informationen über die Art eines solchen Prozesses verfügbar sind, würde diese virtuelle Zeitlupentechnik zu regelrechten falschen, manipulierten Messdaten führen. Insbesondre sind es dann keine Messdaten mehr, weil ja schon Hypothesen und Deutungen drinstecken würden.
Ich provoziere also mal direkt, indem ich diese virtuelle Superzeitlupe als "Zeitlupe für Arme" bezeichne
Die Kunst ist also nicht, mehr Entkenntnis zu erzeugen, sondern das menschliche Auge gekonnt zu belügen. Das ist an sich aber auch eine Leistung, die man erstmal schaffen muss, bevor dsa jetzt falsch verstanden wird.

Futhark schrieb:

Ich provoziere also mal direkt, indem ich diese virtuelle Superzeitlupe als "Zeitlupe für Arme" bezeichne
Die Kunst ist also nicht, mehr Entkenntnis zu erzeugen, sondern das menschliche Auge gekonnt zu belügen. Das ist an sich aber auch eine Leistung, die man erstmal schaffen muss, bevor dsa jetzt falsch verstanden wird.

Zum Vergrößern anklicken....

Wie das KNN basierte Hochrechnen der Auflösung. Das System ergänzt Details, die nicht dem Original entsprechen, aber glaubwürdig erscheinen.
In einem Film interessiert das ja auch niemanden und dafür sind die beiden Techniken ohne Zweifel genial.

Man muss nur mittlerweile aufpassen wie Schießhund, was die Echtheit von Bilden und Videos anbelangt. Da werden ganze Sequenzen erfunden (nicht nur der Stinkefinger ), irgendwo hochgeladen und durch den ganzen Qualitätsverlust kann man das nur noch unter Anstrengung von echten Aufnahmen unterscheiden.

"Ich hab's doch gesehen, also stimmt es" ist ganz dünnes Eis .

evolute schrieb:

Meiner Meinung nach ist das gar nicht besonders beeindruckend, denn der Bildinhalt entspricht nicht der Realität.
Es ist etwas anderes, ob man ein Bild tatsächlich festhält, oder ob dieses generiert wird und Teile davon möglicherweise mit der Realität übereinstimmen. Vielleicht findet sich ja irgendwo ein Anwendungszweck dafür, aber in der Regel wendet man eine Zeitlupe an um ein reales Detail hervorzuheben z.B. beim Fußball um ein Foul zu erkennen. Derartiges ist mit dieser Technik nur sehr eingeschränkt möglich.

Zum Vergrößern anklicken....

Na und?
Dafür brauchst du es ja nicht, ich würde das für die private Videosammlung richtig geil finden und auch für kleine Filmteams etc.

Ich halte nicht viel davon irgendwelche Frames zu faken, aber die Instagram-Generation wird auf diese "KI-Deep-Learning-Superzeitlupe" sicher abfahren als ob es noch nie sowas wie Interpolation gegeben hätte.

Das gabs schon vor 10 Jahren mit irgend ner opensource Software ganz ohne DL auf meinem popel Desktop, war ganz nett, nach 5 Minuten aber langweilig. Es gibt hier und dort mal Bildfehler da die Bewegung ja "erahnt" wird und aufgefüllt mit der interpolierten Bewegung und anliegenden Pixeln. Funktioniert aber recht gut. Im Grunde ähnlich von Superupscaling.

slowmoVideo .:: slowmoVideo.granjow.net

Es macht zB Spass damit Anime Szenen zu slown, das geht recht gut, wenn man unkomprimiertes Bildmaterial hat und bei Anime die Zeichnungen sich gut interpolieren lassen.

Nuallan schrieb:

Ich halte nicht viel davon irgendwelche Frames zu faken, aber die Instagram-Generation wird auf diese "KI-Deep-Learning-Superzeitlupe" sicher abfahren als ob es noch nie sowas wie Interpolation gegeben hätte.

Zum Vergrößern anklicken....

Haben sich die Algorithmen damals selbst verbessert? Ähm nö

Jedes halbwegs aktuelle Smartphone kann heutzutage gute Zeitlupenvideos aufnehmen (iPhone X mit 240 Frames pro Sekundein FullHD). Mir entzieht sich der Sinn einer "Zeitlupen KI".

Vielleicht dann interessant, wenn man nur eine ganz normale Szene aufnimmt und vorher mit keiner Zeitlupe rechnet. Aber jeder der seine Videos schneidet, wird einzelne Szenen machen und wenn dort eine Zeitlupe vorkommt, wird auch als Zeitlupe aufgenommen. Oder sehe ich das falsch?