Codec Blindtest 96kbit (AAC, MP3, Opus, Ogg Vorbis) [Update 4.11. Ergebnisse]

NamenI_os

Komplett-PC-Käufer(in)
Ein wenig doof, wenn mein erstes Thema gleich mit "Werbung" für ein Projekt beginnt. Allerdings bin ich in keiner Weise daran beteiligt, ich hoffe nur, dass möglichst viele dran teilnehmen.

Falls wer Interesse hat blind ein paar Codecs auf 96kbit zu testen und zu bewerten: Public Multiformat Listening Test @ 96 kbps (July 2014). Eigentlich ist alles auf der Seite beschrieben, wenn ihr die Ergebnisse bewerten und einsenden wollt (mich würde es freuen) einfach der Anleitung folgen. Wenn ihr keine Lust auf das Programm habt sind im "sound" Ordner auch die wav Dateien. Auch wenn ihr nur die beiden Ankerpunkte in schlechter Qualität und ein anderes Beispiel raushört hilft das bei der Bewertung.

Am 1. September sollen die Ergebnisse öffentlich ausgewertet werden.

Die Codecs sind:
  • AAC iTunes 11.2.2 with CoreAudioToolbox 7.9.8.5 via qaac 2.41 --cvbr 96 (Equivalent to "VBR enabled" in iTunes)
  • Opus 1.1 with opus-tools-0.1.9-win32 --bitrate 96
  • Ogg Vorbis aoTuV Beta6.03 -q2.2
  • MP3 LAME 3.99.5 *bitrate is around 136 kbps. -V 5
  • AAC FAAC v1.28 (Mid-low Anchor) -b 96
  • AAC FAAC v1.28 (Low Anchor) *bitrate is around 52 kbps. -q 30

Das ganze gab es schonmal vor 3 Jahren mit uninteressanteren Codecs: Results of the public AAC listening test @ 96 kbps (July 2011)
 
Zuletzt bearbeitet von einem Moderator:
AW: Codec Blindtest 96kbit (AAC, MP3, Opus, Ogg Vorbis)

Sowas in der Art gabs doch hier im Forum auch schon vor nem Jahr oder so. Da wurde foobar mit der APX Erweiterung verwendet. Damals waren die Ergebnisse die, das erstaunlich viele einen Unterschied zwischen MP3 (ich meine 256 oder 320kbps?) und Flac hören konnten.

Und im Ernst warum sollte man irgendwas auf 96kbps eindampfen? Die Zeiten des knappen und teuren Speichers und der ISDN Downloadgeschwindigkeiten sind ja wohl vorbei, so dass man seinen Daten ruhig ein wenig mehr Platz und Qualität gönnen kann.
 
AW: Codec Blindtest 96kbit (AAC, MP3, Opus, Ogg Vorbis)

Link wäre nett, ich kann mit flac mp3 foobar/abx oben rechts nichts finden. Encoder und Art des Tests machen Unterschiede aus. CBR ist z.B. auch, feundlich ausgedrückt, suboptimal.

Bei Archivierung würde auch nur lossless einsetzen, hauptsächlich wegen der digitalen Fingerabdrücke, aber auch um doppelte Komprimierung zu vermeiden. Aber für Smartpone, Laptop mit SSD und je nach Internetqualität auch versenden macht es einen riesen Unterschied. Hier kommt FLAC (alac/wav) für mich (und ich denk auch für viele andere) nicht in Frage.

Manche wollen vielleicht auch wissen, welchen Codec sie für TS/Mumble nutzen sollten, da gibt so ein Test Anhaltspunkte.

Der Test hat mehrere Zwecke. Einmal kann jeder für sich selber sehen, wie gut er Kompressionsartefakte in modernen Codecs unvoreingenommen und blind heraushören kann. Zweitens werden dank solchen Blindtests auch Schwächen in Encodern und Codecs aufgedeckt. Falls es interessiert, etwas zum nachlesen: Opus update 20130712: 1.1 Beta Release Tonality Estimation geht auf das schlechte Abschneiden des Cembalos in Hydrogen audio 2011 multiformat listening test unofficial results page zurück.

Genaueres kann ich erst nach der Auswertung sagen, aber ich glaube, dass der Codec den ich (die Anker ausgenommen) mit ein wenig Abstand am besten raushöre MP3 136 kbps ist (vllt auch ogg). Sprich MP3 136kbps vbr ist schlechter als AAC/Opus 96kbps. Deswegen beiß dich mal nicht so auf die 96kbps fest und teste bevor du Urteilst.

Werde das im HWLuxx auch noch mal posten.
 
AW: Codec Blindtest 96kbit (AAC, MP3, Opus, Ogg Vorbis)

Deswegen beiß dich mal nicht so auf die 96kbps fest und teste bevor du Urteilst.

Ich beiße mich nirgends fest. Ich finde es nur sinnlos so weit mit der Kompression runter zu gehen, weil weniger Kompression eben auch immer weniger Klang bedeutet - unabhängig von der Qualität des Codec. Wie gesagt, das Platzargument zählt für mich nicht mehr, da man mobil keine zig tausend Songs mit herumschleppen muss.

In meinem Falle nutze ich bis aufs Auto nur FLAC. Im Auto nicht, weil Audi nicht in der Lage ist seine Multimediasysteme so zu aktualisieren, dass man das was anderes als MP3 nutzen kann. Peinlich, zumal die verwendeten CPUs (Tegra 3?) in anderen Anwendungen das locker können. Das hat mich gezwungen meine komplette Musiksammlung auch noch zu konvertieren und jetzt beide pflegen zu müssen...
 
AW: Codec Blindtest 96kbit (AAC, MP3, Opus, Ogg Vorbis)

96kbit/s? Ne lass ma stecken, da klingt ja sogar eine Type IV Kassette besser. In der heutigen Zeit bekommt man seine komplette Musiksammlung in Flac 44/16 auf eine einzige HDD. Ich glaube kaum das jemand mehr als 6TB Flac Files hat. Von daher muss man freiwillig nicht aus sowas zurückgreifen.

Komprierte Musik unter 320 kbit/s sollte einfach verboten werden und Abspielgeräte sollten das Abspielen verweigern. :P

Ne ma ganz im Ernst, 96 kbit/s klingt echt nach Blech.
 
AW: Codec Blindtest 96kbit (AAC, MP3, Opus, Ogg Vorbis)

[…]Ne ma ganz im Ernst, 96 kbit/s klingt echt nach Blech.

Dann hör dir im schnelldurchlauf mal zwei, drei an. Wie schon gesagt, ich glaube MP3 136kbps vbr ist merklich schlechter als der Rest auf 96kbit. Die 96 kbps sind halt nicht mit einem fast 20 Jahre alten Codec.
 
AW: Codec Blindtest 96kbit (AAC, MP3, Opus, Ogg Vorbis)

Dann hör dir im schnelldurchlauf mal zwei, drei an. Wie schon gesagt, ich glaube MP3 136kbps vbr ist merklich schlechter als der Rest auf 96kbit. Die 96 kbps sind halt nicht mit einem fast 20 Jahre alten Codec.

sandman.16b48k.1 - Klirrt ohne Ende, die Crash Bechen einfach schrecklich!

sandman.16b48k.2 - Hört sich an als ob da ein leiser Synthesiser irgendwie mitläuft. :D Ist vermutlich das verzerrte ausschwingen der Snare.

sandman.16b48k.3 - Rauscht und knackt. WTF?

sandman.16b48k.4 - Klingt total spitz und künstlich. Das Ausschwingen der Becken fehlt fast komplett.

sandman.16b48k.5 - MEINE OHREN!!! ABSTELLEN ABSTELLEN! BITTE!

sandman.16b48k.6 - Ist das noch Musik? Tonqualität auf den Niveau von AM Radio.

sandman.16b48k - Erträglich. Hat aber auch dieses synthetische Rauschen und Knacken.

Das beste von den 7? Klingen alle auf eine andere Art für die Tonne.

Irgendwas ist da auch ein wenig schief gelaufen. Ich hab selber auch Enter Sandmann von Metallica und das hört sich aber 10 mal besser an.

Wenn ich mich festlegen müsste dann so:
sandman.16b48k - Klar das beste.
sandman.16b48k.3 - Nicht toll aber ok.
sandman.16b48k.1 - Kann man sich noch anhören.
sandman.16b48k.2 - Ziemlich gleich mit dem darunter.
sandman.16b48k.4 - Ziemlich gleich mit dem darüber.
...
...
...
...
sandman.16b48k.5 - Schrecklich.
sandman.16b48k.6 - Eine Zumutung.
 
Zuletzt bearbeitet:
AW: Codec Blindtest 96kbit (AAC, MP3, Opus, Ogg Vorbis)

Von welchem Album/CD hast du denn das Original genommen? Meins was ich hab ist deutlich besser.:what: Ich hab das nämlich auch gegen meins gehört und bewertet. Immerhin hab ich das original rausgefunden.:D
 
AW: Codec Blindtest 96kbit (AAC, MP3, Opus, Ogg Vorbis)

Ich von gar keinem. Ich hab damit nichts zu tun.

Ich gehe mal aus, dass die beiden Stücke ein unterschiedliches Mastering haben. Original/Remastered/BestOf, wer steigt da schon durch. Per E-Mail oder im HA-Thread (unten in den Fußnoten) wird er dir das sicher beantworten.

sample26 (Clapton unplugged) ist z.B. erstaunlich gut.
 
AW: Codec Blindtest 96kbit (AAC, MP3, Opus, Ogg Vorbis)

Ergebnisse sind schon länger raus, zusammenfassendes Bild. Vollständige Ergebnisse.

Zusammenfassendes Fazit aus den HA Thread:
General quality of the best encoders at 96 kbps
  • Opus 1.1 is the clear winner on average: opusenc --bitrate 96
  • Apple AAC (iTunes 11.2.2) is clear in second place: qaac --cvbr 96 (or 96 kbps, VBR enabled in iTunes)
  • Ogg Vorbis (aoTuV Beta6.03) is third of the 96kbps contenders: vorbisenc -q2.2
  • The higher bitrate LAME MP3 (about 128-140 kbps) is tied with Ogg Vorbis for joint third place. lame -V 5
  • The best mature 128-140kbps MP3 encoder (significantly better than early 128kbps MP3) was used as a well-known quality reference. The three more modern contenders matched or beat it with around 25% lower bitrate. While LAME MP3 itself has come a long way since early MP3 encoders and is very mature within the limitations of the format, newer technology has come a long way indeed by 2014. LAME degrades noticeably before it averages as low as 96 kbps as noted in previous tests.
  • These formats are not reliably transparent at 96 kbps when subjected to close critical listening on headphones in ideal conditions.
  • All of these formats can reach transparency at higher bitrate settings. However, getting statistically significant listening test results becomes extremely difficult as we approach transparent settings. Any such test is likely to be a statistical tie. The results of this test are not necessarily applicable to different bitrates, however.
  • Broadly speaking, Perceptible but not annoying (4.0 or better) indicates that music should remain enjoyable, and for listeners being less critical (e.g. listening on speakers, at low volumes or in noisy environments, or untrained in codec artifact spotting) differences compared to the original may go unnoticed. Many testers said this test was difficult, because most differences were subtle (with the exception of the low anchors).
  • The difficulty of detecting differences at such modest bitrates demonstrates the maturity of the best encoders of today (2014) and the advances made over the last decade or so.
  • All contenders except the FAAC anchors are well-tuned Variable Bitrate (Constant Quality) encoders. Do not worry about unusually low bitrates or unusually high bitrates within your music collection. In such mature encoders these are the result of smart decision-making, not errors. The bitrate versus quality scatter-plots show no appreciable bias to support the idea that low-bitrate is chosen in error. On average over a large collection, the target bitrate will still be close to the target.
  • The results are specific to the encoder and settings used, not the format in general. This is very clear from FAAC performing much worse than Apple AAC. Ogg Vorbis has less variation among encoders and Opus has only two versions to date: Opus 1.0 was well tuned at launch, and Opus 1.1 is largely an incremental improvement.
  • There is no significant evidence in this test of any encoder being more suitable for a certain genre of music.
  • Other considerations may be important such as compatibility with many devices (MP3 is near-universal, AAC is very widely supported too) or patent-free status (Vorbis and Opus are widely considered patent-free and thus suitable for projects like Wikimedia or for use in games). The balance may shift over time, e.g. as new standards like WebRTC become adopted, Opus, being Mandatory to Implement may become more readily playable on more devices.
  • Note that LC-AAC is capable of transparency. Apple HE-AAC may well not be capable of transparency, and in any case is worse than Apple LC-AAC above about 64 kbps, so you should not force HE mode assuming that if it has higher efficiency it must have higher quality. The default behaviour is usually well-chosen and HE-AAC's extra features are used to simulate high-frequency content when bitrate is very limited.
  • Opus won with the encoder from the standard's developers. There are no poor-quality Opus encoders at present. Poor AAC encoders do exist, and in certain areas such as some video transcoders and video-streaming sites, are used more widely than is desirable for music encoding.
    This whole test was done using double-blind testing rather than sighted testing, so that deliberate or unintended bias cannot influence results. The results surprised a number of the listeners who took part, in fact, when un-blinded after the conclusion of the test.

TL;DR: Verlinkes Bild angucken. ~100kbit/s Opus signifikant besser als ~130kbit/s MP3, AAC recht genau dazwischen.
 
Zuletzt bearbeitet:
Zurück