Was willst du denn wissen?
Die 99% aller "Youtuber" (=Minecraft-Kiddies) liefern doch genau solchen Müll ab
Wenn du richtige Fachleute meinst:
1) Schmeiß Shadowplay raus, das ist totaler Müll. Die Idee ist gut, Bedienung und Erkennung auch, und die Hardware-gestützte Codierung ist klasse. Leider sind die vorgegebenen Einstellungen kompletter Mist und es fehlen Schnittstellen, um eigene Codecs anzugeben, Sachen zu konfigurieren etc.
2) Hol dir zum Beispiel MSI Afterburner. Dazu einen guten Codec, Lagarith oder UT-Video bietet sich an wenn man eh nur Windows nutzt. Ansonsten FFV1, das muss ich aber in den nächsten Tagen selbst erst testen und verifizieren.
3) Du brauchst vermutlich bessere Hardware.
3.1)Wirklich gute Qualität bedeutet, dass die Datenraten nicht von einer normalen Festplatte zu bewältigen sind. Zwei Optionen: Große RAID-Systeme (wobei hier Stripesetvolumes sogar mehr Sinn machen als RAID 0) oder eine SSD. Ersteres ist komplizierter und trotzdem langsamer. Bei SSDs hingegen wird dir die Lebensdauer zu schaffen machen, als Aufnahme-Platte halten die nicht lange durch.
3.2) Der Prozessor wird das ebenfalls nicht packen. Echtzeitkodierung und -komprimierung braucht VIEL Leistung. Ich kann dir verraten, dass auch ein 8350 dabei aus dem letzten Loch pfeift, für was wirklich gutes ist also i7 aufwärts Pflicht. Besser noch mit mehr als 4 Kernen.
4) Arbeite dich ein. Wirklich gute Qualität abzuliefern braucht SEEEEEHR viel Wissen. Du musst dich mit der technischen Seite der Videoverarbeitung auskennen, du musst aber auch die völlig bescheuerten Youtube-Kodier-Algorithmen reverse-engineeren um zu verstehen was passiert.
Einer DER Qualitätsfanatiker schlechthin ist bekanntlich Gronkh, und der hat, als Fachmann (er ist Fachinformatiker Anwendungsentwicklung glaube ich), vier Jahre gebraucht um auf dem technischen Level anzukommen für das er heute bekannt ist.