Bei dem Durcheinander solltest du erst mal beim Gehäuse ansich und dessen Belüftung anfangen, bevor du dir eine neue Karte zulegst.
Staub entfernen, Kabel möglichst weit wegbinden und vielleicht mal über ein paar neue Lüfter und einen neuen Kühler nachdenken.
Bei der Graka könnte eine mit Direct-Heat-Exhaust tatsächlich sinnvoll sein. Da käme zum Beispiel eine
GTX 970 infrage, die Dank Maxwells Effizienz "theoretisch" auch nicht so heiß wird.
Leider hat man bei den Referenz-Modellen immer den Nachteil, dass die Kühlsysteme grundsätzlich etwas lauter bzw. heißer laufen. Dafür wird die Abwärme aber auch nicht vollkommen unkoordiniert durchs Gehäuse geschleudert, sondern an der Hinterseite beim PCI-Slot ausgepustet.
Ansonsten würde ich mir mal die "kleineren" 970er ansehen, bei denen die Kühlfinnen der Länge der Karte folgen und die Blenden hinten am PCI-Slot nicht so restriktiv ausfallen.
Dadurch förderst du nämlich den Abtransport der Hitze nach hinten raus.
KFA² GeForce GTX 970 Gamer OC, 4GB GDDR5, 2x DVI, HDMI, DisplayPort (97NPH6DT8RVZ) Preisvergleich | Geizhals Deutschland
EVGA GeForce GTX 970 ACX 2.0, 4GB GDDR5, 2x DVI, HDMI, DisplayPort (04G-P4-2972) Preisvergleich | Geizhals Deutschland
Im ITX-Format gäbe es noch diese hier:
ASUS GTX970-DCMOC-4GD5 DirectCU Mini OC, GeForce GTX 970, 4GB GDDR5, 2x DVI, HDMI, DisplayPort (90YV07C1-M0NA00) Preisvergleich | Geizhals Deutschland
Gigabyte GeForce GTX 970 Mini, 4GB GDDR5, 2x DVI, HDMI, 3x DisplayPort (GV-N970IXOC-4GD) Preisvergleich | Geizhals Deutschland
Wenn du unter den 300 Euro bleiben willst, dann würde ich dir z.B. eine
EVGA GTX 960 Superclocked ITX empfehlen.
Nutze sie selbst seit kurzem in einem winzigen 13 Liter Gehäuse und habe dennoch sehr annehmbare Temperaturen. Das Design der Karte geht unter den kompakteren 960ern auch noch am ehesten Richtung Direct-Heat-Exhaust.
Aber auch hier kämen natürlich wieder die klassischen
Referenz-Modelle infrage.
@ Leon861:
Bester Mann!

Welchen Kühler hast du denn nun?
Und welche Auflösung, etwa mehr als 720p?