Ich persönlich würde auch eher auf den Treiber tippen. Aber bevor du Windows jetzt neu aufsetzt, poste hier mal die Daten, wenn die FPS droppen. So wie es einige schon vorgeschlagen haben. Sonst würde es mich mal interessieren, was passiert, wenn du mal einen Benchmark laufen lässt . ( Nur so aus Interesse) z.B. 3D Mark Fire Strike.
Denn wenn du im Graphics test auch unterdurchschnittlich wenige FPS hast, kann es schon fast nicht mehr nur an der CPU liegen. ( Logischerweise wird der Physic Score nicht sonderlich hoch sein). Zum Vergleich: Meine Asus DCUII-2GB Oc GTX 760 liegt @ Stock bei:
Graphics test 1: 30.5 fps
Graphics test 2: 25.37 fps
Physics test (i7 4930k) ( Nur damit du mal den Unterschied siehst): 46.31 fps
Combined Test: 11.43 fps
Ps: Hab mir mal die Physics Score von deiner CPU angesehen und muss sagen, dass mein alter Lynnfield (i5-760) trotz zwei Kerne weniger mit ein bisschen OC vorne liegt. ( Mit 3.8 GHz hatte ich so um die 22 fps)