Welche Taste hast du als Capture-Taste vergeben, mal eine vom NUM-Block getestet?
Verschiedene Formate[BMP,PNG,JPG] mal getestet?
Läuft der RTSS im Hintergrund wenn das Spiel läuft?
Hast du modifizierte Direct3D Libaries installiert? Wenn ja mal in den Einstellungen des RTSS "Enable compatibility with modified Direct3D runtime Libaries" aktivieren.