Teste mal bitte IPv6. IPv4 geht da oft über DS-Lite und damit einem Provider-NAT, das öfter mal überlastet ist.
Das mit dem Telefon darf eigentlich nicht sein.
Wurde denn mal gemessen, ob die Signale mit ausreichendem Pegel am Modem ankommen, es keine Reflexionen gibt und keine Störsignale drauf sind? Gerade bei älteren/vermurksten Anlagen kann es zu Problemen kommen, wenn unpassende Verstärker oder falsch angeschlossene Dosen/Kabel vorhanden sind.