DTS (für Consumer) ist ein Codec/ ein verlußtbehaftetes Komprimierungsverfahren. Was du dir wünscht ist, dass die PCM-Kanäle in Echtzeit zu DTS enkodiert werden, die dann dein AVR wieder in Echtzeit zu PCM dekodieren soll bzw. muss... klingelt was?
5.1 sind diskrete Kanäle und das sollte dein AVR ja wohl können. Windows-Soundeinstellungen für Multichannel vorgenommen? Mal am OnBoard-Sound per SPDIF oder Toslink versucht?