Xen und 3D

[DragonTEC]

Hehe, und so sammeln sie sich Echt schön zu sehen das ich mit meinen Plänen nicht alleine bin!

Das mit AMD und AMD-Vi (so heißt VT-d bei AMD inzwischen) ist ein guter Hinweis, ich hab den Jungs jetzt mal ne mail geschrieben in der ich sie explizit gefragt hab, wie es mit dem support und VGA-Passthrough im allgemeinen aussieht.. mal gucken, ob da eine antwort kommt, die spec sheets waren leider nicht sehr aufschlussreich..

Ansonsten gehts für mich in 2 Wochen dann wohl auch los mit basteln.. ich werde berichten..

 

[Bauer87]

Wenn ich das (frühestens in zwei Monaten durchziehe, wird das definitiv auf AMD-Basis passieren: Eine neue CPU möchte ich mir nicht kaufen, weil ich mit meiner vollkommen zufrieden bin. Freue mich auf jeden Fall auf den Bericht.

 

[Psytis]

hat schon jemand versucht unter XEN mehrere VMs mit GPU unterstützung zu verwenden?
ich habe dazu nur mal für WIN bei Parallels Workstation gesehn dass die zwischen den VMs die GPU unterstützung wechseln können. das aber nur mit ner Quadro 3800 oder höher. ist das wechseln unter XEN möglich oder muss jede VM seine eigene grafikkarte zugewiesen bekommen?

 

[DragonTEC]

also ich GLAUBE (noch nicht getestet), das das wechseln prinzipiell möglich ist, allerdings nicht der gleichzeitige betrieb..

du weißt also mehreren VMs eine Grafikkarte zu und musst aufpassen das nie 2 VMs gleichzeitig laufen.. dann kannst du ja recht bequem per script steuern, das geguckt wird, ob die grafikkarte zur verfügung steht, dann vm booten und beim runterfahren die vm wieder freigeben..

 

[DerKlops0r]

vom persönlichen gefühl her würd ich auch eher sagen, dass klappt nicht. die daten im speicher eine grafikkarte müssten ja dann seperat für mehrere VMs sein, dass klingt nicht so als würde eine grafikkarte typischerweise damit umgehen können. bei mehreren grafikkarten geht das natürlich, da kann man ja pro VM eine grafikkarte dediziert durch-schleifen.
und die weitere denkbare möglichkeit wäre sowas wie plug'n'play dafür, d.h. erst grafikkarte für VM1 deaktivieren/entfernen und somit komplett 'frei machen' für den gebrauch und dann die selbe grafikkarte für VM2 aktivieren/dranhängen. allerdings weiss ich nicht ob xen und die gast VMs (Windows anyone?) dies wirklich unterstützen. <<< ich nehm mal an das wurde gefragt

mal noch eine andere frage: weiss jemand ob eine GUI-basierte (Windows) GPU-unterstütze VM innerhalb (!) der GUI des host systems (dom0) arbeiten kann, inklusive ausgabe von z.B. Spielen oder Filmen, also bei etwas dass die GPU benötigt???

also quasi ich hab ein "fenster", welches die VM beinhaltet, offen innerhalb der host-systems GUI
oder is von GUI für das host system eh abzuraten? ich würde gern das windows innerhalb des GUIs eines linux laufen haben inkl. GPU-support/ausgabe

Gruß

 

[Bunkasan]

Also ne Zweitkarte kann man ohne Probleme an mehrere VM´s durchreichen, allerdings nicht im Betrieb, da ohne das laden des Graka-Bios (zumindest bei den Karten die ich testen konnte) für den Betrieb notwendig ist. Auf ne GPu-unterstützte VM unter Linux im Fenster zugreifen is kein problem, sach nur vnc, das wird aber auch das Ende der möglichkeiten sein. Werde später auch noch ne neue Version des Scriptes mit lecker frischen Patches hochladen...

Wer sich die hardware noch zulegen will, sollte sich daran orientieren:

CPUs known to work (with a motherboard from below list and a proper BIOS):

• Intel Core2Duo (with VT-x)
• Intel Core2Quad
• Intel Core i7
• Intel Core i5 (vPro Brand)

For VT-d enabling work on Xen, we have been using development systems using following Intel motherboards:

• DQ35MP
• DQ35JO
• Notes on VT-d compatibility:
  • VT-d is enabled on the following chipsets:
    • Intel Q35 (desktop / workstation)
    • Intel Q45 (desktop / workstation)
    • Intel X58 (desktop / workstation)
    • Intel 55x0 (server)
    • Intel 3450 (workstation / server)
  • The following chipsets have VT-d capability in theory, but most OEMs (such as Asus and Gigabyte) do not have it enabled on boards based on these:
    • Intel X38 (desktop / workstation)
    • Intel X48 (desktop / workstation)
    • Intel 32x0 (server)
  • For Intel Desktop Boards, these have VT-d support enabled:
    • Intel DQ35JO
    • Intel DQ35MP
    • Intel DX38BT
    • Intel DX48BT2
    • Intel DQ45CB (BIOS 0061 required, previous versions are known to cause problems)
    • Intel DQ45EK
    • Intel DX58SO
  • For ASUS Desktop Boards, these have VT-d support enabled, but Asus does NOT support Linux, so you are on you're own with any Linux or Xen issues like broken BIOSes:
    • ASUS P5E-VM DO (Intel Q35 chipset) requires IGD to be enabled (otherwise DMAR-table becomes corrupted)
    • ASUS P6T Deluxe (Intel X58 chipset) requires (currently non-public) BIOS update to correct DMAR-table issue
    • ASUS P6T6 WS Revolution (Intel X58 chipset) incorrect bios DMAR-table
    • ASUS Z8NA-D6 (dual processor nehalem board) works
  • Most server boards based on the Tylersburg chipset (55x0) and few boards based on 32x0 should have working VT-d, known examples are:
    • Intel server board: S3210SHLX (BIOS >R0044 required.)
    • Supermicro server mainboard: X8DT3-F
  • These motherboards are known to have broken BIOS preventing IO virtualization (VT-d IOMMU) from working:
    • Supermicro X7SB4 (with official BIOS 1.2a) has broken ACPI DMAR table with zero length entries. BIOS version 1.3 Beta fixes the problem.
    • Samsung X460 laptop: BIOS doesn't provide DMAR table so VT-d cannot be used.
• As far as we know, following OEM systems also have VT-d enabled. Feel free to add others as they become available.
  • Dell: Optiplex 755
  • HP Compaq: DC7800
  • Fujitsu-Siemens: Esprimo 5925
  • Lenovo: ThinkStation E20 and Thinkserver TS200v

AMD desktop chipsets with IOMMU support

• AMD 890FX chipset supports IOMMU. Other 890 chipsets don't have IOMMU support!
• Altough the chipset supports IOMMU, the bios must have a ACPI IVRS table to be able to use it. So actual support depends on the motherboard manufacturer. At the time of writing all motherboards seem to have a (beta)bios available supporting the IOMMU. A thread with user expiriences can also be found at this forum: http://forums.tweaktown.com/f69/ga-890fxa-ud5-iommu-bios-switch-39801/
• Motherboards with a BIOS supporting the IOMMU(as reported by users):
  • ASUS Crosshair IV (reported working by Jens Krehbiel-Gräther)
  • ASUS M4A89TD Pro/USB3 (reported working by Jens Krehbiel-Gräther)
  • Asrock 890FX Deluxe3 (reported working by Jens Krehbiel-Gräther)
  • Biostar TA890FXE (from bios version 89FAD629.BST reported working by Joop Boonen)
• Motherboards with a beta-bios available from tech-support that supports the IOMMU:
  • Gigabyte GA-890FXA-UD5
  • Gigabyte GA-890FXA-UD7
  • MSI 890FXA-GD70 (from beta-bios 1.75 reported working by Sander Eikelenboom)

AMD server (opteron) chipsets with IOMMU support

AMD SR5690 / SR5670 (Tyan S8212)


Alles andere erzeugt nur frust und gefrickel, erlebe es selbst gerade, und ziehe es bereits in betracht, mein Rampage BIOS zu modden um die RMRR Tables zu korrigieren, damit ich meinen USB-Controller ohne Stabilitätsprobleme durchreichen kann...

Und noch was zu lachen für euch... Xen und der ultimative Poserscreen...

EDIT: Die nacht war kurz, der Tag war lang, das Script gibts morgen...

 

[Psytis]

ich hab da nochmal nachgesehn
Parallels Workstation 4.0 Extreme ? Parallels Desktop-Virtualisierungsplattform & Virtuelle Computer-Services
da gibts ein demo video
die Grafikkarte muss SLI multi OS fähig sein
NVIDIA® SLI® Multi-OS

 

[DerKlops0r]

mh, an VNC hat ich auch schon gedacht, habe gehofft es gibt noch eine 'elegantere' variante. nagut
würde mich mal intressieren wie xen es managed eine GPU für mehrere VMs gleichzeitig (hab ich doch richtig verstanden?) zu managen, oder meintest du man kann sie an mehrere durchreichen, aber benutzt werden dann höchstens von einer???

btw. schöner screenshot

 

[Bunkasan]

Wahrlich, allzu elegant ist VNC nicht, von der Performance mal abgesehen. Aber andere Möglichkeiten fallen mir (gerade) auch nicht ein, zumal du ja auf eine, bereits an ein Ausgabegerät gebundene, VM nutzen willst. Also beim primary passtrough is die Nutzung von einer Karte durch mehrere VM´s genausowenig möglich wie beim secondary, welcher ja noch nicht mal offiziell implementiert wurde. Die einzige Lösung scheinen (bisher) die erwähnten Nvidiakarten zu sein. Wobei ich keine Ahnung habe wie die sich unter XEN verhalten. Beim primary passthrough wird der Speicherbereich in dem das Grakabios geladen wurde, direkt an die VM durchgereicht, beim secondary ein einkopiliertes genutzt. Weiß nich wie ne Graka reagiert wenn sie von mehreren gleichzeigit angesprochen wird, aber verwirrung ist wohl vorprogrammiert...

Edit: Ne auch ganze elegante Lösung ist die doppelverkabelung der Monitore mit DVI und VGA jeweils an eine Karte, so nutz ich das zur Zeit...

 

[DragonTEC]

haha, sehr geiler screen bunkasan..

ach ja, und falls wer wissen will, wo bunkasan die infos her hat, die gibts hier: VTdHowTo - Xen Wiki

ob man jetzt aber ne dumU im window auf ner dom0 anzeigen kann wobei dom0 an graka1 und domU an graka 2 hängt, weiß ich nicht.. ich würde es aber fast vermuten.. sogar, das man die domU übers netzwerk schleifen kann und dann zB am Laptop die power der Server-Grafikkarte nutzen kann.. hat das mal wer versucht?

Außerdem hab ich Nachricht von AMD: die Phenom II (zumindest die X6 definitiv) supporten AMD-Vi.. für das Crosshair wollte AMD nix sagen, aber da das da oben auch in der liste steht nehm ich das mal als gesichert an.. damit bleib ich bei meiner kombi aus 1090T und Crosshair IV..

durch das parallels video bin ich irgendwie nicht durchgestiegen.. zu viel bullshit bingo, zu wenig content..

ach, was freu ich mich wenns bei mir nächste woche los geht

 

[Bunkasan]

Zugriff von Dom0 auf DomU auf unterschiedlichen Grakas is mit VNC kein Problem, habs grad versucht, aber eben nur mit den bekannten Performanceeinbußen.

Danke für den Link DragonTec, habsch doch glatt vergessen... ich sollte ins bett...

 

[DerKlops0r]

FULL_ACK: Das Crosshair IV kann IOMMU (aka VT-d aka AMD-Vi), steht ja auch in der VTdHowTo. Wenn man sich bei TweakTown im Forum so umschaut scheinen auf jedenfall die AsRock und ASUS Boards IOMMU-fähig zu sein (bzgl. AM3) --- meist dank BIOS Update.

Da Ich (hoffentlich) recht billig an ein Phenom II X4 komme, werde ich es wohl mal mit dem AM3-Board von AsRock versuchen. Kommt mich insgesamt billiger als meine eigentlich geplante 1366er-Variante. Muss mir nur noch irgendwoher eine zweite Grafikkarte herstibitzen für VGA Passthrough. Mal sehen was sich in den nächsten Tagen ergibt.

Gruß

ps. 1366 scheint ja so langsam zu Grabe getragen zu werden wenn alles glatt läuft mit Xen und VGA Passthrough auf AM3 bin ich mal sehr gespannt auf Sandy Bridge (1155) und dessen LGA2011 Kompagnon --- aber bis dahin ist noch genug Zeit für AM3-Tests & Erfahrung-Sammlerei

 

[DragonTEC]

theoretisch bräuchtest du nicht mal ne 2. Grafikkarte.. du könntest auch die primary durchschleifen.. müsstest dir nur entweder n script schreiben, das folgendes macht und auf dom0 ausgeführt wird:

dom0 - Grafikkarte klauen
graka an domU binden
domU starten

und eins, das das wieder zurückschiebt..

alternativ könntest du auch deine dom0 über laptop per ssh steuern und bräuchtest da auch keine 2 grakas zu..

Das ganze hab ich nämlich vor, weil ich mir dachte: auf der dom0 werd ich eh nicht arbeiten, die nehm ich nur zur xen verwaltung und wenn ich mit einer der VMs arbeite / zocke, dann ist eh nur immer eine aktiv die die graka braucht, daher wurde die 2. graka in meinem konzept aus kosten und stromgründen kurzerhand wegrationalisiert

 

[Bunkasan]

Das ganze hab ich nämlich vor, weil ich mir dachte: auf der dom0 werd ich eh nicht arbeiten, die nehm ich nur zur xen verwaltung und wenn ich mit einer der VMs arbeite / zocke, dann ist eh nur immer eine aktiv die die graka braucht, daher wurde die 2. graka in meinem konzept aus kosten und stromgründen kurzerhand wegrationalisiert

Ohne dir jetzt zu nahe treten zu wollen, aber führt das nicht, da ein Hotplug nach dem Boot die Grafikkarte ohne funktionalität in die DomU einbindet, bzw du für einen Grafikkartenswap bei den mit der Karte gebooteten DomU´s (sofern die DomU´s sich die karte klauen und funtional wieder zuweisen lassen) einen Laptop zum ausführen des betreffenden scriptes bräuchtest, die Bequemlichkeit eines xen gegenüber Dualboot ad absurdum?

 

[DragonTEC]

naja, die idee mit dem script braucht ja kein anderes gerät über ssh.. ich stell mir das im endeffekt so vor das du in die konsole von der dom0 nur "start xp" eingibst, der bildschirm kurz flackert und der xp ladescreen kommt..

und was die andere idee angeht: ich hab n putty aufm handy (weil ich früher immer meine musik über handy per linux consolenplayer laufen hatte), von daher würde ich das nicht so kritisch sehen und zum ersten testen bevor das script läuft is das bestimmt brauchbar

 

[freakywilli3]

Okay... das hat natürlich was... versuche mal einer laufenden VM die Karte zu klauen und wieder zuzweisen, wenn der nächste post etwas dauert, gehts nicht...

Edit: falscher login... Kumpel war grad dran...

 

[Bunkasan]

Wirst wohl um einen kompletten reboot des jeweiligen Systems nicht rumkommen, pausiert sowie laufend fatalized ein Hotplug der Grafikkarte die VM.

Edit: ...und das komplette PCI backend... zumindest bei mir gerade...

 

[DragonTEC]

hmm... man könnte meine ssh idee auch so weiterentwickeln, das man ne opfervm hat, die das switch auslöst und dann verreckt, wenn ihm die vga geklaut wird..

hier noch einen interessanter threat: http://www.gossamer-threads.com/lists/xen/devel/174618?do=post_view_threadedhttp://old.nabble.com/How-to-switch-VGA-passthrough-live-td28777674.html

 

[DragonTEC]

sagt mal, was mir grad einfällt: wie macht ihr das denn mit euren Keyboards / Mäusen? müssten die nciht genau so durchgeschleift werden? ^^

 

[Bunkasan]

Ich hab den weg des geringsten aufwandes gewählt, einen der beiden Usbcontroller durchgereicht, zwei kabel von je einem der beiden Controller zun nem 4-pol Umschalter und dann aufn Usbhub. So switchte deine gesamte I/O von eine System bequem ins andere.

hier noch einen interessanter threat: http://www.gossamer-threads.com/list..._view_threaded

Damit wäre zumindest der pci backend crash zu umgehen, eine zweite Vm mit der Karte startbar, ein reassign aber leider noch nicht möglich. da bleib ich lieber bei der Stromverschwendung einer kleinen passiven Zweitkarte Für die Non-zocking-vm.