Workstation mit 6 Grafikkarten und Wakü möglich?

[Chogi]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

Da Nvidia bei der GTX295 auf zwei PCBs setzt ist der Einsatz von sechs solcher Karten leider selbst mit Wakü nicht möglich. Diese wären aber garantiert schneller als drei davon.

Naja beim ASUS P6T6 könnte man entweder 6 GTX 285 (WAKÜ, bisschen mehr als 6Teraflop theoretische Rechenleistung) oder nur 3 GTX295 (LUKÜ, dafür nur 5,3Teraflop) in diesem Fall (sofern es eine PCIe verlängerung nicht gibt, da sonst die Möglichkeit 6*295GTX->theoretisch 10TeraFlop, kleiner) 6*GTX285 WaKü (natürlich das gesamte Gehäuse ordentlich Lüftergekühlt)

Wenn ich jetzt aber das ASRock X58 SuperComputer nehme, habe ich die Möglichkeit 4 GTX295 unter zu bringen (theoretisch 7Teraflops)

Wobei mir fällt gerade ein, gibts nicht sogar Servernetzteile, wo 2 oder mehr einzellnen Netzteile in einem Gehäuse sind, wegen Ausfallsicherheit usw? Die müssten dann doch auch beide parallel geschaltet sein, da ja beide gleichzeit laufen müsseen, das der Server anbleibt wenn eins ausgeht?

Das mit den Servernetzteilen ist eine gute Idee. Ich werde da einmal ein bisschen recherchieren.

Gibt es nicht passende Server-Boards die 6 PCI-E Slots voll anbinden ?

Ich habe jetzt ein bisschen gesucht aber leider keines gefunden .

Core I7 wäre sozusagen ne Sparvariante.

Wie meinst Du das? Heißt das der bremst den PC zu sehr aus? Welchen würdest Du mir denn stattdessen empfehlen?

Hier wurde "vergleichbar mit F@H" angesprochen.

Damit wollte ich das Rechnen auf dere GPU verdeutlichen, aber im Prinzip das gleiche Prinzip. (auch wenn es komisch klingt)

Was wäre eigentlich mit dem Skulltrail? Laut Beschreibung 4x PCIe x16, aber ich glaube nur 1.0.

Das habe ich auch gesehen, doch leider kann man da nur max. 3 doppel-Slot Grafikkarten hineinstecken.

Wenn du schon sagst, das die Rechenarbeiten von den Grafikkarten übernommen werden sollen, wäre der Phenom auch ausreichend.

Ich habe mir nur gedacht dass eventuell (War einmal zumindest so), dass bei CUDA für jede GPU eine CPU Kern braucht (2x295GTX-> 4GPUs <-> Quadcore; 4x295GTX-> 8GPUs<-> Core i7, da zusätzlich noch 4 virtuelle Kerne). verbessert mich bitte falls ich mich irre!!!!

So:
PC-Erfahrung.de:*2. Netzteil einbauen*-*Anleitung zum Einbauen eines zusätzlichen Netzteils

mfg,
Mexxim

Super Mexxim danke!!! Ich werde es mir gleich durchlesen.



So ich hoffe ich habe soweit alle Fragen beantworten können. Nochmals danke, dass Ihr alle so engagiert dabei seid Ich bin total begeistert!

Lg


EDIT: Bei dem Slotblech bin ich mir nicht ganz sicher ob das auch auf die 285 passt. http://pics.computerbase.de/2/4/1/6/3/11.jpg Die Kollegen von CB haben da eine Nahaufnahme gemacht, auffälig sind die 2 Schrauben, eventuell halten die das Slotblech?

 

[CiSaR]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

Also das mit 2 Netzteilen ist kein Problem. Beim Silverstone TJ07 liegt sogar so ein Adapter bei da man in das Gehäuse auch 2 Netzteile einbauen kann. Den Adapter kannste haben liegt hier irgendwo rum.

Kann man denn nicht 2 PC´s mit einander verbinden und die halt als einen rechnen lassen? Die Supercomputer sind doch auch so aufgebaut oder?

@über mir: Die Slotblende sollte auch auf die GTX285 passen.

Du solltest aber vielleicht zu den GTX280 greifen. Weil du die Spannung unter Windows anheben kannst und sie damit höher übertakten könntest.
Für die Wakü solltest du dann aber ein paar MORA´s einplanen

 

[Chogi]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

Also das mit 2 Netzteilen ist kein Problem. Beim Silverstone TJ07 liegt sogar so ein Adapter bei da man in das Gehäuse auch 2 Netzteile einbauen kann. Den Adapter kannste haben liegt hier irgendwo rum.

Kann man denn nicht 2 PC´s mit einander verbinden und die halt als einen rechnen lassen? Die Supercomputer sind doch auch so aufgebaut oder?

@über mir: Die Slotblende sollte auch auf die GTX285 passen.

Du solltest aber vielleicht zu den GTX280 greifen. Weil du die Spannung unter Windows anheben kannst und sie damit höher übertakten könntest.
Für die Wakü solltest du dann aber ein paar MORA´s einplanen

Hmm... vielleicht habe ich mich da noch nicht so richtig ausgedrückt. Es geht um einen "Testrechner" der möglichst viel Rechenleistung haben soll. Wenn sich der bewährt, werden mehrere angeschafft. (in welcher Größenordnung weiß ich noch nicht ). Deshalb möchte ich möglichst viele Grafikkarten an ein MoBo heften, da so die "Nebenkosten" (CPU,MoBo,Ram,Gehäuse) gering gehalten wird. Wenn es klappt kommen die in den Server/Cluster-Raum und werden dort für angenehme Raumtemperatur sorgen

Was sind MORA's ? (Wenn ich das mit dem Übertakten wirklich hinbekommen soll, bräuchte ich einen Crashkurs für OC und WaKü) Noch viel arbeit vor mir habe. (Stimmt das, dass man EVGAs übertakten kann ohne Garantie zu verlieren? Ist für ne Öffentliche Einrichtung und würde dann nicht so gut kommen, alle 1/2 Jahre neue GKs zu kaufen)

 

[CiSaR]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

Hmm... vielleicht habe ich mich da noch nicht so richtig ausgedrückt. Es geht um einen "Testrechner" der möglichst viel Rechenleistung haben soll. Wenn sich der bewährt, werden mehrere angeschafft. (in welcher Größenordnung weiß ich noch nicht ). Deshalb möchte ich möglichst viele Grafikkarten an ein MoBo heften, da so die "Nebenkosten" (CPU,MoBo,Ram,Gehäuse) gering gehalten wird. Wenn es klappt kommen die in den Server/Cluster-Raum und werden dort für angenehme Raumtemperatur sorgen

Was sind MORA's ? (Wenn ich das mit dem Übertakten wirklich hinbekommen soll, bräuchte ich einen Crashkurs für OC und WaKü) Noch viel arbeit vor mir habe. (Stimmt das, dass man EVGAs übertakten kann ohne Garantie zu verlieren? Ist für ne Öffentliche Einrichtung und würde dann nicht so gut kommen, alle 1/2 Jahre neue GKs zu kaufen)

Achso, ich dachte halt das man 2 Rechner macht mit jeweils 3 Grafikkarten und die sind dann aber mit vollen Lanes angebunden.
Ich denke da du nur auf den Grafikkarten rechnen willst brauchst du keinen Core 7i. Der ist zu teuer. Ich denke das ein E8400 auch reichen dürfte. Die CPU hat bei CUDA ja nicht viel zu tun außer den RAM mit der Grafikkarte zu verbinden.

MORA´s sind große Radiatoren die das Wasser wieder abkühlen.

Der Crashkurs sollte kein Problem darstellen. Wenn du in Berlin wohnst könnte ich sogar vorbeikommen

Das mit EVGA ist so eine Sache und wenn ich das richtig weiß soll das nur für Kunden aus den USA gelten.

 

[Mexxim]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

Ein MORA ist der größte PC-Radiator -> Aquatuning - Der Wasserkühlung Vollsortimenter - Watercool MO-RA 2 Watercool MO-RA 2 36003
Fürs OC kommts halt drauf an was für ein Prozzi/Board, mach dazu am besten nochmal einen eigenen Thread auf.
Also bei EVGA Karten kann man afaik zumindest den Kühler ohne Garantieverlust wechseln, was ja bei WaKü Umrüstung notwendig wäre..

/edit: @Cisar: aber ein Sockel 775 Board mit 3-4 voll angebundenen PCIe Steckplätzen?....mir nicht bekannt...

 

[CiSaR]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

Ein MORA ist der größte PC-Radiator -> Aquatuning - Der Wasserkühlung Vollsortimenter - Watercool MO-RA 2 Watercool MO-RA 2 36003
Fürs OC kommts halt drauf an was für ein Prozzi/Board, mach dazu am besten nochmal einen eigenen Thread auf.
Also bei EVGA Karten kann man afaik zumindest den Kühler ohne Garantieverlust wechseln, was ja bei WaKü Umrüstung notwendig wäre..

/edit: @Cisar: aber ein Sockel 775 Board mit 3-4 voll angebundenen PCIe Steckplätzen?....mir nicht bekannt...

CPU und Board sind in diesem Fall egal da eh nur die Graka´s was zu tun haben.

EDIT: Mein Striker II Formula hat 3 PCIe Slot´s mit 16 Lanes.

 

[Stefan Payne]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

So:
PC-Erfahrung.de:*2. Netzteil einbauen*-*Anleitung zum Einbauen eines zusätzlichen Netzteils

mfg,
Mexxim

ACHTUNG, nicht zuhause nachmachen, da zwischen den Leitungen oder gar Masse Potentiale entstehen können

Für sowas gibts spezielle Netzteile die extra dafür vorgesehen sind.

Mit einfach nur 2 NTs zusammenkitten kann man auch viel kaputt machen!

 

[Chogi]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

Criticalcables.com :: 1.866.607.0445 :: - PE-FLEX16-15 - PCI Express X16 Flexible Extender 15"=

Das ist so eine verlängerung. aber ob das dann auch ohne Probleme (Latency) klappt :S. Nja hat da jemand Erfahrungen? Oder hat da den Durchblick?

Criticalcables.com :: 1.866.607.0445 :: - PE-FLEX16-15 - PCI Express X16 Flexible Extender 15"

Da stellt sich nur die Frage wiegroß da der Unterschied sein wird.
P6T6 mit 6x295GTX (3x16,2x8,1x4; PCIe verlängerungen) oder 2Pc's zu 3*295 (dafür Extra cPU,Mobo,Gehäuse).

MORA´s sind große Radiatoren die das Wasser wieder abkühlen.

Ahso

Der Crashkurs sollte kein Problem darstellen. Wenn du in Berlin wohnst könnte ich sogar vorbeikommen

Währe schön, aber leider in der Nähe von FRA :S

ACHTUNG, nicht zuhause nachmachen, da zwischen den Leitungen oder gar Masse Potentiale entstehen können

Für sowas gibts spezielle Netzteile die extra dafür vorgesehen sind.

Mit einfach nur 2 NTs zusammenkitten kann man auch viel kaputt machen!

Genau soetwas ist perfekt! Vielen Dank Stefan!

 

[CiSaR]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

ACHTUNG, nicht zuhause nachmachen, da zwischen den Leitungen oder gar Masse Potentiale entstehen können

Für sowas gibts spezielle Netzteile die extra dafür vorgesehen sind.

Mit einfach nur 2 NTs zusammenkitten kann man auch viel kaputt machen!

Also ich habe wie gesagt so ein Adapter und habe mal aus langeweile 2 Netzteile zusammen laufen lassen. Das ging ohne Probleme.

 

[Mexxim]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

Da stellt sich nur die Frage wiegroß da der Unterschied sein wird.
P6T6 mit 6x295GTX (3x16,2x8,1x4; PCIe verlängerungen) oder 2Pc's zu 3*295 (dafür Extra cPU,Mobo,Gehäuse).

Also mit dem 2. wirst du mehr leistung haben....allerdings das Programm auf 2 Rechner aufzuteilen und die zuätzlichen anschaffungskosten musst du gegen die mehrleistung abwägen....wieviel das ist kann ich leider nicht sagen..

 

[Chogi]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

Zitat:
Zitat von Chogi

Da stellt sich nur die Frage wiegroß da der Unterschied sein wird.
P6T6 mit 6x295GTX (3x16,2x8,1x4; PCIe verlängerungen) oder 2Pc's zu 3*295 (dafür Extra cPU,Mobo,Gehäuse).

Also mit dem 2. wirst du mehr leistung haben....allerdings das Programm auf 2 Rechner aufzuteilen und die zuätzlichen anschaffungskosten musst du gegen die mehrleistung abwägen....wieviel das ist kann ich leider nicht sagen..

Also das Programm ist sowieso so geschrieben, das es in einem Cluster angewendet werden kann (werden soll). Hm stellt sich die Frage, ob es auch ein MoBo gibt das 4 x16 Lanes zu verfügung stellt (mit abstand zwischen den Slots für Dualslot Grafikkarten, oder ob der Unterschied (nforce 200 Chip) mit 3x16 und 1x8 zu merken ist. (wenn die Gesamtperformance nur um 5% abnimmt dann kann man das, denke ich mal, verschmerzen). Aber da kennt Ihr Fachmänner euch mit Sicherheit besser aus als ich.

Edit: Schaut mal was ich da gefunden habe:MSI Eclipse Plus, X58 http://geizhals.at/deutschland/a400382.html (nVIDIA nForce 200 Chip, nVIDIA Quad-SLI (x16/x16/x16/x16), ) Wenn man der Geizhals beschreibung glauben kann.

 

[CiSaR]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

Also das Programm ist sowieso so geschrieben, das es in einem Cluster angewendet werden kann (werden soll). Hm stellt sich die Frage, ob es auch ein MoBo gibt das 4 x16 Lanes zu verfügung stellt (mit abstand zwischen den Slots für Dualslot Grafikkarten, oder ob der Unterschied (nforce 200 Chip) mit 3x16 und 1x8 zu merken ist. (wenn die Gesamtperformance nur um 5% abnimmt dann kann man das, denke ich mal, verschmerzen). Aber da kennt Ihr Fachmänner euch mit Sicherheit besser aus als ich.

Edit: Schaut mal was ich da gefunden habe:MSI Eclipse Plus, X58 MSI Eclipse Plus, X58 (triple PC3-10667U DDR3) (7566-010R) Preisvergleich bei Geizhals.at Deutschland (nVIDIA nForce 200 Chip, nVIDIA Quad-SLI (x16/x16/x16/x16), ) Wenn man der Geizhals beschreibung glauben kann.

Na das Board sieht doch gut aus aber der Preis ist ja mal der Hammer

 

[Dr.House]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

Wie der Verlust durch die nicht vollwertigen PCI-E Slots (16 Lanes) sein wird,hängt auch davon ab ,wie weit die Grafikkarten ausgelastet werden und von der Datenmenge die da verarbeitet wird.
(bei 100 % Auslastung) sollte sich das bemerkbar machen.

Wegen NT ,das ist kein Problem wenn man 2 normale NT´s nimmt.
Spezielle Redundante NT´s vom Serverbereich kosten locker 1500 €
Mit 2 normalen á 1000 Watt (oder kleiner) bist du bestens bedient und da kann nix daneben gehen. (Extrembencher benutzen oft 2-3 NT´s - für CPU,Grakas u.s.w.).

Mit Übertakten werde ich das sein lassen, da die Karten im Dauerbetrieb am sichersten unübertaktet laufen. Es reicht ja wenn der PC mal einfriert und alle Daten futsch sind. Die haben auch so genug Leistung.

Nimm am besten 5 x GTX 285 mit dem Asus P6T6 WS,da sollte man keine große Leistungseinbrüche spüren. Und die sechste wird eh mit 1 Lane angebunden-das ist nur mist. Oder 3 x 295 GTX.


Zum Thema Wasserkühlung kommen wir wenn du die Hardware hast.


Grüße House

 

[CiSaR]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

Wie der Verlust durch die nicht vollwertigen PCI-E Slots (16 Lanes) sein wird,hängt auch davon ab ,wie weit die Grafikkarten ausgelastet werden und von der Datenmenge die da verarbeitet wird.
(bei 100 % Auslastung) sollte sich das bemerkbar machen.

Wegen NT ,das ist kein Problem wenn man 2 normale NT´s nimmt.
Spezielle Redundante NT´s vom Serverbereich kosten locker 1500 €
Mit 2 normalen á 1000 Watt (oder kleiner) bist du bestens bedient und da kann nix daneben gehen. (Extrembencher benutzen oft 2-3 NT´s - für CPU,Grakas u.s.w.).

Mit Übertakten werde ich das sein lassen, da die Karten im Dauerbetrieb am sichersten unübertaktet laufen. Es reicht ja wenn der PC mal einfriert und alle Daten futsch sind. Die haben auch so genug Leistung.

Nimm am besten 5 x GTX 285 mit dem Asus P6T6 WS,da sollte man keine große Leistungseinbrüche spüren. Und die sechste wird eh mit 1 Lane angebunden-das ist nur mist. Oder 3 x 295 GTX.


Zum Thema Wasserkühlung kommen wir wenn du die Hardware hast.


Grüße House

Oder dieses MSI Board, sind zwar nur 4 Karten aber alle mit 16 Lanes.

 

[Dr.House]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

ob das wirklich 4 x 16 Lanes sind ist nicht ganz klar. Meistens steht unten drunter klein geschrieben 3 x 16 + 1 x 4 oder so.

Wenn es aber stimmen sollte,muss man auch gucken ,ob man 4 GTX 295 drauf kriegt. Das wäre ein Monstrum.

 

[CiSaR]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

ob das wirklich 4 x 16 Lanes sind ist nicht ganz klar. Meistens steht unten drunter klein geschrieben 3 x 16 + 1 x 4 oder so.

Wenn es aber stimmen sollte,muss man auch gucken ,ob man 4 GTX 295 drauf kriegt. Das wäre ein Monstrum.

4x 16 hat es aber du bekommst maximal 3 GTX295 drauf oder vier GTX285.

 

[Stefan Payne]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

So, mal butter bei die Fische, wie ichs machen würde:

Das vorgeschlagene MSI K9A2, oder auf das warten MSI -- MICRO-STAR INT'L CO., LTD. 790FX-GD70, dazu ein Phenom 2, 940 und 2x 4096MiB Riegel, fürn Anfang.
Muss ja nicht soo viel Leistung haben, da ja alles auf der GPU laufen soll...

Dazu ein Anständiges NT, wie Silverstones Zeus (die werben schon mit 1% Ripple!)
SilverStone Zeus ZU1200M, 1200W ATX 2.2 Preisvergleich bei Geizhals.at Deutschland
JonnyGURU.com - Power Supply Reviews and more! - Reviews - Silverstone Zeus ZM1200M 1200W
Ggf. auch gleich entsprechende Server Netzteile.

Da könnt man dann ohne Probleme 4 GTX285 reinstecken, oder notfalls auch 3 GTX295.

 

[Chogi]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

Na das Board sieht doch gut aus aber der Preis ist ja mal der Hammer

Also der Preis ist Ok (Zahl ja nicht ich ) wenn das mit den 4x16 Lanes klar geht Stellt sich die Frage, (habe leider kein großes Bild von dem Board gefunden, nur die eine Miniaturansicht bei Geizahls) ob man den untersten PCIe Slot mit so einer verlängerung "ein Slotblech nach unten" verlängern kann und dann dort noch eine Dual-Slot Karte reinstecken kann.

Wie der Verlust durch die nicht vollwertigen PCI-E Slots (16 Lanes) sein wird,hängt auch davon ab ,wie weit die Grafikkarten ausgelastet werden und von der Datenmenge die da verarbeitet wird.
(bei 100 % Auslastung) sollte sich das bemerkbar machen.

Gibt es ein Tool (so à la Taskmanager beim CPU) mit dem man die Auslastung der GPU auslesen kann? Aber ich denke einmal, dass die GPU's mit 100% fahren werden

 

[Stefan Payne]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

Das doofe ist, das so ein nForce 200 Switch nicht so wirklich viel Leistung bringt, von daher sind die '4x 16 Lanes' eher Marketing denn Sinnvoll, zumal die 32 Lanes eh via 16 zum Chipsatz laufen...

 

[CiSaR]

AW: Workstation mit 6 Grafikkarten und Wakü möglich?

So, mal butter bei die Fische, wie ichs machen würde:

Das vorgeschlagene MSI K9A2, oder auf das warten MSI -- MICRO-STAR INT'L CO., LTD. 790FX-GD70, dazu ein Phenom 2, 940 und 2x 4096MiB Riegel, fürn Anfang.
Muss ja nicht soo viel Leistung haben, da ja alles auf der GPU laufen soll...

Dazu ein Anständiges NT, wie Silverstones Zeus (die werben schon mit 1% Ripple!)
SilverStone Zeus ZU1200M, 1200W ATX 2.2 Preisvergleich bei Geizhals.at Deutschland
JonnyGURU.com - Power Supply Reviews and more! - Reviews - Silverstone Zeus ZM1200M 1200W
Ggf. auch gleich entsprechende Server Netzteile.

Da könnt man dann ohne Probleme 4 GTX285 reinstecken, oder notfalls auch 3 GTX295.

Also das 2te Board hätte 4x 8 Lanes aber dafür gehen da auch 4 GTX295 rein.