Minimale Radigröße

[Research]

AW: Minimale Radigröße

Hmm.

Aus dem Serverbereich gibt es keine Boards?

Kann mich erinnern das es welche mit mehr gab....

 

[Superwip]

AW: Minimale Radigröße

Wenn man ein "altes" Bios hat, dann startet der Rechner nicht mehr, da der Adressraum, den das Bios verwalten kann zu klein ist.

Na ja, sämtliche Dual-Sockel 2011 Boards sollten ein "modernes" UEFI besitzen, es wäre ja auch völlig sinnlos mehr Slots zu verbauen als genutzt werden können (auch wenn das bei einzelnen älteren Boards so war/ist)

Es gibt aber auch eins mit 8 Slots, das ist dann aber direkt als komplettes Rack ausgelegt, und das wird dann doch etwas schwierig sich daheim hin zu stellen

Na ja... wieso nicht?

Um welches Board handelt es sich?

 

[Skysnake]

AW: Minimale Radigröße

Kann ich dir nicht sagen. Mir wurde nur gesagt, das es eins gibt, aber das nicht praktikabel ist, da es sich dabei um eine Komplettlösung im Rack handelt. Ist wahrscheinlich noch nicht am Markt.

@Research:
Das Problem an den NTs wird wohl das Anschließen der GPUs sein. Die NTs sind normal Redundant ausgelegt, und oder haben andere Stecker, die man so nicht gebrauchen kann. Ich muss mir das aber mal genauer anschauen.

Dazu kommt noch, dass die Dinger halt echt gewaltig sind, und verdammt teuer. Da kommste mit mehr normalen ATX-NTs im Normalfall billiger weg, und kannst dir sicher sein, dass das auch alles ohne Probleme funktioniert.

EDIT:
Ich hab nochmal geschaut, das sind alles nur Plug-In NTs, die soweit ich das überblicken kann gar keine eigenen "Anschlüsse" für Geräte haben, sondern nur welche für spezielle Gehäuse. Die ganzen genannten NTs fallen daher raus.

 

[Superwip]

AW: Minimale Radigröße

Um auf das Wesentliche zurückzukommen: in das Elysium !sollten! folgende Radis passen, wenn zwei Netzteile verbaut sind:

2x120mm Front
1x140mm Rückseite
2x140mm Unten
2x140mm Oben
___
5x140mm+2x120mm

Mit dicken Radis und schnellen (~2000U/min) Lüftern sollte das relativ bequem ausreichen.

Aufgrund der größeren Reserve würde ich dennoch eher einen externen Radiator nehmen, die Portabilität sollte nicht wesentlich darunter leiden, der PC wird dafür wenigstens leichter. Gegebenenfalls könntest du natürlich auch auf einen optionalen externen Radi setzen.

 

[Research]

AW: Minimale Radigröße

Hmm, 1500er gab es als normale Desktops.

Die müssten gehen: Vergleich für Chieftec CFT-1200G-DF, Silverstone SST-ST1200 1200W, Xilence SPS-XP1200.CS (1200W), Xilence Modular REV3 1200W, Silverstone Strider Gold 1200W, Club3D CSP-X1200CS 1200W, SuperFlower Golden Green Modular 1300W
Vergleich für Antec TruePower Quattro 1200W, GEIL Thortech Thunderbold 1200W, Thermaltake Toughpower Grand 1200W

 

[Skysnake]

AW: Minimale Radigröße

Für die kleine oder die große Konfiguration?

Wobei ist auch egal. Nimmt man halt einfach stärkere Lüfter, dann passt das auch. Das sollte ich dann wohl auch im Fulmo unterbringen können.

Jetzt muss ich dann noch warten, was die einzelnen Leute dazu sagen, und vorallem schauen, wohers die GPUs gibt.... die ganzen Boardpartner sind ziemlich verschlossen, weil Sie selbst zu wenig haben

@Research: Die 1200/1500W Netzteile bin ich schon lange alle durch. Auf der Liste steht 2x Enermax mit 1,5kW.

Es gibt nur nichts, mit dem man auch 7/8 7990 versorgen könnte mit nur 2 NTs.

 

[Superwip]

AW: Minimale Radigröße

Na ja, es gibt durchaus auch einige 1,5kW ATX Netzteile:

Netzteile & USV/Netzteile mit Leistung ab 1500W, Spezifikation: ATX 2.2/ATX 2.3 | Geizhals.at EU

Für die kleine oder die große Konfiguration?

Für alles.

Einem dicken 120er würde ich mit 2000U/min Lüfter wenns hart auf hart kommt ~300W zumuten, einem 140er ~400W

Jetzt muss ich dann noch warten, was die einzelnen Leute dazu sagen, und vorallem schauen, wohers die GPUs gibt.... die ganzen Boardpartner sind ziemlich verschlossen, weil Sie selbst zu wenig haben

Du willst einzelne GPUs kaufen?!

 

[Skysnake]

AW: Minimale Radigröße

Superwip, die NT Sache ist durch. Nur wenn wer etwas mit >2kW sieht, was PCI-E Kabel hat, UND! sich dem 100% sicher ist, kann dies gern posten, ansonsten ist die Auswahl extrem überschaubar und von mir abgegrast.

Für alles.

Einem dicken 120er würde ich mit 2000U/min Lüfter wenns hart auf hart kommt ~300W zumuten, einem 140er ~400

DAS nenn ich mal jetzt eine Aussage, wie ich Sie mir gewünscht habe Damit kann ich jetzt planen, und mir die Sachen genau anschauen. Ich muss aber auf einige Dinge eh noch warten, und hab keine Ahnung, ab wann die da sind.

Du willst einzelne GPUs kaufen?!

kaufen kann ich mir gar nichts -.- dafür ist kein Geld da. Das muss komplett über sponsoring laufen... MB, CPU, Pumpe(inkl. Radi?) sind da schon abgehackt, der Rest fehlt aber noch, und die GPUs könnten sich wohl als das Hauptproblem rausstellen, einfach weil die Verfügbarkeit so gering ist.

Das ganze läuft halt als Machbarkeitsstudie. Die wenigen Aufbauten, die es bis jetzt gab, sind entweder offen, oder haben extreme Temperaturprobleme. Ganz abgesehen davon, dass Sie ohne (aktive) PCI-E Risercables nicht auskommen. Das ist halt der Ansatzpunkt. Alles in einem Case 24/7 kühlbar, keine aktiven PCI-E Risercables, keine Sonderanfertigungen, Laneanbindung vergleichbar zu aktuellen GPU-Servern, Effizienz durch viele GPUs/Host (wir reden hier ja von 3,5x so vielen GPUs/Host, bzw. im Clusterdesing von 3x so vielen GPUs/Host, da man noch Platz für einen NIC brauch) und eben das Ding überhaupt zum laufen bekommen, was nicht trivial ist. Unter linux kann ich auf jemanden zurückgreifen mit 8 Karten, unter Windows bin ich mit diesem atm daran, eine Lösung zu finden, da das System immer wegen Treiberproblemen abschmiert...

Das Interesse in der Wirtschaft ist auch durchaus vorhanden. Die ganzen Lösungen waren bisher halt Bastellösungen, die man so nur für spezielle Sachen verwenden kann. Mit dem Dual S2011 steht das Fundament für einen weiten Einsatzbereich. Man muss jetzt nur noch die anderen Probleme in den Griff bekommen, und dass die vorhanden sind steht ja wohl ohne Zweifel fest

 

[Research]

AW: Minimale Radigröße

Solange es genug 12-Volt Schienen (+Kabel) bietet sollte es kein Problem sein.

Oder sehe ich das falsch??

http://www2.hardwareversand.de/articledetail.jsp?aid=55069&agid=1633&pvid=9ly847nny_0&ref=27&lb

1 x power 24 pin ATX with detachable 4 pin section ¦ 1 x power 8 pin EPS12V with detachable 4 pin ATX12V section ¦ 12 x 15 pin Serial ATA power ¦ 6 x 4 PIN internal power ¦ 1 x 4 PIN mini-power connector ¦ 1 x 6 pin PCI Express power ¦ 5 x 8 pin PCI Express power with detachable 2 pin section

2 Netzteile sollten genug haben.

Wie sieht es mit 7990 aus? http://www.pcgameshardware.de/aid,879774/Radeon-HD-7990-Computex-2012-Release-Juni/Grafikkarte/News/

Oder geht es um 8 Karten in einen PC?

 

[Skysnake]

AW: Minimale Radigröße

Erstmal "nur" 8 Karten

In dem weiter vorne verlinkten Projekt gings mit 5 6990 ja auch schief. Daher sind erstmal "nur" die 8 7970 geplant, und wenn das alles reibungslos läuft, wovon am Anfang GANZ und gar nicht auszugehen ist, wird geschaut, ob man die 8 7970 gegen 8 7990 austauschen kann. Ich bin mir hier aber wirklich nicht sicher, ob inzwischen das BIOS von MB und GPUs auf >32Bit umgestellt wurde. Wenn nicht, brauch man wieder Bios und Kernel hack, und das kannste halt echt vergessen. Der Aufwand ist viel zu groß, womit man die Sache dann für die "breite" Masse dann vergessen kann, und genau darum gehts ja, solch ein Konzept für die breitere GPGPU-Masse interessant/nutzbar zu machen. Und selbiges geht halt nur mit WaKü und ohne fiese Hacks, die dann sehr auswändig sind auf andere Karten an zu wenden.

EDIT:
@Research, ich weiß das ich 2 Netzteile mit >1200W brauch. Mein Kooperationspartner hat 1200+1200 (oder wars 1200+1500) Watt für seine 8 HD7970 laufen. Das ist mir aber ganz ehrlich gesagt, dann doch etwas zu knapp, vorallem hat er "nur" ein SB System, und ich fahr dann gleich mit nem Dual-Xeon, wobei die CPU noch nicht klar ist, kann also im Zweifelsfall auch das Topmodell werden. Da will ich Luft nach oben haben, nicht dass das ganze wegen 100 oder 200 W am Ende nicht läuft...

 

[Research]

AW: Minimale Radigröße

Meinte mit 4 7990.

4 7990=8 7970??

 

[Skysnake]

AW: Minimale Radigröße

ne, wenn 7990, dann 8. Es geht ja darum möglichst viele in einen Host zu packen. Und da sind 8x7970>4x7990, daher nicht erstrebenswert.

 

[ruyven_macaran]

AW: Minimale Radigröße

also 400W lassen mit einem 1900er Slipstream und einem 120er BlackIce Stealth Slim Radi abführen. Allerdings ist das nicht ansatzweise leise.

Schon getestet? Was für Temperaturen kommen dabei hinten rum?
Mir klingt das @2000 rpm viel zu knapp. Mein 240er BI führt @1200 rpm und im freien Aufbau 250 W mit delta 9K ab. Halbe Fläche und bald doppelte Leistung wäre man dem Überschlag nach auch bei 50% mehr Drehzahl noch bei bald 25 K. Für ein 24/7/365 System, dass also auch mal bei 30 °C Außentemperatur laufen soll, würde ich 15 K als Maximum ansehen und 10 K anstreben.

Bist du dir aber sicher mit der Schnellkupplung? Aquacomputer meinte zu mir, das man da keine Schnellkupplung mehr reinbauen sollte, da nach 4 GPUs + CPU + entsprechender Radi die Widerstände schon verdammt groß seien. Oder kann man das getrost ignorieren, und doch ne Schnellkupplung verbauen.

Ignorier das mal getrost und wirf ggf. ein Blick auf das System in meiner Sig. Ich hab zwar nicht 4 GPUs, aber ich hab noch 6(+5 parallele, kleine) Kühlkörper neben der CPU im Kreislauf und drei Radis, von die z.T. den 4-5-10 fachen Widerstand der von dir geplanten Konfiguration haben und selbst da ist die mickrige Eheim noch sehr weit von problematischen Temperaturen entfernt (mit Schnellkupplungen versteht sich). Bei dir ist die Lautstärke egal und die Vielzahl an GPU-Kühlern solltest kannst du auch parallel einbinden.
Zudem: Je höher der Widerstand des Systems, desto egaler ist der Widerstand einer zusätzlichen Kupplung. Bei mir kann ich es nicht einmal messen, wenn ich noch eine weitere mit in den Kreislauf hänge.

Wenn ja, ist die Anforderung von Intern nicht mehr so stark gegeben. Das Ding muss halt portabel bleiben, ohne das man die WaKü neu befüllen muss, oder 5 Leute brauch, die dann alles zusammen tragen. Mit Schnellkupplung wäre das mit nem externen Radi dann auch kein Problem mehr.

Dann sind wir ja mal einen großen Schritt weiter
Neue Radiator-Vorschläge:
- 9x 140, ggf. doppelt bestückt. Wenn wir die 2000+ rpm aufrechterhalten, könnte sich auch ein Sandwhich lohnen - steht dann auch viel besser eigenständig
- Airplex Gigant Aqua Computer Homepage - Eine neue Dimension im Radiatorenmarkt - die airplex GIGANT-Serie (müsste man mal fragen, ob sich da gut ein Tragegriff integrieren lässt)
- wenn man schon bei AC anfragt: Das Airplex Modularity System wäre natürlich optimal für eine eigene übergroße Konfiguration. Aber es ist schweine teuer (selbst wenn nur wenig will) - Sponsoring?
- wo man auch anfragen sollte: Watercool. Die neuen HTF4 sind im Aufbau den AMS eigentlich sehr ähnlich, nur halt nicht für Modifikationen durch den Kunden vorgesehen. Auch beim MORA 3 könnte man die Endblöcke leicht gegen eine modifizierte Variante austauschen, die zwei Moras versorgt (-> 18x140 am Stück). Vielleicht ließe sich eine Einzelanfertigung realisieren, wenn das Projekt prestigeträchtig genug erscheint.

Und nein, ohne Bastelcase und PCI-E risercabels gibts keine Lösung, und für die Riser zahlste schon mal allein knapp 200€..

Preislimitationen kann sich dieses Projekt vermutlich nicht erlauben.

..., welches die Anforderungen ohne Basteln erfüllt und dazu noch vergleichsweise günstig ist.

"nicht Basteln" passt auch nicht. Das ist schon mit einer normalen Wakü oft nicht ausschließbar, aber bei einem Projekt dieser Dimension solltest du lieber mit der Einstellung herangehen "toll, wenn ich das Gehäuse nicht komplett selbst bauen muss, sondern etwas finde, dass ich zum Teil verwenden kann"

Du wirst vermutlich in jede freie Ecke noch irgendwas reinquetschen müssen (z.B. vor dem CPU-Bereich, wo jetzt keine großen Kühler mehr sitzen, neben den Grafikkarten, die nicht ganz full-length haben,...)

Und das WaKü keine Wunder verbringt, ist mir schon klar. Ich weiß das man unterm Strich gleich viel Kühlfläche gibt. Aber die Lamellen von ner LuKü sind ja auch nicht sooo rießig und haben dazu wohl im Allgemeinen auch ne niedrigere Temperatur als an nem Radi. Zudem gibts ja Radis die sehr engstehende Lamellen haben, und relativ dick sind. Da kommt man schon auf Fläche.

Es gibt mittlerweile kaum noch Radis, die eng UND dick sind - weil sie kaum jemand nachfragt. Die letzten müssten die Black Ice GTX gewesen sein. Alles, was danach kam, hatte entweder größere Abstände oder war dünner, meist beides. Und die Temperaturen in einem Radiator sind nicht höher, als bei einer Luftkühlung. Du hast eine etwas bessere Wärmeverteilung, ja. Aber die Temperaturübergänge in einer Wakü dürften nicht effizienter sein, als in einer Heatpipe - bei gleicher Abgabefläche erreichst du also keine besseren Temperaturen bzw. kannst die Abgabetemperatur nicht steigern, ohne die Komponententemperatur hochzuziehen.

7V stehen nicht zur Debatte. Da kommen vernünftige 12V Lüfter rein. LEISE ist keine primäre Anforderung wie gesagt. Eventuell kommen auch Papstlüfter rein. So lange das Ding nicht lauter ist als mit 4 7970 im Refdesign, passt das.

Mal so als allgemeine Anmerkung: "Papst" ist keine Leistungsklasse, sondern eine Marke. Sogar eine, die zu 80 mm Zeiten DIE Silentreferenz war und das auch geblieben wäre, hätten die 120er nicht anfangs Probleme mit der Serienstreuung gehabt.

Gibts nen ATX NT, was allein >2 kW bringt? Ich hab keins gefunden.

Afaik wurde auf dem Höhepunkt des Watt-Wahns mal eins mit 2,5 k produziert und ein (externes!) mit 3 k wurde zumindest mal auf ner Messe gezeigt. 2 k Geräte gab es mehrere.
Aber da die sich alle nicht wirklich verkauften, dürfen solche Leistungen heute nur noch im Serverbereich zu haben sein.

24/7/365 sollte das Ding aushalten. Daher sind auch zwei 1,5kW NTs geplant. (8x 7970=~2kW bleibt noch für den gesamten Rest 1kW über inkl. Minderlast)

Für 24/7/365 bräuchtest du auch eine redundante, hotswap taugliche Stromversorgung.

Nur ums nochmals klar zu stellen, ich hab im Startpost nur das halbe System gepostet, weils 2 Kreisläufe umfassen soll. Eben ein Dual-Xeon und 7-8 7970.

Übrigens ein erheblicher Unterschied. Z.B. hast du, wenn zu zwei 8er Blöcke Grafikkarten verbauen willst, nicht nur ein Platzproblem mit den Karten, sondern auch mit den Anschlüssen. Ich würde erwarten, dass du das so gar nicht montiert bekommst, sondern zwischen beiden mindestens einen Slot freilassen musst, im Worst Case sogar zwei, weil die die Anschlussbrücken nunmal nicht darauf ausgelegt sind, in keine Richtung überzustehen. Gerade bei paralleler Einbindung der GPU-Kühler wäre es zudem wünschenswert, wenn man je einen Anschluss oben und einen unten hat - dann brauchst du ggf. sogar zwei Slots Abstand.
Mal gucken, ob sich das ganze durch Verwendung unterschiedlicher Kühler abmildern lässt (deren Anschlüsse nicht auf gleicher Höhe liegen), aber an deiner Stelle würde ich mich entweder auf 2x3 Karten oder die Verwendung von Risern einstellen.
(oder du lässt dir wieder was anfertigen. Zumindest bei Watercool liegen die Dichtungen im Kühler, es wäre also mit ner Bohrmaschiene und Säge möglich, sich ein eigenes Anschlussterminal zu bauen)

Der komplette interne Verbau, damit man nur ein Teil zum schleppen hat, ist damit aber wohl nicht zu machen. Es sei denn man macht außen nen Radi hin, oder vielleicht mit dem Elysium und nem fetten Radi vorne...

Bedenke dabei auch mal das Gewicht. Ein Netzteil deiner Dimension dürfte ettliche Kilo wiegen, die gefüllten Radiatoren auch, mit Kühler kommt eine Karte sicherlich auch auf ein Pfund - das addiert sich. Ein absolutes Leichtbau-Case kannst du dir schon allein aus Stabilitätsgründen nicht leisten.
Mein System z.B. (mit sehr solidem Gehäuse und passivem Netzteil) kommt auf rund 30 kg. Ohne Radis und mit nur einer GPU.

Getrente Radis dürften imho den Transport eher erleichtern (und sei es nur, weil man das Gewicht auf zwei Seiten tragen kann)

Ich bin aber mit jemanden in Kontakt, der gerade ein 8er 7970 System aufgebaut hat. Das Ding läuft aber mit PCI-E Risercabels und eben als offener Aufbau, der aus ein paar Metallprofilen besteht Sieht extrem heis aus sag ich dir, aber natürlich überhaupt nicht "massentauglich"

Aluplatten auf die Profile schrauben und schon ist das Gehäuse fertig
Im späteren Einsatz sollten solche Lärm-Lösungen ja vermutlich eh Rack-kompatibel sein.

Bzgl. PCI-E Slots. Ja, im Moment werden es nur 7 Slots Das BigBangMarshal bringt zwar 8 slots, aber hat halt zu wenig Lanes. Es geht hierbei insbesondere darum, noch vernünftige Bandbreiten für die GPUs zur Verfügung zu stellen. Das ist ja mit ein Grund, warum in den Clustern nur 2 GPUs verbaut werden. Die können ansonsten nicht mit 16 Lanes angesprochen werden, und bei nem Cluster will man meist möglichst flexibel bzgl. den Workloads sein.

Wie wäre es unter den Umständen mit einer 6 Slot Konfiguration und 4x 7990 @x16 und 2x 7970 @x8?
Datenspeicher solltest du übrigens auch nicht ganz aus den Augen verlieren, so ein System sollte den verbleibenden x4 wohl für eine ordentliche SSD-Lösung nutzen. (gibts die schon mit 3.0? Sonst gleich x8 einplanen...)

Es gibt aber auch eins mit 8 Slots, das ist dann aber direkt als komplettes Rack ausgelegt, und das wird dann doch etwas schwierig sich daheim hin zu stellen

Stehen tu alles, wo man einen Rahmen drum baut.

7 ist aber auch ganz ok, und vielleicht kommen in Zukunft ja mehr 8er Boards, wenn man sieht, dass das ganze auch "massentauglich" ist. Eben mit genug Bandbreite für die Karten auf der einen Seite, und ohne extreme Bastellösungen, die dann Sonderanfertigungen sind.

8er Boards sprengen den SSI-EEB und ATX Formfaktor. Die werden sich so schnell nicht verbreiten - zumal es eben gerade in dem Bereich, in dem sich Bastler finden, kaum das Geld und Interesse für so etwas geben wird.

EDIT:
Ich hab nochmal geschaut, das sind alles nur Plug-In NTs, die soweit ich das überblicken kann gar keine eigenen "Anschlüsse" für Geräte haben, sondern nur welche für spezielle Gehäuse. Die ganzen genannten NTs fallen daher raus.

Solange die Dinger sich an den ATX-Standard halten (= brauchbare Anforderungen ans PowerGood-Signal stellen und alle benötigten Spannungen liefern), ist das nur ein bißchen Lötarbeit.

 

[L-man]

AW: Minimale Radigröße

ich muss mal meine Messwerte raussuchen war ein Laborversuch.

 

[Skysnake]

AW: Minimale Radigröße

Ignorier das mal getrost und wirf ggf. ein Blick auf das System in meiner Sig. Ich hab zwar nicht 4 GPUs, aber ich hab noch 6(+5 parallele, kleine) Kühlkörper neben der CPU im Kreislauf und drei Radis, von die z.T. den 4-5-10 fachen Widerstand der von dir geplanten Konfiguration haben und selbst da ist die mickrige Eheim noch sehr weit von problematischen Temperaturen entfernt (mit Schnellkupplungen versteht sich). Bei dir ist die Lautstärke egal und die Vielzahl an GPU-Kühlern solltest kannst du auch parallel einbinden.
Zudem: Je höher der Widerstand des Systems, desto egaler ist der Widerstand einer zusätzlichen Kupplung. Bei mir kann ich es nicht einmal messen, wenn ich noch eine weitere mit in den Kreislauf hänge.

Wie gesagt, ich zieh das dann in Betracht, und werde wohl mit Kupplungen arbeiten, und dann kann man ja immer noch schauen, ob die Temps zu stark ansteigen, und noch was externes dranhängen

Dann sind wir ja mal einen großen Schritt weiter
Neue Radiator-Vorschläge:
- 9x 140, ggf. doppelt bestückt. Wenn wir die 2000+ rpm aufrechterhalten, könnte sich auch ein Sandwhich lohnen - steht dann auch viel besser eigenständig
- Airplex Gigant Aqua Computer Homepage - Eine neue Dimension im Radiatorenmarkt - die airplex GIGANT-Serie (müsste man mal fragen, ob sich da gut ein Tragegriff integrieren lässt)
- wenn man schon bei AC anfragt: Das Airplex Modularity System wäre natürlich optimal für eine eigene übergroße Konfiguration. Aber es ist schweine teuer (selbst wenn nur wenig will) - Sponsoring?
- wo man auch anfragen sollte: Watercool. Die neuen HTF4 sind im Aufbau den AMS eigentlich sehr ähnlich, nur halt nicht für Modifikationen durch den Kunden vorgesehen. Auch beim MORA 3 könnte man die Endblöcke leicht gegen eine modifizierte Variante austauschen, die zwei Moras versorgt (-> 18x140 am Stück). Vielleicht ließe sich eine Einzelanfertigung realisieren, wenn das Projekt prestigeträchtig genug erscheint.

Also ne Pumpe hab ich. Daher sind Radis mit Pumpe eigentlich nicht notwendig, aber an sich auch eine ganz nette idee. Ich muss da wohl einfach mal schauen, was geht, und was nicht. Das wird sich aber wohl erst im echten Betrieb zeigen, wo denn jetzt genau die Grenzen liegen. Ich behalts aber auf jeden Fall mal im Hinterkopf

Preislimitationen kann sich dieses Projekt vermutlich nicht erlauben.

Nein, es geht da nur drum, sich etwas "unnützes" zu sparen, was ja eher ein workaround ist, einfah weils keine 1Slot High-End GPUs seit langem gibt. Für 200€ kann man ja schon schön was anders kaufen.

"nicht Basteln" passt auch nicht. Das ist schon mit einer normalen Wakü oft nicht ausschließbar, aber bei einem Projekt dieser Dimension solltest du lieber mit der Einstellung herangehen "toll, wenn ich das Gehäuse nicht komplett selbst bauen muss, sondern etwas finde, dass ich zum Teil verwenden kann"

Du wirst vermutlich in jede freie Ecke noch irgendwas reinquetschen müssen (z.B. vor dem CPU-Bereich, wo jetzt keine großen Kühler mehr sitzen, neben den Grafikkarten, die nicht ganz full-length haben,...)

Basteln im Sinne von Cas selbst bauen usw. Also schon arbeiten mit "Standardware", wo man sich drauf verlassen kann, dass die auch funktioniert, und den Sicherheitsanforderungen usw. gewachsen ist. Fummeln darf man ruhig, und das ist mir klar. Insbesondere das Umbauen der GPUs wird ja ne Heidenarbeit, genau wie eben die Montage der WaKü an sich. Ich will aber eben NICHT Sonderanfertigungen verwenden, da dann der Preisrahmen schnell völlig gesprengt wird, und das dann auch nicht mehr reproduzierbar ist. Weißt was ich mein? Z.B. den zweiten Slot der GPUs wegflexen ist kein Problem, aber z.B. Radi selber bauen soll nicht sein.

Es gibt mittlerweile kaum noch Radis, die eng UND dick sind - weil sie kaum jemand nachfragt. Die letzten müssten die Black Ice GTX gewesen sein. Alles, was danach kam, hatte entweder größere Abstände oder war dünner, meist beides. Und die Temperaturen in einem Radiator sind nicht höher, als bei einer Luftkühlung. Du hast eine etwas bessere Wärmeverteilung, ja. Aber die Temperaturübergänge in einer Wakü dürften nicht effizienter sein, als in einer Heatpipe - bei gleicher Abgabefläche erreichst du also keine besseren Temperaturen bzw. kannst die Abgabetemperatur nicht steigern, ohne die Komponententemperatur hochzuziehen.

Schade... Eventuell könnte man aber auch sich gedanken über den Radi einer alten Klimaanlage machen. Der wäre auch schön billig, aber das gibt wieder eine Menge von Punkten wos zu Problemen kommen kann... Ich schau mal ob ich mit den Standardradis aus komm. Wie gesagt, manche Sachen muss man einfach machen, und dann die entstehenden Probleme lösen.

Bzgl Temps: Was du sagst ist natürlich richtig, mir gings eher drum, das bei den großen Radis ja viele Leitungen verlegt sind, womit die Distanz Röhre<->Lamellenfläche kleiner ausfallen sollte als normal.

Mal so als allgemeine Anmerkung: "Papst" ist keine Leistungsklasse, sondern eine Marke. Sogar eine, die zu 80 mm Zeiten DIE Silentreferenz war und das auch geblieben wäre, hätten die 120er nicht anfangs Probleme mit der Serienstreuung gehabt.

Weiß ich doch. Hab doch nen 40mm silentlüfter von denen noch hier rum liegen, der Jahrelang bei mir im Einsatz war Ich verwende das aber als Synnonym für richtig starke Lüfter, ähnlich wie man zu Wasserstrahlreinigern eben einfach Kärcher sagt

Afaik wurde auf dem Höhepunkt des Watt-Wahns mal eins mit 2,5 k produziert und ein (externes!) mit 3 k wurde zumindest mal auf ner Messe gezeigt. 2 k Geräte gab es mehrere.
Aber da die sich alle nicht wirklich verkauften, dürfen solche Leistungen heute nur noch im Serverbereich zu haben sein.

Für 24/7/365 bräuchtest du auch eine redundante, hotswap taugliche Stromversorgung.

Ja das hab ich leider auch schon bemerkt.

Ein redundantes NT ist aber überflüssig, genau wie Hot-Swap-Fähigkeit. Das geht dann 1. viel zu weit, 2. kostet es nochmal richtig mehr Geld und 3. ist das kein Designziel, also vernachlässigbar

Übrigens ein erheblicher Unterschied. Z.B. hast du, wenn zu zwei 8er Blöcke Grafikkarten verbauen willst, nicht nur ein Platzproblem mit den Karten, sondern auch mit den Anschlüssen. Ich würde erwarten, dass du das so gar nicht montiert bekommst, sondern zwischen beiden mindestens einen Slot freilassen musst, im Worst Case sogar zwei, weil die die Anschlussbrücken nunmal nicht darauf ausgelegt sind, in keine Richtung überzustehen. Gerade bei paralleler Einbindung der GPU-Kühler wäre es zudem wünschenswert, wenn man je einen Anschluss oben und einen unten hat - dann brauchst du ggf. sogar zwei Slots Abstand.
Mal gucken, ob sich das ganze durch Verwendung unterschiedlicher Kühler abmildern lässt (deren Anschlüsse nicht auf gleicher Höhe liegen), aber an deiner Stelle würde ich mich entweder auf 2x3 Karten oder die Verwendung von Risern einstellen.
(oder du lässt dir wieder was anfertigen. Zumindest bei Watercool liegen die Dichtungen im Kühler, es wäre also mit ner Bohrmaschiene und Säge möglich, sich ein eigenes Anschlussterminal zu bauen)

Das Problem ist schon gelöst Aqua Computer Webshop - twinConnect für GTX 590/580/570/480/470/460 und HD 6970/6870/6850/6790, max. 7 Grafikkarten 23501 + Aqua Computer Webshop - aquagrATIx für HD 7970 G1/4, 2. Wahl 23537

Ich hab mit denen gesprochen. Die Kühler lassen sich slot an slot montieren, und der Connector ist so modular aufgebaut, das alle 7 GPUs angeschlossen werden können, und dabei sogar noch zwei parallele Kreisläufe realisierbar sind. Das war auch mit ein Grund, warum ich das Projekt jetzt, neben dem Bericht von meinem Kooperationspartner über sein 8er System, überhaupt jetzt angehe. Der Anschluss der GPU-Kühler ist jetzt endlich in Vollbelegung machbar. Alles was ich mir vorher angeschaut habe hat ohne Riser dann wieder nicht funktioniert, was absolut zu meinem Konzept gepasst hat, weil ich ja genau das mit eleminieren wollte.

Bedenke dabei auch mal das Gewicht. Ein Netzteil deiner Dimension dürfte ettliche Kilo wiegen, die gefüllten Radiatoren auch, mit Kühler kommt eine Karte sicherlich auch auf ein Pfund - das addiert sich. Ein absolutes Leichtbau-Case kannst du dir schon allein aus Stabilitätsgründen nicht leisten.
Mein System z.B. (mit sehr solidem Gehäuse und passivem Netzteil) kommt auf rund 30 kg. Ohne Radis und mit nur einer GPU.

Getrente Radis dürften imho den Transport eher erleichtern (und sei es nur, weil man das Gewicht auf zwei Seiten tragen kann)

Klar wäre es deutlich besser, wenn man die Radis für den Transport entfernen kann. So lange 2 Mann aber dazu in der Lage sind, das Ding zu verladen, also ohne Stapler/Hubwagen, ist meine Anforderung an Portabilität erfüllt.

Aluplatten auf die Profile schrauben und schon ist das Gehäuse fertig
Im späteren Einsatz sollten solche Lärm-Lösungen ja vermutlich eh Rack-kompatibel sein.

Ich sag dir, das Konstrukt von meinem Kooperationspartner sieht mal HEIS aus. 4 Stahlprofile, und die mit "Tesa" zusammengehaltne Das wars

Wie wäre es unter den Umständen mit einer 6 Slot Konfiguration und 4x 7990 @x16 und 2x 7970 @x8?
Datenspeicher solltest du übrigens auch nicht ganz aus den Augen verlieren, so ein System sollte den verbleibenden x4 wohl für eine ordentliche SSD-Lösung nutzen. (gibts die schon mit 3.0? Sonst gleich x8 einplanen...)

Datenspeicher sind natürlich durchaus ein Thema, welches aber mich erst mal nicht tangiert. Für micht steht fest, das genug Platz für HDDs/SSDs ist, welche über SATA/SAS angeschlossen werden können. Das sollte ausreichen. Im Fulmo GT hätte man auch 10 Plätze hierfür frei, warum mir dieses auch so sympatisch ist. Der Ausbau in diesem Punkt wird aber mit ziemlicher Sicherheit NICHT erfolgen, da dies recht trivial erfolgen kann. Was dafür wohl noch betrachtet wird, ist das Verbauen eines NICs, der dann 16x angeschlossen wird. Dafür fliegt dann halt eine GPU raus. Damit hat man dann aber prinzipiell den Zugang zu einem Massenspeicher. So ist es ja auch in den meisten Clustern gelöst. Da gibts ne Storagelösung und gut ist. Die Flexibilität sowohl für Standalone als auch für "Cluster" sollte damit gegeben sein nach meiner Einschätzung. Auf jeden Fall beides keine Punkte, die ich näher beleuchten werde. Dafür gibt es genug einfach Mittel, bzw. Im Cluster läufts dann wohl eh auf ne Speziallösung raus, wo auch eine externer WaKü-Anschluss gegeben ist inkl. Pumpe usw. Also nichts was ich näher beleuchten muss, da im Zweifel "einfacher" zu realisieren für das Hostdesign an sich.

Stehen tu alles, wo man einen Rahmen drum baut.

Ich mein damit eher, ich hab kein Starkstromanschluss, und durch die Tür usw wird das auch nicht passen. Das ist ein komplettes Rack. Also ne Komplettlösung. Das kannste knicken.

8er Boards sprengen den SSI-EEB und ATX Formfaktor. Die werden sich so schnell nicht verbreiten - zumal es eben gerade in dem Bereich, in dem sich Bastler finden, kaum das Geld und Interesse für so etwas geben wird.

Tja, ich hoffe das ändert sich noch in nächster Zeit, wenn sich GPGPU noch weiter durchsetzt, und man eben sieht, das so ein System mit normalen Mitteln realisierbar ist, und eben auch für ein breites Feld von Anwendern nutzbar ist, da eben durch die bis 80 Lanes bei Dual-Sockel 2011 eben die Anbindung so viele Karten nicht mehr das große Problem ist, was allgemein die Leute bis jetzt abgeschreckt hat. Vielen war ja 16x PCI-E 2.0 schon grad genug, weil Sie auch stark an der Schnittstelle hängen. Da brichste das dann nicht auch 4 Lanes oder so runter. Da ist einfach der Verlust zu hoch. Mit dem System kannste halt jetzt entweder 4x 16x 3.0 machen, oder eben 8x 8x 3.0, was dann 8x 16x 2.0 entspricht von der Bandbreite. Damit wird das halt für viele attraktiv, dies vorher kategorisch dies ausgeschlossen haben wegen den 4x. Wir reden hier ja von einer 4 mal höheren Bandbreite. Das ist signifikant mehr in diesem Fall.

Solange die Dinger sich an den ATX-Standard halten (= brauchbare Anforderungen ans PowerGood-Signal stellen und alle benötigten Spannungen liefern), ist das nur ein bißchen Lötarbeit.

Ne sorry, aber genau so was mein ich mit Bastellösungen. Das baut keiner nach, und schaut sich auch keiner detailiert nach, da einfach der Aufwand und die Risiken zu hoch sind. Wenn du sowas in nen Serverraum stellen willst, wirste gesteinigt. Ne, das geht nicht und ist an den Designvorgaben eben auch völlig dran vorbei. Wenn das dann am Ende bedeutet, das man kein 8x DualGPU inkl interner WaKü machen kann (wovon ich ausgehe, mit externer gehts sicherlich wieder), dann ist dem halt so.

 

[VJoe2max]

AW: Minimale Radigröße

Mal davon abgesehen, dass das ganze Projekt imho kaum an Nutzlosigkeit zu überbieten ist - insbesondere mit der veranschlagten Zielsetzung - glaubst du tatsächlich, dass es auch nur das geringste Interesse der "breiten Masse" gibt so etwas zu nachzubauen? Allein die Investitions- und die Stromkosten schließen das kategorisch aus. Wer soll das bezahlen und vor allem - was soll das bringen? Das braucht kein Privatmensch - für was auch? Mit so was erhascht man vllt. bei einem etwas beschränkten Publikum das ein oder andere "Ahh" oder "Wow", aber wirklich nachbauen würde das schon aufgrund der immensen Kosten und des extremen Wertverlustes niemand. Selbst für Leute bei denen der Strom aus der Steckdose kommt, sind das Totschlagargumente für derartige Vorhaben.

Mit Strom heizen gehört mMn schon aus Umweltgesichtspunkten verboten! Nicht anderes als eine Stromheizung willst du da bauen. Ein praktischer Nutzen ist nicht erkennbar - zumal Rechner mit höheren Leistungen für Numberchrunching-Aufgaben frei verfügbar und fertig entwickelt sind. Kompakte GPU-Cluster kann man für wissenschaftliche Zwecke fertig aufbaut und mit passend dimensioniertem Kühlsystemen kaufen (z.B. Tesla-Karten Cluster). Neben speziellen Karten gibt es noch weitere spezialisierte Hardware für solche Zwecke - und das nicht nur aus Jux . Daher bezweifle ich auch grundsätzlich, dass du irgendjemanden finden wirst der dir auch nur eine einzige aktuelle Consumer-Graka für so einen - sorry - Quatsch sponsert. Nicht weil ich dir den Spaß so ein Ding zu basteln nicht gönnen würde, sondern weil niemand Geld bzw. Hardware für Projekte zu verschenken hat, ohne dass ihm ein nennenswerter Nutzen oder großartige Werbeeffekte geboten würden. Schon für weit günstigere Projekte muss man sich ganz schön ins Zeug legen und nachweisbaren Nutzen für den Sponsor bieten, um an das ein oder andere aktuelle Hardwareteil komplett gratis heran zu kommen. Eine entsprechender Bekanntheitsgrad in der Szene und mehrere hochkarätige Referenzprojekte sind für solche Vorhaben obligatorisch. Einem Modder oder Bastler, der bislang kein ähnlich geartetes Projekt oder nur kleinere, wenig bekannte, Projekte vorweisen kann und bereits seinen werbewirksamen Einsatz nachweisen konnte (Ausstellungen für einen kleinen Sponsor etc.), wird wohl nie wirklich wertvolle Bauteile gesponsert bekommen .

Und im Übrigen: Wenn man schon einen Computer, der in Rechenleistungsbereiche großer Workstations bzw. von kleinen sog. "Super-Computern" vorstoßen soll, aus Consumer-Hardware aufbauen will, dann doch keinesfalls mit einer absichtlich unterdimensionierten Wakü in einem Standard-Gehäuse. Das macht nichts her und einen "Massenmarkt" den du vermutest gibt es dafür definitiv nicht. Für andere Aufgaben als numbercrunching ist so eine Maschine schon aus Kompatibilitätsgründen nicht zu gebrauchen. Wenn ich z.B. an diese Boinc-Kiste denke (Klick) die mit ihren 14 Boards und 14 Hexacores (84 Kerne) allerdings mit einem 1200W Netzteil auskommt, erscheint mir dein Vorhaben wesentlich unsinniger - und schon da wurde (fast) nichts gesponsert sondern alles von Usern bezahlt, die sich an dem Projekt beteiligt haben.

 

[Verminaard]

AW: Minimale Radigröße

Du hast ja was vor

Eine interne Loesung waer mir da zu heiß, bei dem was du vor hast.
Lieber mit Schnellkupplungen arbeiten und nach Aussen hast dann jede Moeglichkeit offen.
Der Innenraum wird ja auch dicht zugepackt werden. Wo und wie soll sich da noch vernuenftig Luft bewegen.
Wurde ja im Vorfeld schon gesagt, mit kleinen Radiatoren, nur, wenn eine optimale Be-und Entlueftung vorhanden ist. Die erreichst du halt nur extern. Hinzu kommt noch das enorme Gewicht. 30kg+++ sind auch nicht mal eben bewegt, wenn du die nicht ordentlich packen und halten kannst. In diese Regionen wirst du ohne interne Radiatoren kommen.

Gehaeuse, darfs auch etwas teurer sein? Hast du dir auch das TJ11 angeschaut. Platzmaessig waer das denke ich noch einen Tacken besser. Auch die ganze Aufteilung.
Hast du auch ueberlegt, wenn das Ganze auch transportabel sein soll, du 8 Grafikkarten mit Wasserkuehler im System verbaut hast, welche Kraefte auf die Slots wirken? Keine Ahnung jetzt ob soetwas bereucksichtigt werden muss. Nur als Gedankenanstoss.

Lepa will ja auch so ein Monsternetzteil rausbringen. Haben doch Einige gemeckert, das soetwas ueberhaupt nicht gebraucht wird.
Wenn man dein Vorhaben anschaut, dann sind auch 3kW Netzteile gerechtfertigt xD

 

[Shizophrenic]

AW: Minimale Radigröße

Nein, es geht da nur drum, sich etwas "unnützes" zu sparen, was ja eher ein workaround ist, einfah weils keine 1Slot High-End GPUs seit langem gibt. Für 200€ kann man ja schon schön was anders kaufen.

Du redest von unnützen sparen? Eine große Wakü für so ein projekt ist warscheinlich das sinnvollste am ganzen projekt.
aber da hat jeder seine eigene ansichtsweise, generell muss ich aber VJoe2max zustimmen, Ein Mainstreamvergleich wirst du damit nicht bekommen.
viele leute sind schon vom kaufpreis einer single gpu/cpu Wakü abgeschreckt, da werden sie sich sicherlich nicht builds holen
die in die tausende € gehen und nach nem halben jahr nur noch die hälfte wert sind ^^

 

[Skysnake]

AW: Minimale Radigröße

VJoe2max, die Sinnhaftigkeit eines solchen Projekts ist absolut nicht das Thema hier. So sinnfrei, wie du das hier darstellst, ist es aber bei weitem nicht. Über die weitere Steigerung der Integrationsdichte machen sich VIELE Leute sehr viele Gedanken. SuperMicro hat z.B. einen 6er GPU-Server im Angebot, aber eben "nur" einen 6er, ganz abgesehen davon, wird das Ding mit Luft gekühlt, was recht hohe Anforderungen an die Infrastruktur stellt. DA wird wirklich Geld verblasen ohne Ende, denn du musst ja erstmal die Luft runter kühlen, nur damit du dann damit den Server kühlen kannst. Eine WaKü, welche theoretisch die Möglichkeit bietet die Radiatoren einfach durch Wärmetauscher zu ersetzen, und dann entweder billig zu kühlen (Flusswasser z.B.) oder die Abwärme sogar noch zu nutzen (Brauchwasser), ist ein gewaltig Schritt nach vorne. Eine solche Lösung gibt es in dieser Dimensionierung aber nicht. Selbst Supermicro, die in diesem Bereich wohl ganz klar als mit Führend zu betrachten sind, bieten nur maximal 4 GPUs in einem Server an, wobei Sie auch schon welche mit 6 GPUs gezeigt haben. Da machen sich die Leute aber richtig gedanken, wie man das alles stabil am laufen halten kann.

Du siehst die Sache auch komplett falsch. Denn solche Systeme sind eben NICHT reine Stromschleudern, sondern wahre Stromsparer. Die Frage ist nämlich nicht: "Brauch ich so viel Leistung" sondern: "Wie bekomm ich die Leistung mit möglichst wenig Stromaufnahme hin". Und gerade da hilft einem eine höhere Integrationsdichte weiter. Wenn nämlich jemand 7/8 GPUs braucht, dann wird es sich die zum billigsten Preis besorgen. Bei 4 GPUs/Host, bedeutet das halt 2 komplette Rechner. Also 2x Speicher, 2x MB, 2x CPUs, 2x HDD, 2x Netzteile, 2x Gehäuse und eben die GPUs. Wenn du 8 GPUs/Host hast, bedeutet das nur noch 1x CPUs, 1x HDD, 2/1x Netzteile, 1 x Gehäuse und eben die GPUs. Wie du siehst gibt es hier schon einiges an Einsparungspotenzial. Allein die Zusatzkosten für die CPUs, Gehäuse und MBs schlagen ziemlich rein. Ganz zu schweigen von den zusätzlichen Stromkosten für die CPUs und MBs, einfach nur als Unterbau. Ach und du brauchst dafür dann auch gleich mal noch für jeden Rechner nen NIC, den du dir sonst sparst, hast dann aber immer noch weniger Bandbreite zwischen den Karten, als in einem System.

Es gibt also sehr viele Vorteile, möglichst viel in ein System zu packen.

Und zur Kompatibilität. Es geht ja insbesondere darum zu zeigen, dass solch ein System eben keine Software/Hardwarehacks mehr erfodert. In absehbarer Zeit werden auch die Limitierungen für 8x Dual-GPU (welche atm wohl noch bestehen von Seiten des BIOS/Treiber auf MB oder GPU) wegfallen. Daran wird gearbeitet, weil auch andere Einschränkugen damit einhergehen, die man nicht gebrauchen kann. Die Betrachtung, welche Anforderungen solche ein System hat, und auch wo man nachbessern muss sind durchaus wichtig. Wie fatal wäre es z.B. alles fertig zu haben, um dann zu merken, dass die Wechselwirkungen zwischen den GPUs auf die Spannungsversorgung doch größer sind als erwartet. Das sollte nicht passieren, da man ja im Design die Sachen durchrechnet, aber die Dinger wurden eben für so etwas nicht designt, und daher fehlen teilweise auch einfach Erfahrungswerte. FASTRAII hat z.B. aufgezeigt, das verdammt viel Arbeiten noch nötig sind, um solche Systeme realisierbar zu machen. Die Steigerung der Integrationsdichte aufgrund der möglichen Energieeinsparungen/Effizienzsteigerungen sind fundamental wichtig für solche Dinge wie die Exaskaleinitiative, da man mit den bisherigen Mitteln allein die Vorgaben nicht erfüllt bekommt. Man muss neue Wege gehen, und auch radikale Neuerungen vollziehen. Da gehören noch ganz andere Dinge dazu, als das was ich hier machen will. Manche dieser Pläne/Vorhaben, an denen im Moment gearbeitet wird, können aber durchaus einen Nutzen daraus ziehen.

Bester Ansatzpunkt ist eben hier wieder die BIOS/Treiber.limitierung des Adressraums, auf die auch die Leute bei FASTRAII gestoßen sind. Die macht vielen Leuten Probleme. Wenn dieses Problem aber wegfällt, dann öffnet sich ein Feld für ganz andere Lösungen. Nämlich Lösungen, wo du deutlich mehr als 10 GPUs in "einem CPU-System" dann hast. Ich weiß aber gar nicht, ob du dir überhaupt vorstellen kannst, dass sich für Exaskale so manches fundamental verändern muss, und dies auch in Vorbereitung ist. Da wird so manches dann möglich sein, was man bisher eben nicht hatte. Mehr kann ich dazu aber nicht sagen, und will es auch nicht, da dies hier weder der richtige Ort dafür ist, noch zielführend.

@Verminaard: Vielen DANK für den Link. Das hab ich jetzt noch gar nicht gekannt. Ist für mich sehr interessant

Nochmals zu den Schnellkupplungen und intern/extern. Mir wurde von einem WaKü Hersteller bei solch einer Konfiguration (unabhängig ob extern oder intern) ganz klar davon abgeraten Schnellkupplungen zu verwenden. Das würde nicht funktionieren hies es. Wenn ich aber keine Schnellkupplungen verwenden darf, dann darf ich außen auch keinen großen Radi verbauen, wenn ich das Ding "transportabel" halten will, weil Gehäuse und dann noch Radi, die miteinander verbunden sind, zusammen bewegen... vergiss es, das geht schief. Also war der Ansatz eben, das alles intern muss (maximal außen angeschraubt, aber das ist auch gefährlich). Wenn die Schnellkupplungen dann aber doch gehen, kann man auch wieder auf extern gehen und hat viel weniger Probleme. Zumal eben auch externe Pumpen damit dann kein Problem sind (z.B. am Radi). Jetzt klar?

@CoXxOnE:
Ich bezog mich bei "unnütz" auf die PCI-E raisercables. Ich dachte das war klar. Die WaKü ist ja der Punkt, der erst alles zusammenhält von der Thermischen Betrachtungsweise. Ansonsten bekommste das Ding nämlich nicht mehr gekühlt in nem geschlossenen Aufbau ohne große Umbauten. Btw. hatte ich auf der CeBIT sehr interessante Gespräche darüber, wo der eine oder andere die Machbarkeit von 8 GPUs, oder gar 16 als nicht gegeben ansah, einfach wegen der Stromversorgung, aber auch wegen der Thermischen Probleme. Hier gehts ja mit darum, zu zeigen, dass das eben doch funktioniert

Und die eine oder andere Firma ist sehr interessiert daran, so etwas mal näher zu beleuchten.

 

[ruyven_macaran]

AW: Minimale Radigröße

Also ne Pumpe hab ich. Daher sind Radis mit Pumpe eigentlich nicht notwendig, aber an sich auch eine ganz nette idee. Ich muss da wohl einfach mal schauen, was geht, und was nicht. Das wird sich aber wohl erst im echten Betrieb zeigen, wo denn jetzt genau die Grenzen liegen. Ich behalts aber auf jeden Fall mal im Hinterkopf

Pumpe ist bei den Gigant optional und darum ging es nicht - sondern nur um die schiere Kühlfläche (fix und fertig in einem externen, präsentationstauglichen Objekt zum nebendran stellen)

Nein, es geht da nur drum, sich etwas "unnützes" zu sparen, was ja eher ein workaround ist, einfah weils keine 1Slot High-End GPUs seit langem gibt. Für 200€ kann man ja schon schön was anders kaufen.

Verstehe.
Aber da solltest du, wenn das ganze zukunftsorientiert ist, sowieso einen Plan B in der Hinterhand haben. Denn 2-Slot Grafikausgänge greifen immer mehr um sich und 2-Slot Stromanschlüsse gibts jetzt auch schon. Gut möglich, dass der reine Kühlerwechsel in Zukunft nur noch bei Teslas reicht (wo wir beim Geldverbraten waren...), um auf Single-Slot zu kommen.

Ich will aber eben NICHT Sonderanfertigungen verwenden, da dann der Preisrahmen schnell völlig gesprengt wird, und das dann auch nicht mehr reproduzierbar ist. Weißt was ich mein? Z.B. den zweiten Slot der GPUs wegflexen ist kein Problem, aber z.B. Radi selber bauen soll nicht sein.

Das mit den Sonderanfertigungen musst du im Wakübereich relativ sehen. Die meisten Hersteller arbeiten da eher in Manufakturdimensionen und gezielte Anfertigungen sind schon bei sehr kleinen Serien ohne Zusatzkosten möglich. Liquid Extasy hat sich z.B. mit Einzelanfertigungen von GPU-Kühlern etabliert, die es afaik ab 10-20 Stück normale Marktpreise haben, Watercool hat mal auf eine Sammelbestellung hin einige Dutzend HK-3-Deckel in Plexiglas gefertigt, Anfi-Tec stellt immer wieder Mainboardkühlungen auf Wunsch her und im Falle der genannten Rohrradiatoren gilt halt: Während die eigentlichen Korpi aus Großserie eingekauft werden, sind die Endterminals, die sie zu einem Radiator machen bzw. (im Falle der Gigant bereits vorgemacht) zu einem Radiator vereinigen, so oder einzeln auf ner CnC gefertigt. Solange du nur z.B. eine Duplikation der Verbindungsmöglichkeiten auf der anderen Seite willst (um ein zweites Lamellenpaket auf der anderen Seite dranzuhängen) und somit kein Entwicklungsaufwand besteht, wäre das sicherlich in einem Preisrahmen umsetzbar, der im Vergleich zu den Restkosten des Systems lächerlich ist.

Und das AMS ist, wie erwähnt, von vorneherein so designt, dass der Nutzer beliebig große Kombinationen erstellen kann. (Aber das hat halt auch wieder einen Grundpreis, der nicht ganz zu deinen ökonomischen Zielen passt.)

Schade... Eventuell könnte man aber auch sich gedanken über den Radi einer alten Klimaanlage machen. Der wäre auch schön billig, aber das gibt wieder eine Menge von Punkten wos zu Problemen kommen kann... Ich schau mal ob ich mit den Standardradis aus komm. Wie gesagt, manche Sachen muss man einfach machen, und dann die entstehenden Probleme lösen.

Klimaradiatoren gibt es auf alle Fälle in beliebiger Größe. Da hast du dann aber (wie ich - aus dem gleichen Grund) wieder einen größeren Widerstand, weil sie in aller Regel in Reihe oder maximal 2-4 fach parallel verrohrt sind. (Oder du lötest um)
Und als Neuware sind die auch nicht billiger (Stichwort: Reproduzierbarkeit. Die gibt der Gebrauchtmarkt nicht her)

Bzgl Temps: Was du sagst ist natürlich richtig, mir gings eher drum, das bei den großen Radis ja viele Leitungen verlegt sind, womit die Distanz Röhre<->Lamellenfläche kleiner ausfallen sollte als normal.

Das stimmt schon - daher die von mir angesprochene, bessere Temperaturverteilung. Aber wenn du dir mal anguckst, wie groß der Abstand zur nächsten Heatpipe bei einem guten Luftkühler ist (vielleicht 2 cm Maximum?), dann wird auch klar, dass das keine Wunder bewirkt.

Weiß ich doch. Hab doch nen 40mm silentlüfter von denen noch hier rum liegen, der Jahrelang bei mir im Einsatz war Ich verwende das aber als Synnonym für richtig starke Lüfter, ähnlich wie man zu Wasserstrahlreinigern eben einfach Kärcher sagt

Der Kärcher der Lüfterwelt ist aber eher Delta

Das Problem ist schon gelöst Aqua Computer Webshop - twinConnect für GTX 590/580/570/480/470/460 und HD 6970/6870/6850/6790, max. 7 Grafikkarten 23501 + Aqua Computer Webshop - aquagrATIx für HD 7970 G1/4, 2. Wahl 23537

Ich hab mit denen gesprochen. Die Kühler lassen sich slot an slot montieren, und der Connector ist so modular aufgebaut, das alle 7 GPUs angeschlossen werden können, und dabei sogar noch zwei parallele Kreisläufe realisierbar sind. Das war auch mit ein Grund, warum ich das Projekt jetzt, neben dem Bericht von meinem Kooperationspartner über sein 8er System, überhaupt jetzt angehe. Der Anschluss der GPU-Kühler ist jetzt endlich in Vollbelegung machbar. Alles was ich mir vorher angeschaut habe hat ohne Riser dann wieder nicht funktioniert, was absolut zu meinem Konzept gepasst hat, weil ich ja genau das mit eleminieren wollte.

Na wenn die sagen, dass das gut funktioniert...
Ich hätte Bedenken bei 4 fach parallel und Ein- und Ausgang auf der gleichen Seite.

Ich sag dir, das Konstrukt von meinem Kooperationspartner sieht mal HEIS aus. 4 Stahlprofile, und die mit "Tesa" zusammengehaltne Das wars

Das ist dann kein Konstrukt, das ist Pfusch (und ich bin jemand der das wissen muss, hab schließlich schon Radiatoren mit Kabelbindern und Haselnüssen in Position gebracht )
Ich hatte jetzt wenigstens mit einem Modulsystem gerechnet, wie man es z.B. für Messestände nimmt.

Datenspeicher sind natürlich durchaus ein Thema, welches aber mich erst mal nicht tangiert. Für micht steht fest, das genug Platz für HDDs/SSDs ist, welche über SATA/SAS angeschlossen werden können. Das sollte ausreichen. Im Fulmo GT hätte man auch 10 Plätze hierfür frei, warum mir dieses auch so sympatisch ist. Der Ausbau in diesem Punkt wird aber mit ziemlicher Sicherheit NICHT erfolgen, da dies recht trivial erfolgen kann. Was dafür wohl noch betrachtet wird, ist das Verbauen eines NICs, der dann 16x angeschlossen wird. Dafür fliegt dann halt eine GPU raus. Damit hat man dann aber prinzipiell den Zugang zu einem Massenspeicher. So ist es ja auch in den meisten Clustern gelöst. Da gibts ne Storagelösung und gut ist. Die Flexibilität sowohl für Standalone als auch für "Cluster" sollte damit gegeben sein nach meiner Einschätzung. Auf jeden Fall beides keine Punkte, die ich näher beleuchten werde. Dafür gibt es genug einfach Mittel, bzw. Im Cluster läufts dann wohl eh auf ne Speziallösung raus, wo auch eine externer WaKü-Anschluss gegeben ist inkl. Pumpe usw. Also nichts was ich näher beleuchten muss, da im Zweifel "einfacher" zu realisieren für das Hostdesign an sich.

Na gut. Ich hatte damit gerechnet, dass ein lokaler Zwischenspeicher benötigt werden könnte, der mehr Bandbreite als die 2 GB/s des Chipsatzes (wenn dessen Controller die überhaupt bringt) hat und mehr Kapazität als der RAM hat.

Tja, ich hoffe das ändert sich noch in nächster Zeit, wenn sich GPGPU noch weiter durchsetzt, und man eben sieht, das so ein System mit normalen Mitteln realisierbar ist, und eben auch für ein breites Feld von Anwendern nutzbar ist, da eben durch die bis 80 Lanes bei Dual-Sockel 2011 eben die Anbindung so viele Karten nicht mehr das große Problem ist, was allgemein die Leute bis jetzt abgeschreckt hat. Vielen war ja 16x PCI-E 2.0 schon grad genug, weil Sie auch stark an der Schnittstelle hängen. Da brichste das dann nicht auch 4 Lanes oder so runter. Da ist einfach der Verlust zu hoch. Mit dem System kannste halt jetzt entweder 4x 16x 3.0 machen, oder eben 8x 8x 3.0, was dann 8x 16x 2.0 entspricht von der Bandbreite. Damit wird das halt für viele attraktiv, dies vorher kategorisch dies ausgeschlossen haben wegen den 4x. Wir reden hier ja von einer 4 mal höheren Bandbreite. Das ist signifikant mehr in diesem Fall.

Mal gucken. Ich würde aber erwarten, dass wenn dann die Grafikkartenhersteller schneller reagieren, als die Kombination aus Mainboard- und Gehäuseindustrie. Schließlich wären solche Systeme ehe nur mit Wakü machbar - und damit sind auch Dual-GPU-Karten keine Problem und Quad-GPU denkbar. Wenn man doch ins Format eingreift, dann vermutlich gleich richtig. Racks nutzen ja schon heute diverse Abwandlungen und mit der Verlagerung von Aufgaben weg vom Board ändert sich auch die Bedeutung des Mainboards. Da könnte es in Zukunft z.B. attraktiv und platzsparend werden, auf der Boardrückseite 2-3 Höhencentimeter für CPUs und RAM vorzusehen und die gesamte Vorderseite für Karten freizuhalten. Denn warum soll man noch riesige Platinen nehmen, die dann doch nur ein paar Leiterbahnen für (unnötig lange) Verbindungen zwischen Hochintergrierten CPUs, einem Chipsätzchen und den eigentlich Arbeitskarten tragen?
Weißt du eigentlich, ob es möglich ist, mit einem Dual-2011 System fünf 3.0 x16 Slots zu realisieren? (also die beiden einzelnen x8 zu vereinen?)

Ne sorry, aber genau so was mein ich mit Bastellösungen. Das baut keiner nach, und schaut sich auch keiner detailiert nach, da einfach der Aufwand und die Risiken zu hoch sind. Wenn du sowas in nen Serverraum stellen willst, wirste gesteinigt. Ne, das geht nicht und ist an den Designvorgaben eben auch völlig dran vorbei. Wenn das dann am Ende bedeutet, das man kein 8x DualGPU inkl interner WaKü machen kann (wovon ich ausgehe, mit externer gehts sicherlich wieder), dann ist dem halt so.

Na gut - deine Designvorgaben kenne ich natürlich nicht.
Aber letztlich sollte eine gewisse Differenz zwischen einem einzeln angefertigten Prototypen und einer möglichen professionellen Umsetzung imho erlaubt sein und ein handgefertigter Kabelstrang zur direkten Verbindung eines propietären Netzteilsteckers mit normaler Hardware würde für mich dazu gehören (zumal die Stromversorgung als solche ja wohl kein Schwerpunkt des Projektes ist - dass man die realisieren kann, wenn es in Serie geht, ist ja nun durch abertausende Serversysteme dieser Verbrauchsklasse belegt)

Mal davon abgesehen, dass das ganze Projekt imho kaum an Nutzlosigkeit zu überbieten ist - insbesondere mit der veranschlagten Zielsetzung - glaubst du tatsächlich, dass es auch nur das geringste Interesse der "breiten Masse" gibt so etwas zu nachzubauen?

Ich glaube nicht, dass Skysnake ein "für die breite Masse" Projekt macht

Eine WaKü, welche theoretisch die Möglichkeit bietet die Radiatoren einfach durch Wärmetauscher zu ersetzen, und dann entweder billig zu kühlen (Flusswasser z.B.) oder die Abwärme sogar noch zu nutzen (Brauchwasser), ist ein gewaltig Schritt nach vorne.

Wenn du so etwas mit ins Auge fasst und es nicht nur um Kompaktheit und Portabilität geht, solltest du imho zwingend auf ein exterenes Kühlsystem setzen. Denn dann hast du eine klare Trennung und kannst auch alternative Kühlkonzepte leicht verdeutlichen/ausprobieren, z.B. Wasser-Wasser-Wärmetauscher. Auch würde ich dann doch auf die Lautstärke des Kernsystems achten, denn mit die attraktivste Anwendungsmöglichkeit für eine Wakü ist es, die Wärmeabgabe direkt nach draußen zu verlagern, so dass dein Rechner nicht nur wenig, sondern gar keinen Serverraum mehr braucht und am Arbeitsplatz betrieben werden kann.

Nochmals zu den Schnellkupplungen und intern/extern. Mir wurde von einem WaKü Hersteller bei solch einer Konfiguration (unabhängig ob extern oder intern) ganz klar davon abgeraten Schnellkupplungen zu verwenden. Das würde nicht funktionieren hies es. Wenn ich aber keine Schnellkupplungen verwenden darf, dann darf ich außen auch keinen großen Radi verbauen, wenn ich das Ding "transportabel" halten will, weil Gehäuse und dann noch Radi, die miteinander verbunden sind, zusammen bewegen... vergiss es, das geht schief. Also war der Ansatz eben, das alles intern muss (maximal außen angeschraubt, aber das ist auch gefährlich). Wenn die Schnellkupplungen dann aber doch gehen, kann man auch wieder auf extern gehen und hat viel weniger Probleme.

Dazu vielleicht nochmal den Link mit Messwerten, der auch im Guide steht:
http://extreme.pcgameshardware.de/wasserkuehlung/39751-durchflusswerte-sammelthread.html#post1649603