IBM toppt alten Weltrekord beim Massenspeicherzugriff um den Faktor 37

Jimini

Jimini

PCGH-Community-Veteran(in)
IBM-Forschern ist es gelungen, den alten Weltrekord beim Massenspeicherzugriff eines einzelnen Systems deutlich zu toppen. Hierbei wurden in nur 43 Minuten ganze 10 Milliarden Dateien durchsucht - der alte Weltrekord von nur einer Milliarde Dateien in ganzen drei Stunden wurde damit deutlich in den Schatten gestellt.
Um diese Leistung zu ermöglichen, setzten die IBM-Mitarbeiter auf einen Cluster bestehend aus vier SSD-Speichersystemen zu je 1,8 Terabyte und insgesamt 10 Achtkern-CPUs. Als Dateisystem kam das von IBM entwickelte Hochleistungs-Cluster-Dateisystem GPFS zum Einsatz.

Link zur heise.de-Meldung: heise online - IBM-Forscher stellen Weltrekord beim Massenspeicher-Zugriff auf
Originalmeldung: IBM Press room - 2011-07-22 Made in IBM Labs: Researchers Demonstrate Breakthrough Storage Performance for Big Data Applications - United States
 
TheMF6265 schrieb:
krank... schaff erstmal 10 Milliarden Dateien ran! :lol:
Zum Vergrößern anklicken....

Hm, ich denke das ist kein Problem. Da haben die sicherlich ein Skript laufen lassen, welches eine Datei erstellte, irgendwas da rein schrieb und das ganze dann 10.000.000.000mal durchführte. Wer so einen Cluster anschafft, sollte daran nicht scheitern ;)

MfG Jimini
 
ja gut, so hab ich das noch nicht betrachtet, das stimmt natürlich :D
sicher interessant für Unternehmen, die schnell viele Dateien durchsuchen wollen/müssen ;)
 
Ja für das durchsuchen von Kundendaten sicherlich sehr interessant. Aber ein anderer großer Player im Geschäft wird da noch viel mehr Interesse haben. Google.....

Die haben eh zu viel Daten um Sie ordentlich durchsuchen zu können. Bei denen wäre so etwas absolut Gold wert.
 
Naja, Kundendaten und Ähnliches legt man ja nicht in vielen kleinen Daten à la "Kunde1", "Kunde2" etc. ab, sondern speichert sowas in Datenbanken. Und deren Inhalt kann man weitaus schneller abrufen als das jetzt in IBMs Versuch geschehen ist. Das ist dann in etwa das Prinzip der Dateiindizierung von Windows - ein Index ist viel schneller durchsucht als der Inhalt der Festplatte.

MfG Jimini
 
Finde solche Sachen immer sehr interessant. Man sieht an solchen Veröffentlichungen immer, was heute möglich ist. Ein Danke für die News.

Mich würde jetzt noch die Hardware, die dahintersteckt interessieren. Das ist aber sicherlich selbstentwickelte Hardware gewesen. Power7 Prozessor for the win. :-)
 
Sehr interessant, auch wenn das für normal Sterblich totaler unnütz ist. Mal von den Kosten ganz zu schweigen.
Die Hardware dahinter währe mal so richtig interessant.
 
Was die Hardware angeht, tippe ich auch auf Power7-CPUs, alles andere wäre marketingtechnisch unklug. Einen großen Anteil an der Leistung wird auch das stark optimierte und hochskalierbare GPFS ausmachen, was speziell auf solche Einsatzzwecke zugeschnitten ist - bei "normaleren" Anwendungen würde das sicherlich weniger performant sein. Aber natürlich - 80 CPU-Kerne und 6,8TB SSD-Speicherplatz machen schon ganz gut Dampf ;)
Genaueres bezüglich der verwendeten Hardware war leider nicht herauszufinden, es würde mich aber auch interessieren.

MfG Jimini
 
Hoffen wir mal, dass kein Unternehmen auf die dumpfe Idee kommt ihre Kundendaten auf SSDs zu speichern :ugly:

Aber sicherlich sehr gigantisch der Rekord.
 
Iceananas schrieb:
Hoffen wir mal, dass kein Unternehmen auf die dumpfe Idee kommt ihre Kundendaten auf SSDs zu speichern :ugly:

Aber sicherlich sehr gigantisch der Rekord.
Zum Vergrößern anklicken....
Wieso denn nicht? Dann müssen wir uns keine Sorgen mehr machen, das unsere Daten zu lange gespeichert werden.
Sozusagen mit eingebautem "Verfallsdatum" :lol:
 
Einloggen o. Registrieren zum Antworten.
Oben Unten
Zurück