Kaufberatung für Verarbeitung großer Excel-Datenbanken

Kaufberatung für Verarbeitung großer Excel-Datenbanken

Hallo zusammen,

ich bräuchte mal eure Hilfe zur folgender Problemstellung: in meinem Job leite ich Algorithmen für die bessere Aufarbeitung von Produktionsdaten her. Zur Verprobung der neuen Logiken nutze ich am liebsten Excel, da es simpel anzuwenden ist und man Fehler recht schnell erkennt. Bei meinem jetzigen Projekt bremst mich allerdings mein Rechner leider etwas aus. Aktuell nutze ich einen i7-6820 HQ mit 2,7GHz, 32Gb Ram und Windows sowie Office 64bit. Laut Ressourcenmonitor laste ich durch meine Excel-Berechnungen die CPU-Frequenz voll aus. Da die Berechnung Stunden dauert, würde ich das ganze gerne etwas durch bessere Hardware beschleunigen und konnte bereits meinen Chef davon überzeugen, mir etwas Budget hierfür zur Verfügung zu stellen.

In Foren habe ich bereits gelesen, dass man hinsichtlich der Verarbeitung großer Excel-Datenbanken auf die Arbeitsspeichergröße sowie auf die CPU achten soll. Könnt Ihr mir bitte eine Empfehlung aussprechen, welche Hardwarekomponente ich nutzen sollte bzw. ob es geeignete Komplettsysteme gibt, die eventuell passend zusammengestellt werden können (Dell, etc.). Von meinem Chef habe ich eine Budgetvorgabe von 15.000€.

Vielen Dank schon mal für eure Hilfe!
Beste Grüße
Maik

AW: Kaufberatung für Verarbeitung großer Excel-Datenbanken

Laut Ressourcenmonitor laste ich durch meine Excel-Berechnungen die CPU-Frequenz voll aus.

Zum Vergrößern anklicken....

Hier müsstest du etwas konkreter werden. Lasten die Berechnungen auch alle Kerne der CPU voll aus?
Dass eine CPU ihren Takt ausfährt ist normal und in der Regel kein Indiz dafür wie sehr sie ausgelastet ist.
Und wenn du schon dabei bist bitte auch schauen wie viel RAM von deinen Excel-Berechnungen belegt wird.

Allerdings muss ich dich schon vorab etwas enttäuschen. Egal wie die Auslastung derzeit aussieht, riesige Sprünge in Sachen Verarbeitungsgeschwindigkeit sind mit keiner aktuellen Hardware zu erwarten.
Vielleicht lohnt es sich eher mal ein wenig zu optimieren: Excel-Performance - Verbesserung der Berechnungsleistung

AW: Kaufberatung für Verarbeitung großer Excel-Datenbanken

Agria3800G schrieb:

großer Excel-Datenbanken

Zum Vergrößern anklicken....

Guten Abend Maik und Willkommen im Forum,
bitte erklären Sie uns Ihre "Excel-Datenbanken" zum Verständnis.

Passend dazu sollten Sie ggf. einen kurzen Blick auf Windows 10 Pro for Workstations werfen.
"Dies ist das bisher leistungsfähigste Windows. Das Betriebssystem bietet eine schnellere Datenverarbeitung und -speicherung, ein neues Dateisystem, das Fehler sucht und repariert, und Unterstützung für die PC-Hardware der nächsten Generation mit bis zu 4 CPUs und 6 TB Arbeitsspeicher."
https://www.microsoft.com/de-de/p/windows-10-pro-for-workstations/dg7gmgf0dw9s
... nur zur Info.

AW: Kaufberatung für Verarbeitung großer Excel-Datenbanken

Nahezu 5GHz Boost der aktuellen i7 gegenüber den jetzigen 3,6GHz die dank Mobil-Prozessor wahrscheinlich nur sehr kurz anliegen wären alleine schon ca. 40% Leistungssteigerung. Mehr Kerne wird bei dem Workload wahrscheinlich garnichts bringen.

Allerdings frage ich mich warum du für die Entwicklung der Logik große Datenbanken brauchst. Ob "der Algo" das macht was er soll dürfte man auch mit weniger Testdaten für die ersten Runs sehen. Das kann deinen Workflow wohl am meisten beschleunigen.

AW: Kaufberatung für Verarbeitung großer Excel-Datenbanken

Vielen Dank für eure Antworten!

Nein, die Berechnungen lasten nicht alle Kerne voll aus und Excel nutzt auch lediglich 2,3Gb des Arbeitsspeichers.

Meine Excel-Berechnungen sehen wie folgt aus: ich habe von jedem Fertigungsprozesse sekündliche Zustandsdaten. Mit diesen möchte ich wiederum Abhängigkeiten zu anderen Prozessen erkennen. Das heißt bei einer Tagesauswertung habe ich 84000 Zeilen die ich mittels 38 Rechenschritte (Spalten) mit den Daten eines anderen Prozesses in Verbindung bringe. Bei meinem aktuellen Fertigungsbeispiel habe ich 7 Prozesse, bedeutet 7*84000*38= 2.234.400 Berechnungen. Bei diesen Berechnungen schwächelt mein Laptop leider schon. Um den Mehrwert meiner hergeleiteten Logik nachzuweisen müsste ich mein Excel-Dokument sogar noch erweitern, damit ich eine Wochenauswertung für 26 Prozesse erhalte (580.944.000 Berechnungen).

AW: Kaufberatung für Verarbeitung großer Excel-Datenbanken

Aber die parallele Berechnung auf 4 Kernen hast du schon aktiviert? Nutze selbst kein aktuelles Excel, deshalb kann ich nicht nachschauen ob das mittlerweile Standardeinstellung ist.

Das schnellste was du dir derzeit dafür kaufen könntest, wäre wahrscheinlich ein I7-9600k oder 9700k mit 16GB sehr schnellem RAM und einer NVMe-SSD. Eventuell auch den I9-9900k wegen des etwas größeren L3-Cache. Die üblichen Verdächtigen wie Dell, HP usw. scheiden hier fast aus, weil man dort den RAM nur als DDR4-2666 bekommt. Und gerade der macht bai Excel nochmal einen großen Unterschied.
Wenn du das alles umsetzt und die Berechnung wirklich nicht mehr als 4 Kerne auslasten kann rechnet das in der Größenordnung 60-80% schneller.

AW: Kaufberatung für Verarbeitung großer Excel-Datenbanken

Also sorry, aber, wenn dir dein Chef wirklich 15.000€ zur Verfügung stellt, dann ist es wohl enorm teuer, wenn der PC ausfällt, daher ganz klar eine Workstation mit 24/7 Support und tunlichst die Finger von Selbstbauten lassen.

War mir aber gar nicht bewusst, dass man mit Excel etwas rechenintensives machen kann^^.

AW: Kaufberatung für Verarbeitung großer Excel-Datenbanken

Agria3800G schrieb:

Nein, die Berechnungen lasten nicht alle Kerne voll aus und Excel nutzt auch lediglich 2,3Gb des Arbeitsspeichers.

Meine Excel-Berechnungen sehen wie folgt aus: ich habe von jedem Fertigungsprozesse sekündliche Zustandsdaten.

Zum Vergrößern anklicken....

Ich bin beeindruckt wie Sie Ihren Vorgesetzen hinsichtlich dessen zu 15.000€ Budget überreden konnten! Klicken Sie sich bei Dell durch, Bereich Workstation => aktuell landen Sie ggf. bei einem <2.000€ Precision Tower. Dort packen Sie zunächst Ihr Excel drauf.

Das restliche Kapital von 13.000€ sollten Sie für Customizing und Schulung nutzen, Stichworte wie z.B. Polling führen in die richtige Richtung. Im SQL Bereich sind auch mehrere 1.000ms kein Problem.

AW: Kaufberatung für Verarbeitung großer Excel-Datenbanken

Schau das mal nach ob du mehrere Kerne nutzen im Excel aktiviert hast das wäre schon ein ziemlicher Schritt zur Leistung.

Danach mal schauen wie sehr der Kern ausgelastet ist - musst dir alle Threads im Ressourcen Monitor anzeigen lassen.

Bevor man in irgendeine Richtung geht muss halt klar sein ob viele Kerne etwas bringen oder nicht.

Falls es ne gesunde Mischung sein soll:
https://ark.intel.com/de/compare/134860,134855

Die sollten bei den bekannten Herstellern verfügbar sein da würde ich halt schauen was die Firma sonst so für einen Hersteller einsetzt.

Die normalen Xeon CPUs der höheren Klassen sind halt nur interessant wenn nicht so viel Takt sondern mehr Kerne benötigt werden.

AW: Kaufberatung für Verarbeitung großer Excel-Datenbanken

Agria3800G schrieb:

Um den Mehrwert meiner hergeleiteten Logik nachzuweisen müsste ich mein Excel-Dokument sogar noch erweitern, damit ich eine Wochenauswertung für 26 Prozesse erhalte (580.944.000 Berechnungen).

Zum Vergrößern anklicken....

Schon klar, aber das kann ja über Nacht laufen sobald du weißt dass deine Tabelle das berechnet was sie berechnen soll.
Mal ganz davon abgesehen dass Statistica und Co. für die Anwendung sinnvoller erscheinen. Darum finde ich die Idee das Budget für Schulung+Lizenz in solcher Richtung einzusetzen garnicht so schlecht.

AW: Kaufberatung für Verarbeitung großer Excel-Datenbanken

Ich kenne (kleine) Firmen welche solche Ansätze hatten, eben mit Excel als Reporting-Tool zu verwenden. Das hatte aber mit Excel 2007 aufgehört, da die zuvor 65.536 Zeilen in wenigen Sekunden voll waren. Diese kleinen Firmen konnten sich aber keine 15.000€ Budget leisten bzw. hatten keine solche Talente die Verantwortlichen dazu zu bewegen.

@ Agria3800G
Probieren Sie ihre Daten in SQL (2017) Express abzulegen, es liest sich so als deckt die kostenlose Express Variante Ihren Umfang (alternativ zum Test die Developer Edition).
Die Daten können Sie weiterhin in Excel auswerten, die Verarbeitung findet jedoch in einer SQL Datenbank statt.
Excel > Daten > Neue Abfrage > Aus Datenbank (...)

Der SQL Untergrund verschafft Ihnen neuer Erkenntnisse Ihre 580.944.000 Berechnungen auszuführen.
Ein aktueller DELL Precision Tower mit Windows 10 Pro for Workstations sollte hierfür ausreichen, beim RAM gern mehr.