Softwarefehler legt VW-Werke lahm

[Neuer_User]

Das klingt nicht gut. Seit 12:30 stehen einige fahrzeugproduzierende VW Werke still. Ich kenne noch die Konventionalstrafen, die wir hätten zahlen müssen, wenn ein Band ausfällt. Das waren 60.000,-€ pro Minute. Es hieß früher mal, dass VW, sollte die Produktion sämtlicher Werke stehen, nach einigen Tag zahlungsunfähig sei. Einfach weil die Barmittel zum Bezahlen der Zulieferer schwinden.

Je länger die Bänder stehen, umso schlimmer das Anlauf und die Probleme, die just in time kontinuierlich angelieferten Waren irgendwo unterzubringen. Hoffentlich wird der Fehler schnell gefunden. Und hoffentlich schwappt es nicht auf weitere Werke über.

Kennt Ihr sowas aus Euren Firmen? Wir haben uns mal in einem Werk mit einer SAP Umstellen alles lahmgelegt. Das zog sich über Wochen und es wurden z.B. Teil Hubschrauber eingesetzt, um die produzierten Bauteile in die Fahrzeugwerke zu liefern. Alles, aber blos kein Bandstillstand in den Werken. Das flossen Millionen in den Sand.

https://metager.de/meta/meta.ger3?eingabe=Softwarefehler legt VW Werke lahm

 

[ΔΣΛ]

Wie war das dann in der Pandemie, da standen doch quasi alle still, für eine ganze weile?
So schlimm kanns also nicht sein...

 

[Neuer_User]

Wie war das dann in der Pandemie, da standen doch quasi alle still, für eine ganze weile?
So schlimm kanns also nicht sein...

Da wurde vieles gerettet, man baute z.B. die Fahrzeuge auf und hat die fehlenden Steuergeräte nachträglich eingebaut, oder man speckte den Lieferumfang ab. Und doch, das war schlimm. Und geplanten Bandstillstände zusammen mit Kurzarbeiten sind eine andere Nummer, wenn rechtzeitig dem Zulieferer angezeigt.

 

[Finallin]

Das waren 60.000,-€ pro Minute.

Nicht nur das ist purer Quatsch...

 

[soulstyle]

Also man müsste jetzt die Fixkosten auf die Minute runterrechnen, die Arbeiter und Angestelten, und noch den Produktionsausfall, da kommen schnell ein Paar Tausend Euro zusammen Pro Minute.

Nur mit den Konvetionalstrafen ist man dann doch vorsichtig weil man letztesendes seinen eigenen Schwanz beist.
Keine Zuliferer keine Produktion. Zulieferer deshalb pleite, überlegen es sich die anderen Zulieferer es sich 3 mal ob die in Kooperation gehen.

Aber ja je nach Werk können es durchaus 60K€ werden.

 

[Neuer_User]

Aber ja je nach Werk können es durchaus 60K€ werden.

60.000,-€ pro Minute sind je nach Fahrzeug die verhandelten Sätze mit Zulieferern, und ich kenne wenige Fälle, in denen das umgesetzt wurde. In der Regel kann man einen "Force Majeure", also höhere Gewalt, geltend machen. Und bei vielen Produkten hatten die Werke zwei Lieferanten, zumindest früher, heute wird das immer weniger umgesetzt, so mein gefühlter Eindruck. Die Nische, die ich überblicke ist dazu zu klein.

Man muss natürlich unterscheiden, was ist der wirkliche "Verlust" und was sind nur die temporären Umsatzausfälle. Wenn das Band steht, werden die Bauteile nicht schlecht. Im ersten Ansatz könnte man meinen, baut man sie halt später zusammen. Dazu müssen dann aber die Kapazitäten da sein, und Werke, die auf 100% ausgelegt sind, können oft maximal nur 110%. Es würde also zehn Tage dauern, um den Warenberg von einem Tag wieder abzubauen. Und das ist extrem teuer, der Platz ist gar nicht da. Das Werk muss dann die Zuliefer anweisen, nicht mehr zu liefen. Das wird aber auch teuer, weil es in der Regel vereinbarte Mindestmengen gibt, etc. Dem Werk selber entstehen darum natürlich geringere Kosten, also sie Zulieferen in Rehcnung stellen würden, die ich aber nicht kenne, weil ich den Gewinn pro Fahrzeug nicht kenne. Fixkosten, wie Du selber sagst, fallen trotzdem an.

Wir reden aktuell von drei Werken. Gerade Wolksburg mit sienen vielen Bändern ist hart, die anderen wie Emden, sind kleinere Werke. Trotzdem fehlt VW bei einen längeren Bandausfall der Umsatz. Es fehlen einfach die Zahlungseingänge für ausgelieferte Fahrzeuge. Und wenn das Weltweit ungeplanz passiert, wäre das fatal. Der Ausfall des Zewntralrechnes in Wolfsburg durch als Beispiel genannt. Dann seht weltweit die Logistik. So war das zumindest vor zwanzig Jahren, vielleicht wurde heute dupliziert und lokalierisert. Das wäre wünschenswert.

Nur mal so als Zahl, ein Lieferstopp eines Bandes in Wolfsbug wurde mit 100 Millionen Schaden pro Woche angesetzt. Und jetzt stekk dir vor, sämtliche Bände weltweit bleiben wegen Softwarefehler stehen. Da schmelzen die Mittel zum begleichen offener Rechnungen ganz schnell zusammen.
https://metager.de/meta/meta.ger3?eingabe=VW Bandausfall 100 millionen

Insgesamt, und darauf will ich hinaus, wird die vernetzte Welt immer anfälliger für Softwarefehler. Dazu wird die Software immer komplexer. Und liegt ein riesiges Schadenspotential.

 

[Olstyle]

Kennt Ihr sowas aus Euren Firmen?

Hatte ich hier glaub ich irgendwo schonmal erwähnt: Eine geplante(!) Stromunterbrechung hat beim wieder Einschalten zwei große Switches zerstört für die kein Ersatz bereit lag. Die Frühschicht hat man erstmal nach Hause geschickt, in der Spätschicht hatte man die noch funktionierenden Ports gefunden und die Arbeit wieder aufgenommen.

 

[PCGH_Dave]

Ich hab lang genug in dem Schuppen gearbeitet, um zu wissen, dass die Maschinen und die Software/Computer darin älter als meine Oma sind. Dass das überhaupt so lange gehalten hat, wundert mich. Täglich Störungen am Band, manchmal Ausfälle für viele Stunden, ihr würdet darüber lachen, was ich da alles erlebt habe.

 

[Neuer_User]

... Täglich Störungen am Band, manchmal Ausfälle für viele Stunden, ihr würdet darüber lachen, was ich da alles erlebt habe. ...

Das habe ich in der Dimension nicht mitbekommen. Aber ja, häufiger, wenn wir uns die Fertigung anschauen wollten, um zu analysieren, wo denn optimiert werden kann, liefen sie nicht. Warum, war dann egal, ging man halt einen Tag später wieder hin. Es wirkte immer wie geplante Ausfälle. z.B. wegen Umbnauten. Ungeplant ist das immer große Grütze!

Die alte Hardware hat Vorteile. Die guten alten 8086 Prozressoren werden immer noch eingesetzt, einfach, weil man sämtliche möglichen Fehler kennt. Das hat man bei neuen Prozessoren nicht. Und Berechnungsfehler kann man in der Steurung nicht gebrauchen. Bei einem Rechnerspiel ist ein Pixelfehler völlig egal, in der Logistik ist das nicht so schön.

 

[soulstyle]

Naja, egal wer im produzierenden Unternehmen gearbeitet hat, kennt diese Art von ungeplanten Ausfällen durch
ich sage mal allumfassend, Defekte / Fehler.

Aber dadurch ist noch kein Unternehmen in die Knie gegangen.
Ich denke, so war es bei mir zumindest, das man mit ungeplanten Ausfällen rechnen muss.
Spätestens im Folgejahr hat man Referenzwerte und Referenzbeispiele womit man arbeiten und entsprechend
Wartungen einplanen kann um den bekannten Schwachstellen entgegen zu wirken.

Und ein guter technischer Leiter beobachtet seine Maschinen und prüft auch warum was ausfällt und kann schon einiges bewirken.
Leider sind, so nennt man es "vorbeugende Instandhaltung" nicht gerne gesehen und versucht mit kleinen Defekten weiter zu arbeiten um halt Stillstandskosten zu vermeiden bis dann der Big Bang kommt und dann wirds teuer.

Kann euch viele Lieder von Produktionsleiter vs technischen Leitern vorsingen.
War selber 25 Jahre technischer Leiter.....

 

[Neuer_User]

...

Technische Defekt passieren natürlich regelmäßig, dauern aber oftnicht lange und Ersatzteile für alles sollten vorrätig sein. Z.B. die Roboter fallen regelmäßig aus und dafür stehen sofort Ersatzroboter parat, die einfach eingebaut werden. Dauert nicht lange. "Vorbeugende Instanthaltung" kenne ich aus ganz vielen Bereichen. Ich hab vor Jahrzehnten, noch an der Uni, z.B. an Geräuschindizierten Verfahren gearbeitet, um Lagerschäden zu vermeiden und Lager rechtzeitig aber auch nicht zu früh zu wechseln. Da passiert eigentlich viel. Ob das in Fertigungen eingepflegt wird, ist immer Entscheidung der Firma. Kostet alles Geld.

Hier reden wir aber über einen zentralen Softwarebug. Da kann der arme Fertigungsleiter am Band rein gar nix machen. Hin und wieder sind Inselbetriebe möglich. Das ist aber gerade bei VW, wo jedes Auto individuell ist, wo jeder Barcode von jedem Bauteil eindeutig zuordbar sein muss, eigentlich nicht möglich. Man könnte sowas lokal speichen und dann später wieder an den Zentralrechner geben. Keine Ahnung, ob das gemacht wird. Aber ohne die Daten vom Zentralrechner wieß man gar nicht, wie das Auto gebaut werden soll und mit welchend er tausenden unterschiedlichen Varianten.

 

[soulstyle]

Technische Defekt passieren natürlich regelmäßig, dauern aber oftnicht lange und Ersatzteile für alles sollten vorrätig sein. Z.B. die Roboter fallen regelmäßig aus und dafür stehen sofort Ersatzroboter parat, die einfach eingebaut werden. Dauert nicht lange. "Vorbeugende Instanthaltung" kenne ich aus ganz vielen Bereichen. Ich hab vor Jahrzehnten, noch an der Uni, z.B. an Geräuschindizierten Verfahren gearbeitet,

Hat sich nie durchgesetzt!!!!!!!!!!!

um Lagerschäden zu vermeiden und Lager rechtzeitig aber auch nicht zu früh zu wechseln. Da passiert eigentlich viel. Ob das in Fertigungen eingepflegt wird, ist immer Entscheidung der Firma. Kostet alles Geld.

Sorry aber da zweifele ich an deiner Erfahrung an aktiver Instandhaltung, einen Roboter hat man mal nicht eben da stehen und kann es mal eben einbauen, Du könntest auch ein Produktionsleiter sein.
Aber bei aller Verständniss, um alles da zu haben, da müsste man eine 2. Linie nebenan als Ersatzteillager
stehen haben um alles da zu haben.

Unmöglich!! Lager Kosten Kapital was eingfroren ist und und und.
Wissenschaft für sich
Konsignationslager etc.....

Aber anderes Thema.

Ja dann habe mal einen Linienausfall an einer 10m breiten Papiermaschine, Du wirst da nix machen.
Aber auch garnix da steht dann alles auch wenn die Software tip top läuft.

Da wirst Du brav deine Monteure herbei holen alle werden fluchen und dann schön 4 Tage die Maschine reparieren.
Walzen ausbauen und und und und das Beste zum Schluss die Maschine über Stunden einstellen.

An solchen Anlagen habe ich gearbeitet. Und da hast DU alle Teile da???einself!!

https://www.blogus.de/hainan_pm2_de.pdf

Hier reden wir aber über einen zentralen Softwarebug.

Das hat genauso katastrophale Folgen aber es gibt auch da Lösungen wie Softwarebackups.
Unsere Anlagen (damals) haben als Beispiel fortlaufend Backups gemacht, wie genau weis ich nicht aber bei crashes wurde zurückgespielt auf den Vortag.
Hilft nicht immer aber man hat da auch Möglichkeiten...


Spritzgussanlage läuft 365 Tage durch.
Stellt für Komunen die Mülltonnen her.

Wenn die Spritzgussanlage ausfällt, weil ne Düse kaput ist oder sonstwas brauchen die 3 Tage um die Maschine eingestellt zu bekommen..

Glasherstellung wenn da der Ofen ausfällt ist 3 Tage Stillstand.
Die wechseln die Schamottsteine am ofen im laufendem Betrib aus, das bei 1200°C??
Mal eben Roboter tauschen

 

[Neuer_User]

... einen Roboter hat man mal nicht eben da stehen und kann es mal eben einbauen ...

In Karosseriewerken wird das gemacht. Standard Kuka-Roboter, die man austauschen kann, dann durchlaufen sie eine Positionierungsroutine und ab geht es weiter.

Ja dann habe mal einen Linienausfall an einer 10m breiten Papiermaschine, Du Wirs da nix machen.

Das sind auch andere Dimensionen. Am Band sind es oft recht einfach Module. Und die Standardverschleißbauteile sind vorrätig. Bei uns z.B. fielen regelmäßig Luftdruckzylinder von Festo aus. Das dauert dann Minuten, und es geht weiter.

 

[soulstyle]

Strandard Kuka-Roboter,

Schonmal deinen Begriff in eine Suchmaschine eingegben?

Das sind auch andere Dimensionen. Am Band sind es oft recht einfach Module. Und die Standardverschleißbauteile sind vorrätig. Bei uns z.B. fielen regelmäßig Luftdruckzylinder von Festo aus. Das dauert dann Minuten, und es geht weiter.

Sorry ich erkenne das Du keine Erfahrung in der Instandhaltung hast.
Arbeite mal aktiv in der Instandhaltung dann reden wir wieder.

Manche Fehler erkennt man nicht sofort, manchmal wird massenhaft Ausschuss gefahren bis man den Fehler gefunden hat.
Glaube mir es ist schwieriger als Du dir das denkst.

 

[Neuer_User]

Heute läuft die Produktion wieder. Und Wissnger stellt sich gleich vor die Presse und redet von "»Wir brauchen hier Sicherheitssysteme, die funktionieren«, sagte er den Sendern RTL und ntv. Wenn es zu solchen Störungen wie bei VW komme, müsse das präzise analysiert werden. »Es muss allen klar sein, digitale Infrastrukturen sind kritische Infrastrukturen.«"

Mein Gott, ich kenne keine Firma, die das Thema IT-Sicherheit intensiver betreibt als VW. Aber bei hunderttausenden Angestellen mit Rechnerzugriff ist das nicht immer so einfach, wenn man an den üblichen chinesischen Studenten denkt. Aber die rechner sind ziemlich gut geschützt, alle. Da gibt es keine offnen USB Anschlüsse.

VW hat sein eigenes Datenversendungstool, und das ist ziemlich sicher. Das nutzen dann in der Regel auch die Zulieferer untereinander. Man hat aber als Unternehmen keine Option, wenn die Hardware schon korrumpiert ist. ich denke an den Skandel mit manipulierten Servermainboards zurück. Keine Ahnung, ob das hinterher bestätigt wurde oder nur ein Verdacht blieb, ich las davon nichts mehr. Dagegen kann man extrem schwer wehren. Imd om Firmen dieser Größe wird jedes eingesetzte elektronische Bauteil vorher getestet. Da kann man nicht einmal eigene Mäuse an die Rechner hängen.

Sorry ich erkenne das Du keine Erfahrung in der Instandhaltung hast.

Ich hab das mal per PN beantwortet, das w+rde hier den Rahmen sprengen

 

[Poulton]

Nur mal so: Toyota hatte vor ein paar Wochen auch IT Probleme:

Datenfluten: Toyotas Fabriken durch fehlenden Server-Speicher lahm gelegt; US-Farmer stöhnen über Datenmassen und Automatisierung

Die steigende Datenflut und die immer fetter werdenden Software-Pakete und Updates führen inzwischen zu immer skurriler wirkenden Fehlern. Bei Toyota in Japan standen vor einigen Tagen die Produktionsbänder still. Ursache waren Server-Probleme, weil ein Software-Update sich wegen fehlendem...

www.borncity.com

Und zum VW Thema: Aktuell gehen die Gerüchte in die Richtung ausgelaufene Lizenzen bei den (Meraki-)Switchen, wodurch zwingend benötigte Funktionen nicht mehr zur Verfügung standen. Lizenzen sind mit das größte Arschlochkind in der IT, neben Cloud und permanent irgendwohin telefonieren.

 

[Crujach]

Nur mal so: Toyota hatte vor ein paar Wochen auch IT Probleme:

Datenfluten: Toyotas Fabriken durch fehlenden Server-Speicher lahm gelegt; US-Farmer stöhnen über Datenmassen und Automatisierung

Die steigende Datenflut und die immer fetter werdenden Software-Pakete und Updates führen inzwischen zu immer skurriler wirkenden Fehlern. Bei Toyota in Japan standen vor einigen Tagen die Produktionsbänder still. Ursache waren Server-Probleme, weil ein Software-Update sich wegen fehlendem...

www.borncity.com

Und zum VW Thema: Aktuell gehen die Gerüchte in die Richtung ausgelaufene Lizenzen bei den (Meraki-)Switchen, wodurch zwingend benötigte Funktionen nicht mehr zur Verfügung standen. Lizenzen sind mit das größte Arschlochkind in der IT, neben Cloud und permanent irgendwohin telefonieren.

hab ich heute auch gelesen: ist aber erstmal nur ein Gerücht https://blog.fefe.de/?ts=9be8642a
ganz ehrlich: würde mich nicht wundern... Mail geht an die Buchhaltung, wird dort gelöscht (oder in den Spamordner verschoben) und keinem fällt was auf.

 

[Neuer_User]

hab ich heute auch gelesen:

Das ist eine reine Vermutung und wenn man die Prozesse kennt. ist es unwahrscheinlich.
Aber warten wir die Stellungsnahme VWs ab. Möglich ist alles.

Nachtrag: " .... Laut "Süddeutscher Zeitung" war offenbar ein "sehr ungewöhnliches Datenpaket" der Grund für den Ausfall. Der Server habe es wieder und wieder hin- und hergeschickt, bis das System schließlich vollkommen überlastet zusammengebrochen sei. Woher das Datenpaket stammte, sei unklar. Auch das "Handelsblatt" berichtet von "untypischen Dateninhalten", die sich innerhalb der IT-Struktur von VW vervielfältigt hatten. In der Nacht zu Donnerstag sei ein verdächtiges Datenpaket entdeckt und isoliert worden, heißt es. ..."
Quelle: https://www.ndr.de/nachrichten/nied...toerung-VW-sucht-nach-der-Ursache,vw6040.html