// Security

Northeast-Blackout (USA/Kanada)

Ein stiller Softwarefehler legte das Alarmsystem einer Leitwarte lahm — der grösste Stromausfall Nordamerikas folgte.

Northeast-Blackout (2003): ein stiller Race-Condition-Fehler legte das Alarmsystem der Leitwarte lahm — Leitungsausfälle blieben unbemerkt und wuchsen zur Kaskade, 50 Millionen Menschen ohne Strom; kein AngriffAlarmsystemEMS-SoftwareOperatorenLeitwarte OhioLeitungenHöchstspannungVerbundnetzUSA + KanadaAufbauHeisser Augusttag 2003: Die Leitwarte von FirstEnergy in Ohio überwacht dasHöchstspannungsnetz. Das Alarmsystem meldet ihr jede Störung — normalerweise.
Tempo:

Schritt 1 von 6

Heisser Augusttag 2003: Die Leitwarte von FirstEnergy in Ohio überwacht das Höchstspannungsnetz. Das Alarmsystem meldet ihr jede Störung — normalerweise.

In 30 Sekunden

Am 14. August 2003 verloren rund 50 Millionen Menschen in acht US-Bundesstaaten und der kanadischen Provinz Ontario den Strom — der grösste Stromausfall in der Geschichte Nordamerikas. Es war kein Angriff: Beim Versorger FirstEnergy in Ohio blieb das Alarmsystem der Leitwarte wegen eines Race-Condition-Softwarefehlers still stehen, ohne Absturz und ohne Fehlermeldung. Die Operatoren sahen deshalb nicht, dass Höchstspannungsleitungen — unter anderem wegen Bäumen in den Leitungen — nacheinander ausfielen. Aus lokalen Störungen wuchs so eine Kaskade, die am späten Nachmittag das halbe Verbundnetz kippen liess.

Was geschah

Jahr

2003

Ziel

Betroffen war das nordamerikanische Verbundnetz; Ausgangspunkt war die Leitwarte des Versorgers FirstEnergy in Ohio, deren Energie-Management-System (GE XA/21) die Alarme hätte liefern sollen.

Der Angriffsweg

  1. Heisser Sommertag, hohe Last: Am frühen Nachmittag des 14. August 2003 bleibt in der Leitwarte von FirstEnergy das Alarmsystem des Leitsystems stehen — Ursache ist eine Race Condition (ein seltener Wettlauf zweier Programmteile um dieselben Daten).
  2. Der Fehler ist still: kein Absturz, keine Fehlermeldung. Kurz darauf bricht der überlastete Server zusammen, und auch der Ersatz-Server fällt aus. Die Operatoren wissen nicht, dass sie keine Alarme mehr erhalten.
  3. Draussen hängen Höchstspannungsleitungen in der Hitze durch, berühren zu hoch gewachsene Bäume und schalten ab — in der Leitwarte erscheint dazu kein einziger Alarm.
  4. Die Operatoren halten die Lage für ruhig und geben Anrufern aus Nachbarnetzen sogar Entwarnung. Auch beim übergeordneten Netzkoordinator ist ausgerechnet an diesem Tag ein wichtiges Analysewerkzeug ausser Betrieb.
  5. Der Strom sucht sich neue Wege und überlastet weitere Leitungen und Kraftwerke, die sich schützend abschalten — die Störung wächst über Stunden unbemerkt.
  6. Kurz nach 16 Uhr kippt das Netz: Innert Minuten kaskadiert der Ausfall durch acht US-Bundesstaaten und Ontario. Rund 50 Millionen Menschen sind ohne Strom.

Auswirkung

Rund 50 Millionen Menschen waren ohne Strom, viele für Stunden, manche Regionen tagelang — Ontario musste noch über eine Woche mit rotierenden Abschaltungen haushalten. U-Bahnen, Wasserwerke, Flughäfen und Spitäler liefen auf Notbetrieb; der wirtschaftliche Schaden wurde auf mehrere Milliarden Dollar geschätzt, und spätere Studien brachten auch Todesfälle mit dem Blackout in Verbindung. Anfängliche Gerüchte über einen Cyberangriff bestätigten sich nicht.

So schützt du dich

Überwache die Überwachung: Richte Watchdogs ein, die stillstehende Alarm- und Leitsystem-Prozesse selbst erkennen und laut melden.
Sorge für ein unabhängiges zweites Lagebild — etwa über einen übergeordneten Koordinator oder eine getrennte Messkette —, damit ein einzelner Systemausfall nicht blind macht.
Übe den Betrieb ohne Leitsystem: klare Prozeduren und regelmässiges Training für den Blindflug, bevor er im Ernstfall passiert.
Nimm ausbleibende Alarme ernst: Stundenlange verdächtige Stille ist selbst ein Alarmsignal und gehört aktiv überprüft.
Spiele Hersteller-Korrekturen für Leittechnik-Software kontrolliert, aber zeitnah ein — der Fehler im Alarmsystem wurde nach dem Blackout per Patch behoben.
Vernachlässige die physische Basis nicht: Vegetationspflege an Leitungstrassen gehört genauso zur Versorgungssicherheit wie Software.

Fakten

Datum
14. August 2003
Betroffen
ca. 50 Millionen Menschen, 8 US-Staaten + Ontario
Software-Auslöser
Race Condition im Alarmsystem des EMS GE XA/21
Betreiber
FirstEnergy (Ohio, USA)
Dauer
Stunden bis Tage; Ontario über eine Woche eingeschränkt
Untersuchung
US-Canada Power System Outage Task Force (Bericht 2004)
Schaden
Mehrere Milliarden US-Dollar (Schätzungen)
Art des Vorfalls
Kein Angriff — Software- und Organisationsversagen

Im Detail

Kein Angriff — und trotzdem ein OT-Lehrstück

Unmittelbar nach dem Blackout kursierten Gerüchte über Hacker und über den damals grassierenden Computerwurm Blaster. Die gemeinsame Untersuchungskommission der USA und Kanadas fand dafür keinerlei Belege: Ursache war eine Kette aus Softwarefehler, fehlender Netzpflege und Organisationsversagen. Für die OT-Sicherheit ist der Fall trotzdem zentral — er zeigt, was passiert, wenn die Alarm-Kette einer Leitwarte ausfällt. Einem Angreifer, der Alarme unterdrückt, gelänge genau dasselbe.

Der stille Fehler

Im Energie-Management-System der Leitwarte steckte eine Race Condition: Wenn zwei Programmteile in einer seltenen zeitlichen Konstellation auf dieselben Daten zugriffen, blieb die Alarmverarbeitung hängen. Genau das geschah am 14. August. Das Tückische: Das System stürzte nicht ab, es wirkte normal — es meldete nur nichts mehr. Später knickte der Server unter den aufgestauten Ereignissen ein, und auch der Ersatz-Server versagte.

Warum niemand etwas merkte

Operatoren verlassen sich darauf, dass Störungen als Alarm aufscheinen — bleibt der Bildschirm ruhig, gilt die Lage als ruhig. Genau diese Logik wurde zur Falle: Während draussen Leitungen abschalteten, sah die Leitwarte ein friedliches Bild und beruhigte sogar besorgte Anrufer aus Nachbarnetzen. Beim übergeordneten Koordinator war zudem ein wichtiges Analysewerkzeug ausser Betrieb — das zweite Lagebild fehlte ebenfalls.

Die Kaskade

Fällt eine Höchstspannungsleitung aus, übernehmen die verbleibenden ihre Last. Werden es zu viele, überlasten auch diese und schalten sich zum Selbstschutz ab — die Last wandert weiter, immer schneller. Was über Stunden schleichend begann, kippte am späten Nachmittag innert Minuten: Kraftwerke trennten sich reihenweise vom Netz, bis vom Mittleren Westen über New York bis Ontario die Lichter ausgingen.

Die Folgen und Lehren

Der Blackout veränderte die Regeln: In den USA wurden verbindliche, durchsetzbare Zuverlässigkeitsstandards für Netzbetreiber eingeführt, wo vorher freiwillige Richtlinien galten. Der Softwarefehler wurde vom Hersteller mit einem Patch behoben. Die dauerhafte Lektion für jede Leitwarte: Ein einzelner stiller Fehler in der Leittechnik kann Kaskaden auslösen — die Alarm-Kette braucht Wächter, und der Betrieb ohne Systeme muss geübt sein.

← Zurück zu Security