Layer-7-Angriff auf Filterkombinationen: ein technisches Post-Mortem
Eine von IT4OWL selbst betriebene Vergleichsplattform fiel am 4. Oktober 2026 rund 3 Stunden 23 Minuten aus, als Anfragen mit ständig wechselnden Filterkombinationen eintrafen; Bandbreite war nicht der Engpass (höchstens 2,9 Mbit/s im Stundenmittel), und Limits pro Adresse konnten nicht greifen (1,28 Anfragen pro Adresse). Die Regel am Edge blockierte 50,6 % der Filter-Datensätze (5. Oktober 18:00 bis 6. Oktober 16:59 UTC), die Fehler endeten erst, als erkannte Anfragen vor der Anwendung statisch beantwortet wurden (ein Upstream-Fehler in rund 23 Stunden). Warum die Angriffswelle danach von selbst endete, zeigen die Daten nicht.
Zusammenfassung
- Problem
- Eine von IT4OWL selbst betriebene Vergleichsplattform, ein einzelner Server hinter Cloudflare, erhielt gültige Anfragen mit ständig neuen Kombinationen aus Hauptauswahl und Zusatzfiltern. Kein Exploit, keine fehlerhaften Eingaben.
- Auswirkung
- Am 4. Oktober war die Plattform rund 3 Stunden 23 Minuten nicht erreichbar. Von 17:00 bis 20:59 UTC endeten 91,6 % aller Anfragen am Edge mit einem 5xx-Fehler (Cloudflare-Schätzung).
- Maßnahme
- Eine schmale Regel am Edge, Prozessüberwachung mit automatischem Neustart und eine Klassifikation direkt vor der Anwendung, die erkannte Anfragen mit einer vorgerenderten statischen Seite beantwortet, ohne Anwendungs- und Datenbankarbeit.
- Ergebnis
- Von 5. Oktober 18:00 bis 6. Oktober 16:59 UTC liefen 608.882 filterförmige Datensätze auf; am Origin wurde 1 Upstream-Fehler protokolliert.
- Dokumentation
- Beweispaket mit 1.203 Dateien, jede mit SHA-256-Prüfsumme, erstellt am 28. Oktober 2026.
Am 4. Oktober 2026 fiel eine von IT4OWL selbst betriebene Vergleichsplattform aus. Es ist kein Kundenfall: IT4OWL betreibt die Plattform selbst, sie wird nicht benannt, es sind unsere eigenen Daten.
Was Betreibern mit einem ähnlichen Problem am meisten nützt: Bandbreite war nicht der Engpass. In der stärksten Stunde des erfassten Zeitraums kamen nach Schätzung von Cloudflare rund 74.400 Anfragen an, im Schnitt etwa 21 pro Sekunde. Die Quelladressen wechselten fast mit jeder Anfrage, Limits pro Adresse konnten deshalb nicht wirken. Und praktisch jede Kombination wurde höchstens zweimal abgerufen, kein Cache konnte helfen. Teuer war nicht eine einzelne langsame Anfrage, sondern die Rate, mit der neue Kombinationen eintrafen.
Wer hinter dem Verkehr stand, lässt sich aus den Daten nicht ableiten.
Zeitleiste
Alle Zeiten UTC. Die Berlin-Zeit steht in Klammern mit Zonenangabe: MESZ (UTC+2) bis zum 25. Oktober 01:00 UTC, danach MEZ (UTC+1).
- 23.–24. Sep Beobachtung Erste filterförmige Upstream-Timeouts am Origin in nennenswerter Zahl (4.288 fehlgeschlagene Anfragen am 24. Sep.).
- 26. Sep 03:34 Ausfall Die Anwendung nimmt keine Verbindungen mehr an (05:34 MESZ). Die Ursache des Prozessendes ist nicht dokumentiert. Niemand hat hingesehen: Es gab weder Monitoring noch Alarmierung, der Ausfall blieb unbemerkt.
- 27. Sep 05:45 Maßnahme Neustart bei einem geplanten Deployment, dessen Vorabprüfung den Ausfall zeigte (07:45 MESZ). Der Ausfall dauerte rund 26 Stunden.
- 30. Sep ca. 12:45–12:58 Maßnahme Live: Eine bestehende Blockregel am Edge wird auf eine gemessene Kohorte erweitert (ca. 14:45–14:58 MESZ).
- 30. Sep 21:45 Maßnahme Live: Neue Anwendungsversion mit erweitertem Filterkatalog (23:45 MESZ).
- 4. Okt 16:00 Beobachtung Die Rate steigt auf rund 35.000, dann auf 74.400 Anfragen pro Stunde (Schätzung von Cloudflare; stärkste Stunde des erfassten Zeitraums; 18:00 MESZ).
- 4. Okt 17:07:10 Ausfall Erste abgewiesene Verbindung (19:07:10 MESZ). Der Node.js-Prozess beendet sich nach Heap-Erschöpfung. Kein Alarm; wir bemerken den Ausfall selbst.
- 4. Okt 20:30:27 Maßnahme Der Prozess wird von Hand neu gestartet (22:30:27 MESZ). Der Ausfall endet nach rund 3 Stunden 23 Minuten.
- 4. Okt ca. 21:00 Maßnahme Live: Notfall-Release mit Prozessüberwachung mit automatischem Neustart und Speichergrenze, Deduplizierungskorrektur, schmale Signatur am Edge, statische Antwort am Origin für diese Signatur (ca. 23:00 MESZ).
- 5. Okt 16:05 Ausfall Der Verkehr kehrt mit veränderten Anfragemerkmalen zurück (18:05 MESZ). Die Edge-Regel fängt etwa die Hälfte ab, die andere Hälfte löst einen Neustart-Sturm aus.
- 5. Okt 17:45 Maßnahme Live: Die Klassifikation am Origin wird auf die neue Kohorte erweitert; statische Antworten beginnen (19:45 MESZ). Um 17:55 geht die Variante mit serverseitig gespeicherter Klassifikation live; der letzte Upstream-Fehler der Welle wird um 17:55:30 protokolliert.
- 5. Okt 18:00 – 6. Okt 16:59 Beobachtung Der Verkehr läuft weiter: 608.882 filterförmige Datensätze im Fenster; 1 Upstream-Fehler am Origin, 8 filterförmige 5xx am Edge.
- 6. Okt 16:40–16:55 Beobachtung Die Welle endet (18:40–18:55 MESZ). Die Ursache ist unbekannt.
- 8. Okt ca. 08:10 – 17. Okt ca. 21:00 Maßnahme Wir nehmen die Plattform selbst vom Netz (mit Ausnahme einiger Stunden am 14. Okt.). Die Maßnahme hielt; es war eine betriebliche Entscheidung: Andere Projekte hatten Vorrang, und wir wollten abwägen, ob sich der Weiterbetrieb als Angriffsziel lohnt.
- 14. Okt Maßnahme Live (vorbereitet am 7. Okt.): Gehärtete Anwendung, eigene Filterkombinationen erfordern eine signierte, unsichtbare Browser-Sitzung und unterliegen Sitzungs- und Gesamtbudgets.
- 22. Okt 10:20 Maßnahme Live: Speichergrenze von 1.400 MiB auf 1.800 MiB angehoben (12:20 MESZ).
- 28. Okt 08:29 Beobachtung Die Erfassung der Edge-Daten endet (09:29 MEZ); das Beweispaket wird am selben Tag versiegelt.
Der Fehlermodus
Die Vergleichsseite wird bei jeder Anfrage serverseitig gerendert, sobald die Adresse eine Hauptauswahl und optionale Zusatzfilter enthält. Der Verkehr variierte beides über den gültigen Wertebereich der Oberfläche, einschließlich älterer Kombinationen, die der Parser noch akzeptiert. Jede Anfrage war gültig.
Jede neue Kombination ist ein Cache-Miss: Datenbankabfragen für die Ergebnisse und mehrere Facettenzählungen, danach ein serverseitig gerenderter HTML-Aufbau. Der Cache für fertige Ergebnisse war begrenzt. Die Liste der noch laufenden Abfragen hatte pro Kombination keine Obergrenze und entdoppelte nur identische Abfragen. Der Datenbank-Pool hatte 16 Verbindungen und 20 Sekunden Wartebudget. Das Anwendungsprotokoll vom 4. Oktober enthält 19.089 Zeitüberschreitungen beim Beschaffen einer Verbindung und 1.893 unbehandelte Promise-Rejections, und es endet mit JavaScript-Heap-Erschöpfung bei rund 1,9 GB Heap, Abbruch, Exit-Code 134. Es war kein Kernel-OOM-Kill, der Host hatte freien Speicher. Plausibel ist: Viele einmalige Kombinationen erzeugen wartende Arbeit schneller, als der Pool sie abarbeitet, und diese Arbeit liegt auf dem Heap. Bewiesen ist das nicht; ein Heap-Profil, das diesen Pfad als alleinige Ursache zeigt, gibt es nicht.
Wie neu waren die Kombinationen?
Auf 100 Filteranfragen kamen rund 64 verschiedene URLs: 858.982 verschiedene URLs bei 1.338.251 filterförmigen Datensätzen. Das ist nicht der Anteil der nur einmal gesehenen URLs. Für den 4. bis 6. Oktober, an dem die Datensätze nahezu vollständig sind, gilt: 936.476 Filter-Datensätze, 565.127 verschiedene URLs, 99,7 % der Datensätze trafen eine URL, die höchstens zweimal vorkam, und 20,8 % eine URL, die genau einmal vorkam. Die meisten Kombinationen wurden genau zweimal abgerufen. Im Fehlerprotokoll des Origins vom 4. Oktober tragen 140.705 fehlgeschlagene Anfragen 82.951 verschiedene URLs, davon 57.089 genau zweimal (ungesampelt). Vorbehalt: Eine in der Stichprobe einmal gesehene URL kann öfter angefragt worden sein.
Verkehrsvolumen und Bandbreite
Die stärkste Stunde des erfassten Zeitraums (4. Oktober, 17:00–18:00 UTC) brachte nach Schätzung rund 74.400 Anfragen, die stärkste Minute rund 4.960 (30. September, 20:08 UTC). Die ausgelieferte Datenmenge lag in keiner Stunde über 1,31 GB, im Stundenmittel 2,9 Mbit/s (29. September, 22:00 UTC). In der Ausfallstunde am 4. Oktober waren es 0,43 GB, etwa 1 Mbit/s; über die 31 Tage wurden 114,7 GB ausgeliefert. Stundenmittel verbergen kurze Spitzen. Edge-Daten vor dem 27. September 08:15 UTC existieren nicht.
Anfragen pro Stunde am Edge, 27. Sep. bis 28. Okt. 2026
pro Stunde, UTC, Schätzung von CloudflareDaten als Tabelle
| Stunde (UTC) | Anfragen (Schätzung) | 5xx | 403 | Mbit/s (Mittel) |
|---|---|---|---|---|
| 27. Sep. 08:00 | 5.790 | 0 | 10 | 0,403 |
| 27. Sep. 09:00 | 14.540 | 0 | 90 | 1,205 |
| 27. Sep. 10:00 | 20.910 | 0 | 610 | 1,515 |
| 27. Sep. 11:00 | 29.550 | 0 | 570 | 2,289 |
| 27. Sep. 12:00 | 34.880 | 0 | 680 | 2,731 |
| 27. Sep. 13:00 | 32.420 | 0 | 1.040 | 1,75 |
| 27. Sep. 14:00 | 27.860 | 0 | 890 | 1,2 |
| 27. Sep. 15:00 | 32.300 | 0 | 580 | 1,561 |
| 27. Sep. 16:00 | 35.540 | 0 | 680 | 1,822 |
| 27. Sep. 17:00 | 43.550 | 0 | 580 | 1,92 |
| 27. Sep. 18:00 | 42.770 | 70 | 660 | 2,207 |
| 27. Sep. 19:00 | 39.980 | 340 | 1.130 | 2,153 |
| 27. Sep. 20:00 | 37.490 | 140 | 1.040 | 1,954 |
| 27. Sep. 21:00 | 37.020 | 120 | 1.180 | 1,833 |
| 27. Sep. 22:00 | 11.120 | 0 | 70 | 0,379 |
| 27. Sep. 23:00 | 16.860 | 240 | 100 | 0,662 |
| 28. Sep. 00:00 | 22.130 | 870 | 140 | 1,093 |
| 28. Sep. 01:00 | 29.900 | 930 | 130 | 1,096 |
| 28. Sep. 02:00 | 19.800 | 560 | 160 | 1,111 |
| 28. Sep. 03:00 | 3.500 | 0 | 190 | 0,198 |
| 28. Sep. 04:00 | 2.870 | 0 | 80 | 0,162 |
| 28. Sep. 05:00 | 3.690 | 0 | 130 | 0,212 |
| 28. Sep. 06:00 | 4.650 | 0 | 150 | 0,222 |
| 28. Sep. 07:00 | 6.030 | 0 | 170 | 0,3 |
| 28. Sep. 08:00 | 17.740 | 10 | 260 | 0,739 |
| 28. Sep. 09:00 | 27.070 | 0 | 450 | 1,282 |
| 28. Sep. 10:00 | 31.010 | 0 | 900 | 1,415 |
| 28. Sep. 11:00 | 38.870 | 0 | 1.060 | 1,859 |
| 28. Sep. 12:00 | 39.130 | 40 | 1.310 | 1,96 |
| 28. Sep. 13:00 | 40.390 | 450 | 1.570 | 2,443 |
| 28. Sep. 14:00 | 38.550 | 520 | 1.730 | 2,238 |
| 28. Sep. 15:00 | 16.600 | 0 | 340 | 0,873 |
| 28. Sep. 16:00 | 4.130 | 0 | 270 | 0,129 |
| 28. Sep. 17:00 | 22.860 | 350 | 80 | 0,923 |
| 28. Sep. 18:00 | 10.620 | 0 | 50 | 0,343 |
| 28. Sep. 19:00 | 22.330 | 650 | 50 | 0,921 |
| 28. Sep. 20:00 | 27.480 | 220 | 210 | 1,062 |
| 28. Sep. 21:00 | 12.820 | 660 | 220 | 0,543 |
| 28. Sep. 22:00 | 6.300 | 0 | 2.140 | 0,234 |
| 28. Sep. 23:00 | 5.000 | 0 | 100 | 0,226 |
| 29. Sep. 00:00 | 16.190 | 0 | 220 | 0,675 |
| 29. Sep. 01:00 | 28.550 | 0 | 510 | 1,267 |
| 29. Sep. 02:00 | 42.870 | 50 | 620 | 1,411 |
| 29. Sep. 03:00 | 48.910 | 0 | 570 | 1,889 |
| 29. Sep. 04:00 | 47.390 | 10 | 790 | 2,007 |
| 29. Sep. 05:00 | 43.810 | 80 | 910 | 2,569 |
| 29. Sep. 06:00 | 43.290 | 850 | 1.590 | 2,604 |
| 29. Sep. 07:00 | 44.710 | 1.350 | 1.280 | 2,438 |
| 29. Sep. 08:00 | 20.890 | 110 | 600 | 1,054 |
| 29. Sep. 09:00 | 5.090 | 0 | 70 | 0,192 |
| 29. Sep. 10:00 | 24.690 | 30 | 380 | 0,969 |
| 29. Sep. 11:00 | 26.310 | 0 | 580 | 0,737 |
| 29. Sep. 12:00 | 38.490 | 90 | 570 | 1,839 |
| 29. Sep. 13:00 | 43.530 | 720 | 630 | 2,308 |
| 29. Sep. 14:00 | 19.020 | 30 | 610 | 0,641 |
| 29. Sep. 15:00 | 6.010 | 10 | 350 | 0,31 |
| 29. Sep. 16:00 | 6.760 | 0 | 170 | 0,474 |
| 29. Sep. 17:00 | 15.920 | 0 | 120 | 0,889 |
| 29. Sep. 18:00 | 32.740 | 310 | 460 | 1,769 |
| 29. Sep. 19:00 | 35.670 | 0 | 570 | 1,88 |
| 29. Sep. 20:00 | 42.120 | 280 | 990 | 2,112 |
| 29. Sep. 21:00 | 35.710 | 270 | 790 | 1,737 |
| 29. Sep. 22:00 | 49.660 | 2.250 | 2.870 | 2,912 |
| 29. Sep. 23:00 | 54.000 | 3.240 | 2.350 | 2,806 |
| 30. Sep. 00:00 | 9.170 | 80 | 140 | 0,344 |
| 30. Sep. 01:00 | 31.800 | 0 | 40 | 0,923 |
| 30. Sep. 02:00 | 23.210 | 30 | 50 | 0,724 |
| 30. Sep. 03:00 | 12.460 | 180 | 70 | 0,559 |
| 30. Sep. 04:00 | 22.520 | 730 | 80 | 1,291 |
| 30. Sep. 05:00 | 36.350 | 1.410 | 60 | 1,365 |
| 30. Sep. 06:00 | 51.040 | 320 | 690 | 1,956 |
| 30. Sep. 07:00 | 43.550 | 50 | 100 | 1,238 |
| 30. Sep. 08:00 | 22.270 | 0 | 40 | 0,593 |
| 30. Sep. 09:00 | 6.240 | 0 | 350 | 0,264 |
| 30. Sep. 10:00 | 7.880 | 0 | 530 | 0,431 |
| 30. Sep. 11:00 | 31.880 | 0 | 760 | 1,357 |
| 30. Sep. 12:00 | 36.370 | 0 | 2.810 | 1,283 |
| 30. Sep. 13:00 | 31.800 | 0 | 11.320 | 0,638 |
| 30. Sep. 14:00 | 66.370 | 0 | 24.100 | 1,088 |
| 30. Sep. 15:00 | 29.780 | 0 | 9.980 | 0,778 |
| 30. Sep. 16:00 | 2.250 | 0 | 390 | 0,129 |
| 30. Sep. 17:00 | 3.260 | 0 | 830 | 0,116 |
| 30. Sep. 18:00 | 7.890 | 0 | 2.320 | 0,163 |
| 30. Sep. 19:00 | 21.520 | 0 | 5.960 | 0,435 |
| 30. Sep. 20:00 | 50.770 | 0 | 12.760 | 0,781 |
| 30. Sep. 21:00 | 9.300 | 0 | 2.980 | 0,297 |
| 30. Sep. 22:00 | 10.460 | 0 | 2.360 | 0,328 |
| 30. Sep. 23:00 | 10.810 | 0 | 2.530 | 0,266 |
| 1. Okt. 00:00 | 7.340 | 0 | 1.660 | 0,317 |
| 1. Okt. 01:00 | 2.310 | 0 | 550 | 0,081 |
| 1. Okt. 02:00 | 2.210 | 0 | 440 | 0,11 |
| 1. Okt. 03:00 | 2.400 | 0 | 460 | 0,149 |
| 1. Okt. 04:00 | 2.310 | 0 | 350 | 0,18 |
| 1. Okt. 05:00 | 2.160 | 0 | 610 | 0,091 |
| 1. Okt. 06:00 | 2.060 | 0 | 430 | 0,144 |
| 1. Okt. 07:00 | 2.040 | 0 | 430 | 0,092 |
| 1. Okt. 08:00 | 2.390 | 0 | 567 | 0,171 |
| 1. Okt. 09:00 | 2.020 | 0 | 452 | 0,178 |
| 1. Okt. 10:00 | 5.350 | 0 | 876 | 0,41 |
| 1. Okt. 11:00 | 3.130 | 0 | 1.031 | 0,143 |
| 1. Okt. 12:00 | 3.750 | 0 | 939 | 0,19 |
| 1. Okt. 13:00 | 2.640 | 0 | 1.011 | 0,13 |
| 1. Okt. 14:00 | 2.490 | 0 | 908 | 0,105 |
| 1. Okt. 15:00 | 2.110 | 0 | 609 | 0,104 |
| 1. Okt. 16:00 | 3.710 | 0 | 502 | 0,625 |
| 1. Okt. 17:00 | 4.490 | 0 | 638 | 0,634 |
| 1. Okt. 18:00 | 3.780 | 0 | 485 | 0,674 |
| 1. Okt. 19:00 | 4.650 | 0 | 551 | 0,755 |
| 1. Okt. 20:00 | 4.140 | 0 | 537 | 0,747 |
| 1. Okt. 21:00 | 4.250 | 0 | 575 | 0,729 |
| 1. Okt. 22:00 | 4.680 | 2 | 547 | 0,796 |
| 1. Okt. 23:00 | 3.730 | 0 | 389 | 0,716 |
| 2. Okt. 00:00 | 5.080 | 0 | 541 | 0,789 |
| 2. Okt. 01:00 | 5.480 | 0 | 592 | 0,792 |
| 2. Okt. 02:00 | 4.660 | 0 | 545 | 0,775 |
| 2. Okt. 03:00 | 4.190 | 0 | 656 | 0,86 |
| 2. Okt. 04:00 | 4.410 | 0 | 521 | 0,86 |
| 2. Okt. 05:00 | 3.660 | 0 | 485 | 0,665 |
| 2. Okt. 06:00 | 4.510 | 0 | 496 | 0,795 |
| 2. Okt. 07:00 | 4.560 | 0 | 519 | 0,841 |
| 2. Okt. 08:00 | 4.070 | 0 | 386 | 0,822 |
| 2. Okt. 09:00 | 4.900 | 0 | 548 | 0,838 |
| 2. Okt. 10:00 | 4.590 | 0 | 890 | 0,882 |
| 2. Okt. 11:00 | 5.670 | 0 | 1.523 | 0,788 |
| 2. Okt. 12:00 | 4.940 | 1 | 854 | 0,861 |
| 2. Okt. 13:00 | 5.300 | 0 | 1.303 | 0,748 |
| 2. Okt. 14:00 | 4.200 | 0 | 931 | 0,707 |
| 2. Okt. 15:00 | 3.780 | 0 | 501 | 0,719 |
| 2. Okt. 16:00 | 5.950 | 0 | 447 | 0,934 |
| 2. Okt. 17:00 | 5.430 | 0 | 419 | 0,985 |
| 2. Okt. 18:00 | 5.130 | 1 | 560 | 1,04 |
| 2. Okt. 19:00 | 6.900 | 1 | 658 | 1,391 |
| 2. Okt. 20:00 | 7.880 | 0 | 637 | 1,335 |
| 2. Okt. 21:00 | 5.910 | 0 | 566 | 1,268 |
| 2. Okt. 22:00 | 6.030 | 0 | 591 | 1,199 |
| 2. Okt. 23:00 | 6.120 | 0 | 551 | 1,316 |
| 3. Okt. 00:00 | 6.010 | 0 | 645 | 1,226 |
| 3. Okt. 01:00 | 6.130 | 0 | 598 | 1,223 |
| 3. Okt. 02:00 | 5.970 | 0 | 600 | 1,327 |
| 3. Okt. 03:00 | 6.220 | 0 | 664 | 1,29 |
| 3. Okt. 04:00 | 5.750 | 0 | 597 | 1,197 |
| 3. Okt. 05:00 | 5.860 | 0 | 700 | 1,2 |
| 3. Okt. 06:00 | 5.520 | 0 | 529 | 1,222 |
| 3. Okt. 07:00 | 5.690 | 0 | 635 | 1,157 |
| 3. Okt. 08:00 | 6.940 | 0 | 605 | 1,22 |
| 3. Okt. 09:00 | 6.030 | 0 | 484 | 1,358 |
| 3. Okt. 10:00 | 5.030 | 1 | 709 | 1,124 |
| 3. Okt. 11:00 | 5.280 | 0 | 923 | 1,195 |
| 3. Okt. 12:00 | 5.320 | 0 | 849 | 1,174 |
| 3. Okt. 13:00 | 6.430 | 90 | 922 | 1,115 |
| 3. Okt. 14:00 | 5.140 | 0 | 711 | 1,234 |
| 3. Okt. 15:00 | 5.080 | 0 | 495 | 1,162 |
| 3. Okt. 16:00 | 4.730 | 0 | 432 | 1,072 |
| 3. Okt. 17:00 | 4.740 | 0 | 397 | 1,146 |
| 3. Okt. 18:00 | 4.780 | 1 | 361 | 1,127 |
| 3. Okt. 19:00 | 5.990 | 2 | 467 | 1,479 |
| 3. Okt. 20:00 | 5.780 | 0 | 342 | 1,5 |
| 3. Okt. 21:00 | 5.310 | 0 | 169 | 1,387 |
| 3. Okt. 22:00 | 5.420 | 0 | 364 | 1,344 |
| 3. Okt. 23:00 | 5.190 | 1 | 221 | 1,427 |
| 4. Okt. 00:00 | 4.950 | 0 | 153 | 1,351 |
| 4. Okt. 01:00 | 5.130 | 0 | 151 | 1,337 |
| 4. Okt. 02:00 | 5.100 | 0 | 113 | 1,408 |
| 4. Okt. 03:00 | 5.390 | 0 | 386 | 1,366 |
| 4. Okt. 04:00 | 5.200 | 1 | 273 | 1,335 |
| 4. Okt. 05:00 | 4.740 | 0 | 70 | 1,344 |
| 4. Okt. 06:00 | 4.840 | 1 | 78 | 1,349 |
| 4. Okt. 07:00 | 4.920 | 1 | 139 | 1,423 |
| 4. Okt. 08:00 | 5.130 | 0 | 216 | 1,285 |
| 4. Okt. 09:00 | 4.950 | 0 | 87 | 1,252 |
| 4. Okt. 10:00 | 4.780 | 0 | 206 | 1,279 |
| 4. Okt. 11:00 | 5.530 | 0 | 97 | 1,426 |
| 4. Okt. 12:00 | 4.900 | 0 | 97 | 1,346 |
| 4. Okt. 13:00 | 5.380 | 0 | 243 | 1,399 |
| 4. Okt. 14:00 | 4.780 | 3 | 115 | 1,266 |
| 4. Okt. 15:00 | 5.280 | 2 | 115 | 1,442 |
| 4. Okt. 16:00 | 35.630 | 259 | 620 | 0,694 |
| 4. Okt. 17:00 | 74.420 | 63.842 | 530 | 0,961 |
| 4. Okt. 18:00 | 62.220 | 62.042 | 454 | 0,932 |
| 4. Okt. 19:00 | 15.780 | 14.250 | 321 | 0,233 |
| 4. Okt. 20:00 | 940 | 174 | 234 | 0,028 |
| 4. Okt. 21:00 | 1.370 | 0 | 392 | 0,073 |
| 4. Okt. 22:00 | 1.110 | 0 | 189 | 0,143 |
| 4. Okt. 23:00 | 1.650 | 0 | 254 | 0,161 |
| 5. Okt. 00:00 | 1.110 | 0 | 182 | 0,065 |
| 5. Okt. 01:00 | 1.500 | 0 | 453 | 0,121 |
| 5. Okt. 02:00 | 970 | 0 | 256 | 0,071 |
| 5. Okt. 03:00 | 1.190 | 0 | 214 | 0,101 |
| 5. Okt. 04:00 | 1.170 | 0 | 281 | 0,107 |
| 5. Okt. 05:00 | 690 | 0 | 267 | 0,049 |
| 5. Okt. 06:00 | 890 | 0 | 351 | 0,395 |
| 5. Okt. 07:00 | 1.180 | 0 | 295 | 0,116 |
| 5. Okt. 08:00 | 1.320 | 0 | 292 | 0,047 |
| 5. Okt. 09:00 | 910 | 0 | 138 | 0,046 |
| 5. Okt. 10:00 | 630 | 0 | 138 | 0,075 |
| 5. Okt. 11:00 | 1.300 | 1 | 214 | 0,09 |
| 5. Okt. 12:00 | 1.170 | 0 | 316 | 0,123 |
| 5. Okt. 13:00 | 1.160 | 0 | 360 | 0,131 |
| 5. Okt. 14:00 | 1.250 | 1 | 551 | 0,125 |
| 5. Okt. 15:00 | 2.590 | 0 | 1.235 | 0,24 |
| 5. Okt. 16:00 | 41.610 | 6.433 | 20.896 | 0,587 |
| 5. Okt. 17:00 | 25.620 | 1.738 | 12.449 | 1,157 |
| 5. Okt. 18:00 | 13.540 | 0 | 6.339 | 0,592 |
| 5. Okt. 19:00 | 19.280 | 0 | 9.674 | 0,85 |
| 5. Okt. 20:00 | 28.100 | 1 | 14.300 | 1,196 |
| 5. Okt. 21:00 | 29.410 | 0 | 14.864 | 1,338 |
| 5. Okt. 22:00 | 28.490 | 0 | 14.118 | 1,261 |
| 5. Okt. 23:00 | 27.500 | 0 | 14.224 | 1,208 |
| 6. Okt. 00:00 | 28.350 | 1 | 13.792 | 1,256 |
| 6. Okt. 01:00 | 29.260 | 0 | 14.711 | 1,318 |
| 6. Okt. 02:00 | 31.230 | 1 | 15.286 | 1,468 |
| 6. Okt. 03:00 | 29.330 | 0 | 14.675 | 1,366 |
| 6. Okt. 04:00 | 30.280 | 1 | 14.389 | 1,329 |
| 6. Okt. 05:00 | 29.720 | 0 | 15.057 | 1,318 |
| 6. Okt. 06:00 | 30.430 | 0 | 14.785 | 1,378 |
| 6. Okt. 07:00 | 30.940 | 1 | 14.466 | 1,586 |
| 6. Okt. 08:00 | 29.860 | 0 | 14.593 | 1,346 |
| 6. Okt. 09:00 | 28.160 | 0 | 13.837 | 1,352 |
| 6. Okt. 10:00 | 29.240 | 1 | 14.654 | 1,348 |
| 6. Okt. 11:00 | 29.690 | 0 | 14.704 | 1,405 |
| 6. Okt. 12:00 | 31.220 | 1 | 15.297 | 1,473 |
| 6. Okt. 13:00 | 26.630 | 5 | 12.812 | 1,243 |
| 6. Okt. 14:00 | 29.900 | 0 | 14.755 | 1,342 |
| 6. Okt. 15:00 | 28.430 | 2 | 13.831 | 1,36 |
| 6. Okt. 16:00 | 17.310 | 2 | 8.300 | 0,829 |
| 6. Okt. 17:00 | 500 | 0 | 109 | 0,077 |
| 6. Okt. 18:00 | 740 | 0 | 59 | 0,033 |
| 6. Okt. 19:00 | 580 | 0 | 62 | 0,018 |
| 6. Okt. 20:00 | 1.470 | 0 | 522 | 0,025 |
| 6. Okt. 21:00 | 680 | 0 | 99 | 0,038 |
| 6. Okt. 22:00 | 590 | 4 | 46 | 0,06 |
| 6. Okt. 23:00 | 970 | 0 | 82 | 0,063 |
| 7. Okt. 00:00 | 680 | 2 | 66 | 0,051 |
| 7. Okt. 01:00 | 870 | 1 | 83 | 0,036 |
| 7. Okt. 02:00 | 2.420 | 0 | 775 | 0,038 |
| 7. Okt. 03:00 | 840 | 0 | 40 | 0,058 |
| 7. Okt. 04:00 | 420 | 0 | 51 | 0,014 |
| 7. Okt. 05:00 | 540 | 0 | 58 | 0,057 |
| 7. Okt. 06:00 | 1.010 | 0 | 109 | 0,023 |
| 7. Okt. 07:00 | 620 | 0 | 56 | 0,033 |
| 7. Okt. 08:00 | 690 | 0 | 85 | 0,053 |
| 7. Okt. 09:00 | 400 | 0 | 44 | 0,032 |
| 7. Okt. 10:00 | 780 | 0 | 113 | 0,112 |
| 7. Okt. 11:00 | 2.950 | 0 | 765 | 0,125 |
| 7. Okt. 12:00 | 620 | 0 | 122 | 0,032 |
| 7. Okt. 13:00 | 340 | 0 | 80 | 0,017 |
| 7. Okt. 14:00 | 390 | 0 | 128 | 0,027 |
| 7. Okt. 15:00 | 650 | 0 | 123 | 0,038 |
| 7. Okt. 16:00 | 560 | 0 | 76 | 0,037 |
| 7. Okt. 17:00 | 690 | 0 | 112 | 0,042 |
| 7. Okt. 18:00 | 420 | 0 | 90 | 0,027 |
| 7. Okt. 19:00 | 730 | 0 | 136 | 0,143 |
| 7. Okt. 20:00 | 580 | 0 | 72 | 0,015 |
| 7. Okt. 21:00 | 5.250 | 0 | 1.183 | 0,072 |
| 7. Okt. 22:00 | 1.040 | 1 | 176 | 0,021 |
| 7. Okt. 23:00 | 500 | 0 | 86 | 0,026 |
| 8. Okt. 00:00 | 1.000 | 0 | 78 | 0,042 |
| 8. Okt. 01:00 | 650 | 0 | 69 | 0,026 |
| 8. Okt. 02:00 | 830 | 0 | 109 | 0,04 |
| 8. Okt. 03:00 | 1.400 | 0 | 286 | 0,089 |
| 8. Okt. 04:00 | 1.420 | 0 | 208 | 0,04 |
| 8. Okt. 05:00 | 1.040 | 0 | 196 | 0,163 |
| 8. Okt. 06:00 | 1.200 | 0 | 185 | 0,045 |
| 8. Okt. 07:00 | 1.450 | 0 | 212 | 0,039 |
| 8. Okt. 08:00 | 120 | 39 | 20 | 0,002 |
| 8. Okt. 09:00 | 30 | 20 | 1 | 0,001 |
| 8. Okt. 10:00 | 30 | 27 | 0 | 0,001 |
| 8. Okt. 11:00 | 10 | 10 | 0 | 0 |
| 8. Okt. 12:00 | 30 | 26 | 0 | 0,001 |
| 8. Okt. 13:00 | 10 | 12 | 0 | 0 |
| 8. Okt. 15:00 | 10 | 8 | 0 | 0 |
| 8. Okt. 16:00 | 10 | 8 | 0 | 0 |
| 8. Okt. 17:00 | 10 | 12 | 0 | 0 |
| 8. Okt. 18:00 | 20 | 12 | 0 | 0 |
| 8. Okt. 20:00 | 10 | 7 | 0 | 0 |
| 8. Okt. 21:00 | 10 | 9 | 0 | 0 |
| 8. Okt. 22:00 | 10 | 8 | 0 | 0 |
| 8. Okt. 23:00 | 20 | 10 | 0 | 0 |
| 9. Okt. 00:00 | 30 | 10 | 1 | 0 |
| 9. Okt. 01:00 | 10 | 8 | 0 | 0 |
| 9. Okt. 02:00 | 20 | 6 | 0 | 0 |
| 9. Okt. 04:00 | 10 | 17 | 0 | 0 |
| 9. Okt. 05:00 | 10 | 13 | 0 | 0 |
| 9. Okt. 07:00 | 10 | 12 | 0 | 0 |
| 9. Okt. 09:00 | 30 | 46 | 0 | 0,001 |
| 9. Okt. 10:00 | 10 | 11 | 0 | 0 |
| 9. Okt. 11:00 | 10 | 12 | 0 | 0 |
| 9. Okt. 12:00 | 10 | 15 | 0 | 0 |
| 9. Okt. 13:00 | 30 | 8 | 0 | 0 |
| 9. Okt. 15:00 | 10 | 12 | 0 | 0 |
| 9. Okt. 16:00 | 10 | 12 | 0 | 0 |
| 9. Okt. 19:00 | 10 | 1 | 0 | 0 |
| 9. Okt. 20:00 | 10 | 4 | 0 | 0 |
| 9. Okt. 21:00 | 20 | 6 | 0 | 0 |
| 9. Okt. 22:00 | 40 | 15 | 0 | 0,001 |
| 9. Okt. 23:00 | 10 | 5 | 0 | 0 |
| 10. Okt. 00:00 | 10 | 11 | 0 | 0 |
| 10. Okt. 05:00 | 10 | 15 | 0 | 0 |
| 10. Okt. 06:00 | 10 | 17 | 0 | 0 |
| 10. Okt. 07:00 | 20 | 14 | 0 | 0 |
| 10. Okt. 08:00 | 20 | 13 | 0 | 0 |
| 10. Okt. 09:00 | 10 | 8 | 0 | 0 |
| 10. Okt. 11:00 | 20 | 8 | 0 | 0 |
| 10. Okt. 12:00 | 40 | 19 | 0 | 0,001 |
| 10. Okt. 17:00 | 10 | 6 | 0 | 0 |
| 10. Okt. 22:00 | 10 | 4 | 0 | 0 |
| 10. Okt. 23:00 | 10 | 6 | 0 | 0 |
| 11. Okt. 01:00 | 10 | 9 | 0 | 0 |
| 11. Okt. 05:00 | 10 | 2 | 0 | 0 |
| 11. Okt. 06:00 | 10 | 6 | 0 | 0 |
| 11. Okt. 07:00 | 10 | 4 | 0 | 0 |
| 11. Okt. 08:00 | 10 | 4 | 0 | 0 |
| 11. Okt. 10:00 | 10 | 3 | 0 | 0 |
| 11. Okt. 19:00 | 190 | 247 | 0 | 0 |
| 11. Okt. 22:00 | 10 | 2 | 0 | 0 |
| 12. Okt. 01:00 | 10 | 5 | 0 | 0 |
| 12. Okt. 12:00 | 2 | 1 | 0 | 0 |
| 12. Okt. 13:00 | 1 | 1 | 0 | 0 |
| 12. Okt. 16:00 | 2 | 2 | 0 | 0 |
| 12. Okt. 17:00 | 1 | 1 | 0 | 0 |
| 12. Okt. 19:00 | 1 | 1 | 0 | 0 |
| 12. Okt. 21:00 | 1 | 1 | 0 | 0 |
| 12. Okt. 22:00 | 4 | 4 | 0 | 0 |
| 13. Okt. 00:00 | 2 | 2 | 0 | 0 |
| 13. Okt. 01:00 | 6 | 5 | 0 | 0 |
| 13. Okt. 02:00 | 1 | 1 | 0 | 0 |
| 13. Okt. 03:00 | 3 | 3 | 0 | 0 |
| 13. Okt. 04:00 | 4 | 3 | 0 | 0 |
| 13. Okt. 06:00 | 1 | 1 | 0 | 0 |
| 13. Okt. 07:00 | 1 | 1 | 0 | 0 |
| 13. Okt. 08:00 | 1 | 0 | 0 | 0 |
| 13. Okt. 11:00 | 1 | 1 | 0 | 0 |
| 13. Okt. 13:00 | 2 | 1 | 0 | 0 |
| 13. Okt. 14:00 | 4 | 3 | 0 | 0 |
| 13. Okt. 15:00 | 1 | 1 | 0 | 0 |
| 13. Okt. 16:00 | 3 | 2 | 0 | 0 |
| 13. Okt. 17:00 | 1 | 1 | 0 | 0 |
| 13. Okt. 18:00 | 1 | 1 | 0 | 0 |
| 13. Okt. 19:00 | 1 | 1 | 0 | 0 |
| 13. Okt. 20:00 | 1 | 0 | 0 | 0 |
| 13. Okt. 21:00 | 1 | 0 | 0 | 0 |
| 13. Okt. 22:00 | 22 | 22 | 0 | 0 |
| 13. Okt. 23:00 | 1 | 1 | 0 | 0 |
| 14. Okt. 00:00 | 2 | 1 | 0 | 0 |
| 14. Okt. 01:00 | 4 | 4 | 0 | 0 |
| 14. Okt. 02:00 | 37 | 37 | 0 | 0 |
| 14. Okt. 03:00 | 2 | 2 | 0 | 0 |
| 14. Okt. 04:00 | 1 | 0 | 0 | 0 |
| 14. Okt. 06:00 | 1 | 1 | 0 | 0 |
| 14. Okt. 08:00 | 1 | 1 | 0 | 0 |
| 14. Okt. 10:00 | 1 | 1 | 0 | 0 |
| 14. Okt. 14:00 | 1.241 | 1 | 31 | 0,113 |
| 14. Okt. 15:00 | 1.695 | 119 | 84 | 0,078 |
| 14. Okt. 16:00 | 893 | 802 | 65 | 0,016 |
| 14. Okt. 17:00 | 402 | 334 | 51 | 0,007 |
| 14. Okt. 18:00 | 442 | 370 | 62 | 0,007 |
| 14. Okt. 19:00 | 367 | 311 | 47 | 0,006 |
| 14. Okt. 20:00 | 557 | 288 | 44 | 0,006 |
| 14. Okt. 21:00 | 403 | 338 | 52 | 0,007 |
| 14. Okt. 22:00 | 388 | 349 | 33 | 0,007 |
| 14. Okt. 23:00 | 419 | 361 | 46 | 0,007 |
| 15. Okt. 00:00 | 804 | 741 | 48 | 0,014 |
| 15. Okt. 01:00 | 419 | 368 | 49 | 0,006 |
| 15. Okt. 02:00 | 360 | 308 | 48 | 0,006 |
| 15. Okt. 03:00 | 458 | 341 | 98 | 0,007 |
| 15. Okt. 04:00 | 343 | 300 | 33 | 0,006 |
| 15. Okt. 05:00 | 396 | 276 | 118 | 0,006 |
| 15. Okt. 06:00 | 467 | 378 | 81 | 0,008 |
| 15. Okt. 07:00 | 452 | 378 | 63 | 0,007 |
| 15. Okt. 08:00 | 270 | 224 | 40 | 0,004 |
| 15. Okt. 09:00 | 468 | 411 | 51 | 0,008 |
| 15. Okt. 10:00 | 567 | 521 | 36 | 0,01 |
| 15. Okt. 11:00 | 329 | 286 | 29 | 0,006 |
| 15. Okt. 12:00 | 318 | 241 | 58 | 0,005 |
| 15. Okt. 13:00 | 310 | 248 | 51 | 0,005 |
| 15. Okt. 14:00 | 361 | 260 | 75 | 0,005 |
| 15. Okt. 15:00 | 330 | 286 | 36 | 0,006 |
| 15. Okt. 16:00 | 348 | 297 | 37 | 0,006 |
| 15. Okt. 17:00 | 296 | 223 | 63 | 0,005 |
| 15. Okt. 18:00 | 337 | 278 | 41 | 0,006 |
| 15. Okt. 19:00 | 309 | 257 | 42 | 0,005 |
| 15. Okt. 20:00 | 337 | 267 | 55 | 0,005 |
| 15. Okt. 21:00 | 336 | 234 | 84 | 0,005 |
| 15. Okt. 22:00 | 418 | 314 | 74 | 0,006 |
| 15. Okt. 23:00 | 271 | 200 | 65 | 0,004 |
| 16. Okt. 00:00 | 247 | 185 | 56 | 0,004 |
| 16. Okt. 01:00 | 321 | 266 | 50 | 0,005 |
| 16. Okt. 02:00 | 271 | 227 | 39 | 0,005 |
| 16. Okt. 03:00 | 357 | 252 | 90 | 0,005 |
| 16. Okt. 04:00 | 382 | 305 | 70 | 0,006 |
| 16. Okt. 05:00 | 305 | 221 | 74 | 0,005 |
| 16. Okt. 06:00 | 347 | 270 | 60 | 0,006 |
| 16. Okt. 07:00 | 424 | 345 | 58 | 0,007 |
| 16. Okt. 08:00 | 418 | 342 | 69 | 0,007 |
| 16. Okt. 09:00 | 464 | 318 | 138 | 0,007 |
| 16. Okt. 10:00 | 529 | 456 | 54 | 0,009 |
| 16. Okt. 11:00 | 390 | 301 | 75 | 0,007 |
| 16. Okt. 12:00 | 419 | 310 | 98 | 0,007 |
| 16. Okt. 13:00 | 421 | 304 | 101 | 0,006 |
| 16. Okt. 14:00 | 391 | 301 | 65 | 0,006 |
| 16. Okt. 15:00 | 370 | 274 | 72 | 0,006 |
| 16. Okt. 16:00 | 463 | 369 | 69 | 0,008 |
| 16. Okt. 17:00 | 350 | 270 | 65 | 0,006 |
| 16. Okt. 18:00 | 362 | 277 | 56 | 0,006 |
| 16. Okt. 19:00 | 391 | 319 | 53 | 0,007 |
| 16. Okt. 20:00 | 367 | 281 | 63 | 0,006 |
| 16. Okt. 21:00 | 443 | 355 | 67 | 0,007 |
| 16. Okt. 22:00 | 343 | 270 | 52 | 0,006 |
| 16. Okt. 23:00 | 401 | 325 | 53 | 0,007 |
| 17. Okt. 00:00 | 396 | 312 | 67 | 0,007 |
| 17. Okt. 01:00 | 690 | 411 | 261 | 0,01 |
| 17. Okt. 02:00 | 411 | 327 | 59 | 0,007 |
| 17. Okt. 03:00 | 432 | 329 | 74 | 0,007 |
| 17. Okt. 04:00 | 338 | 226 | 94 | 0,005 |
| 17. Okt. 05:00 | 319 | 247 | 53 | 0,005 |
| 17. Okt. 06:00 | 336 | 259 | 53 | 0,005 |
| 17. Okt. 07:00 | 397 | 327 | 47 | 0,006 |
| 17. Okt. 08:00 | 343 | 283 | 41 | 0,006 |
| 17. Okt. 09:00 | 324 | 237 | 68 | 0,005 |
| 17. Okt. 10:00 | 593 | 517 | 53 | 0,01 |
| 17. Okt. 11:00 | 612 | 385 | 202 | 0,009 |
| 17. Okt. 12:00 | 534 | 384 | 124 | 0,008 |
| 17. Okt. 13:00 | 476 | 319 | 138 | 0,008 |
| 17. Okt. 14:00 | 378 | 295 | 58 | 0,006 |
| 17. Okt. 15:00 | 377 | 292 | 57 | 0,006 |
| 17. Okt. 16:00 | 318 | 249 | 57 | 0,005 |
| 17. Okt. 17:00 | 243 | 201 | 38 | 0,004 |
| 17. Okt. 18:00 | 344 | 288 | 53 | 0,006 |
| 17. Okt. 19:00 | 298 | 238 | 53 | 0,005 |
| 17. Okt. 20:00 | 363 | 300 | 54 | 0,006 |
| 17. Okt. 21:00 | 2.529 | 138 | 123 | 0,093 |
| 17. Okt. 22:00 | 1.119 | 71 | 113 | 0,04 |
| 17. Okt. 23:00 | 951 | 72 | 104 | 0,055 |
| 18. Okt. 00:00 | 992 | 62 | 300 | 0,042 |
| 18. Okt. 01:00 | 923 | 67 | 111 | 0,071 |
| 18. Okt. 02:00 | 938 | 51 | 125 | 0,08 |
| 18. Okt. 03:00 | 1.004 | 71 | 134 | 0,154 |
| 18. Okt. 04:00 | 1.330 | 84 | 525 | 0,047 |
| 18. Okt. 05:00 | 965 | 84 | 102 | 0,084 |
| 18. Okt. 06:00 | 1.330 | 72 | 479 | 0,063 |
| 18. Okt. 07:00 | 1.567 | 73 | 145 | 0,106 |
| 18. Okt. 08:00 | 1.752 | 51 | 395 | 0,123 |
| 18. Okt. 09:00 | 1.215 | 71 | 114 | 0,08 |
| 18. Okt. 10:00 | 2.281 | 80 | 585 | 0,263 |
| 18. Okt. 11:00 | 2.396 | 253 | 86 | 0,151 |
| 18. Okt. 12:00 | 1.963 | 71 | 205 | 0,086 |
| 18. Okt. 13:00 | 1.975 | 230 | 397 | 0,084 |
| 18. Okt. 14:00 | 1.451 | 61 | 321 | 0,082 |
| 18. Okt. 15:00 | 1.281 | 64 | 101 | 0,093 |
| 18. Okt. 16:00 | 3.085 | 70 | 214 | 0,314 |
| 18. Okt. 17:00 | 1.454 | 66 | 305 | 0,056 |
| 18. Okt. 18:00 | 1.197 | 70 | 60 | 0,114 |
| 18. Okt. 19:00 | 1.214 | 73 | 50 | 0,058 |
| 18. Okt. 20:00 | 1.281 | 52 | 118 | 0,05 |
| 18. Okt. 21:00 | 1.701 | 74 | 317 | 0,088 |
| 18. Okt. 22:00 | 1.096 | 61 | 104 | 0,052 |
| 18. Okt. 23:00 | 1.796 | 69 | 154 | 0,065 |
| 19. Okt. 00:00 | 2.010 | 79 | 327 | 0,438 |
| 19. Okt. 01:00 | 1.625 | 0 | 559 | 0,085 |
| 19. Okt. 02:00 | 1.557 | 0 | 399 | 0,12 |
| 19. Okt. 03:00 | 1.809 | 0 | 325 | 0,096 |
| 19. Okt. 04:00 | 2.609 | 15 | 605 | 0,22 |
| 19. Okt. 05:00 | 3.191 | 65 | 211 | 0,912 |
| 19. Okt. 06:00 | 1.589 | 3 | 216 | 0,086 |
| 19. Okt. 07:00 | 2.466 | 14 | 314 | 0,114 |
| 19. Okt. 08:00 | 1.898 | 18 | 222 | 0,097 |
| 19. Okt. 09:00 | 3.392 | 195 | 335 | 0,172 |
| 19. Okt. 10:00 | 2.423 | 76 | 175 | 0,321 |
| 19. Okt. 11:00 | 4.366 | 70 | 160 | 0,229 |
| 19. Okt. 12:00 | 2.865 | 75 | 338 | 0,142 |
| 19. Okt. 13:00 | 2.171 | 63 | 259 | 0,13 |
| 19. Okt. 14:00 | 1.412 | 72 | 191 | 0,066 |
| 19. Okt. 15:00 | 2.627 | 82 | 465 | 0,313 |
| 19. Okt. 16:00 | 1.714 | 76 | 197 | 0,17 |
| 19. Okt. 17:00 | 1.888 | 43 | 297 | 0,129 |
| 19. Okt. 18:00 | 1.705 | 50 | 210 | 0,142 |
| 19. Okt. 19:00 | 1.231 | 44 | 160 | 0,06 |
| 19. Okt. 20:00 | 2.675 | 153 | 588 | 0,134 |
| 19. Okt. 21:00 | 1.766 | 0 | 260 | 0,299 |
| 19. Okt. 22:00 | 1.430 | 0 | 301 | 0,084 |
| 19. Okt. 23:00 | 1.528 | 0 | 246 | 0,074 |
| 20. Okt. 00:00 | 1.493 | 0 | 268 | 0,073 |
| 20. Okt. 01:00 | 2.328 | 4 | 232 | 0,218 |
| 20. Okt. 02:00 | 1.010 | 0 | 194 | 0,046 |
| 20. Okt. 03:00 | 1.659 | 0 | 313 | 0,105 |
| 20. Okt. 04:00 | 2.240 | 1 | 304 | 0,143 |
| 20. Okt. 05:00 | 3.217 | 8 | 372 | 0,325 |
| 20. Okt. 06:00 | 2.094 | 3 | 349 | 0,107 |
| 20. Okt. 07:00 | 3.130 | 367 | 410 | 0,101 |
| 20. Okt. 08:00 | 1.999 | 59 | 295 | 0,098 |
| 20. Okt. 09:00 | 2.100 | 53 | 470 | 0,298 |
| 20. Okt. 10:00 | 2.446 | 41 | 179 | 0,425 |
| 20. Okt. 11:00 | 2.725 | 66 | 171 | 0,179 |
| 20. Okt. 12:00 | 1.896 | 45 | 266 | 0,09 |
| 20. Okt. 13:00 | 2.029 | 66 | 380 | 0,085 |
| 20. Okt. 14:00 | 1.891 | 67 | 195 | 0,119 |
| 20. Okt. 15:00 | 2.150 | 52 | 218 | 0,102 |
| 20. Okt. 16:00 | 2.814 | 69 | 450 | 0,231 |
| 20. Okt. 17:00 | 1.301 | 52 | 71 | 0,075 |
| 20. Okt. 18:00 | 1.175 | 57 | 258 | 0,066 |
| 20. Okt. 19:00 | 1.033 | 3 | 72 | 0,07 |
| 20. Okt. 20:00 | 1.123 | 0 | 278 | 0,072 |
| 20. Okt. 21:00 | 1.993 | 118 | 88 | 0,09 |
| 20. Okt. 22:00 | 1.240 | 0 | 211 | 0,103 |
| 20. Okt. 23:00 | 3.040 | 425 | 106 | 0,297 |
| 21. Okt. 00:00 | 915 | 63 | 229 | 0,05 |
| 21. Okt. 01:00 | 810 | 58 | 120 | 0,046 |
| 21. Okt. 02:00 | 727 | 53 | 89 | 0,059 |
| 21. Okt. 03:00 | 927 | 58 | 193 | 0,161 |
| 21. Okt. 04:00 | 1.235 | 56 | 128 | 0,122 |
| 21. Okt. 05:00 | 2.270 | 55 | 245 | 0,15 |
| 21. Okt. 06:00 | 1.732 | 193 | 350 | 0,156 |
| 21. Okt. 07:00 | 1.188 | 61 | 121 | 0,121 |
| 21. Okt. 08:00 | 1.411 | 45 | 189 | 0,078 |
| 21. Okt. 09:00 | 1.654 | 50 | 137 | 0,102 |
| 21. Okt. 10:00 | 1.670 | 60 | 88 | 0,219 |
| 21. Okt. 11:00 | 1.403 | 17 | 212 | 0,165 |
| 21. Okt. 12:00 | 1.615 | 10 | 177 | 0,271 |
| 21. Okt. 13:00 | 1.325 | 0 | 87 | 0,234 |
| 21. Okt. 14:00 | 2.159 | 0 | 365 | 0,159 |
| 21. Okt. 15:00 | 1.347 | 0 | 85 | 0,226 |
| 21. Okt. 16:00 | 1.100 | 14 | 224 | 0,133 |
| 21. Okt. 17:00 | 995 | 11 | 117 | 0,062 |
| 21. Okt. 18:00 | 448 | 0 | 87 | 0,064 |
| 21. Okt. 19:00 | 1.228 | 251 | 318 | 0,05 |
| 21. Okt. 20:00 | 519 | 65 | 111 | 0,087 |
| 21. Okt. 21:00 | 781 | 50 | 95 | 0,106 |
| 21. Okt. 22:00 | 652 | 44 | 73 | 0,066 |
| 21. Okt. 23:00 | 1.140 | 48 | 377 | 0,051 |
| 22. Okt. 00:00 | 621 | 52 | 62 | 0,055 |
| 22. Okt. 01:00 | 698 | 59 | 105 | 0,072 |
| 22. Okt. 02:00 | 967 | 51 | 71 | 0,05 |
| 22. Okt. 03:00 | 597 | 44 | 248 | 0,041 |
| 22. Okt. 04:00 | 618 | 35 | 90 | 0,05 |
| 22. Okt. 05:00 | 525 | 50 | 72 | 0,047 |
| 22. Okt. 06:00 | 989 | 38 | 77 | 0,065 |
| 22. Okt. 07:00 | 365 | 0 | 85 | 0,086 |
| 22. Okt. 08:00 | 519 | 0 | 104 | 0,088 |
| 22. Okt. 09:00 | 1.150 | 11 | 86 | 0,065 |
| 22. Okt. 10:00 | 824 | 0 | 72 | 0,209 |
| 22. Okt. 11:00 | 2.733 | 764 | 82 | 0,231 |
| 22. Okt. 12:00 | 2.460 | 76 | 304 | 0,208 |
| 22. Okt. 13:00 | 1.938 | 63 | 288 | 0,203 |
| 22. Okt. 14:00 | 1.577 | 42 | 266 | 0,168 |
| 22. Okt. 15:00 | 2.065 | 51 | 462 | 0,251 |
| 22. Okt. 16:00 | 2.942 | 56 | 1.381 | 0,129 |
| 22. Okt. 17:00 | 1.873 | 51 | 1.114 | 0,077 |
| 22. Okt. 18:00 | 2.004 | 48 | 1.204 | 0,061 |
| 22. Okt. 19:00 | 1.898 | 35 | 1.080 | 0,051 |
| 22. Okt. 20:00 | 1.990 | 18 | 1.004 | 0,076 |
| 22. Okt. 21:00 | 2.204 | 54 | 1.062 | 0,089 |
| 22. Okt. 22:00 | 2.841 | 50 | 1.109 | 0,138 |
| 22. Okt. 23:00 | 1.782 | 27 | 980 | 0,069 |
| 23. Okt. 00:00 | 2.164 | 0 | 1.203 | 0,118 |
| 23. Okt. 01:00 | 1.818 | 18 | 978 | 0,124 |
| 23. Okt. 02:00 | 1.525 | 0 | 751 | 0,137 |
| 23. Okt. 03:00 | 2.438 | 0 | 1.031 | 0,408 |
| 23. Okt. 04:00 | 2.464 | 1 | 1.001 | 0,17 |
| 23. Okt. 05:00 | 973 | 0 | 320 | 0,045 |
| 23. Okt. 06:00 | 1.526 | 1 | 400 | 0,131 |
| 23. Okt. 07:00 | 1.396 | 0 | 243 | 0,114 |
| 23. Okt. 08:00 | 2.621 | 37 | 272 | 0,254 |
| 23. Okt. 09:00 | 1.563 | 50 | 168 | 0,102 |
| 23. Okt. 10:00 | 1.597 | 157 | 450 | 0,169 |
| 23. Okt. 11:00 | 2.155 | 41 | 303 | 0,224 |
| 23. Okt. 12:00 | 3.323 | 42 | 487 | 0,293 |
| 23. Okt. 13:00 | 1.137 | 38 | 144 | 0,08 |
| 23. Okt. 14:00 | 1.514 | 41 | 145 | 0,055 |
| 23. Okt. 15:00 | 1.517 | 57 | 207 | 0,099 |
| 23. Okt. 16:00 | 1.095 | 47 | 129 | 0,046 |
| 23. Okt. 17:00 | 1.392 | 49 | 577 | 0,086 |
| 23. Okt. 18:00 | 1.387 | 44 | 182 | 0,113 |
| 23. Okt. 19:00 | 741 | 40 | 86 | 0,088 |
| 23. Okt. 20:00 | 905 | 44 | 146 | 0,033 |
| 23. Okt. 21:00 | 982 | 69 | 349 | 0,048 |
| 23. Okt. 22:00 | 1.873 | 0 | 145 | 0,215 |
| 23. Okt. 23:00 | 968 | 0 | 175 | 0,091 |
| 24. Okt. 00:00 | 2.349 | 110 | 356 | 0,129 |
| 24. Okt. 01:00 | 565 | 0 | 155 | 0,084 |
| 24. Okt. 02:00 | 714 | 51 | 96 | 0,117 |
| 24. Okt. 03:00 | 885 | 47 | 302 | 0,094 |
| 24. Okt. 04:00 | 662 | 51 | 123 | 0,043 |
| 24. Okt. 05:00 | 678 | 53 | 221 | 0,032 |
| 24. Okt. 06:00 | 980 | 48 | 307 | 0,039 |
| 24. Okt. 07:00 | 1.088 | 44 | 425 | 0,037 |
| 24. Okt. 08:00 | 1.148 | 48 | 204 | 0,088 |
| 24. Okt. 09:00 | 1.006 | 53 | 164 | 0,043 |
| 24. Okt. 10:00 | 1.332 | 41 | 351 | 0,168 |
| 24. Okt. 11:00 | 917 | 45 | 97 | 0,087 |
| 24. Okt. 12:00 | 1.055 | 45 | 179 | 0,128 |
| 24. Okt. 13:00 | 820 | 41 | 165 | 0,046 |
| 24. Okt. 14:00 | 767 | 6 | 200 | 0,078 |
| 24. Okt. 15:00 | 1.708 | 0 | 521 | 0,165 |
| 24. Okt. 16:00 | 2.044 | 43 | 617 | 0,158 |
| 24. Okt. 17:00 | 1.175 | 20 | 379 | 0,098 |
| 24. Okt. 18:00 | 1.828 | 56 | 380 | 0,12 |
| 24. Okt. 19:00 | 1.134 | 43 | 361 | 0,056 |
| 24. Okt. 20:00 | 2.161 | 47 | 689 | 0,175 |
| 24. Okt. 21:00 | 1.511 | 50 | 302 | 0,153 |
| 24. Okt. 22:00 | 1.944 | 45 | 493 | 0,203 |
| 24. Okt. 23:00 | 1.611 | 41 | 452 | 0,099 |
| 25. Okt. 00:00 | 1.181 | 45 | 313 | 0,081 |
| 25. Okt. 01:00 | 1.134 | 46 | 261 | 0,045 |
| 25. Okt. 02:00 | 1.078 | 47 | 242 | 0,084 |
| 25. Okt. 03:00 | 1.341 | 45 | 260 | 0,064 |
| 25. Okt. 04:00 | 1.150 | 43 | 195 | 0,076 |
| 25. Okt. 05:00 | 1.325 | 45 | 484 | 0,09 |
| 25. Okt. 06:00 | 1.226 | 30 | 294 | 0,091 |
| 25. Okt. 07:00 | 1.191 | 61 | 97 | 0,092 |
| 25. Okt. 08:00 | 2.192 | 32 | 218 | 0,268 |
| 25. Okt. 09:00 | 1.856 | 59 | 170 | 0,21 |
| 25. Okt. 10:00 | 2.675 | 43 | 215 | 0,384 |
| 25. Okt. 11:00 | 2.973 | 58 | 570 | 0,365 |
| 25. Okt. 12:00 | 1.429 | 72 | 136 | 0,126 |
| 25. Okt. 13:00 | 1.619 | 74 | 310 | 0,131 |
| 25. Okt. 14:00 | 2.006 | 64 | 310 | 0,084 |
| 25. Okt. 15:00 | 1.540 | 72 | 425 | 0,063 |
| 25. Okt. 16:00 | 1.682 | 64 | 297 | 0,071 |
| 25. Okt. 17:00 | 1.789 | 64 | 405 | 0,072 |
| 25. Okt. 18:00 | 1.533 | 71 | 714 | 0,065 |
| 25. Okt. 19:00 | 1.369 | 71 | 378 | 0,053 |
| 25. Okt. 20:00 | 1.041 | 72 | 352 | 0,036 |
| 25. Okt. 21:00 | 1.507 | 65 | 198 | 0,072 |
| 25. Okt. 22:00 | 3.229 | 87 | 205 | 0,292 |
| 25. Okt. 23:00 | 5.700 | 71 | 263 | 0,757 |
| 26. Okt. 00:00 | 1.511 | 81 | 249 | 0,101 |
| 26. Okt. 01:00 | 1.487 | 81 | 207 | 0,154 |
| 26. Okt. 02:00 | 1.422 | 81 | 186 | 0,059 |
| 26. Okt. 03:00 | 5.292 | 65 | 469 | 0,338 |
| 26. Okt. 04:00 | 1.543 | 56 | 151 | 0,151 |
| 26. Okt. 05:00 | 1.188 | 68 | 158 | 0,122 |
| 26. Okt. 06:00 | 1.993 | 66 | 460 | 0,21 |
| 26. Okt. 07:00 | 1.822 | 68 | 140 | 0,163 |
| 26. Okt. 08:00 | 1.834 | 65 | 298 | 0,144 |
| 26. Okt. 09:00 | 1.847 | 74 | 273 | 0,189 |
| 26. Okt. 10:00 | 2.443 | 63 | 137 | 0,325 |
| 26. Okt. 11:00 | 2.801 | 65 | 399 | 0,284 |
| 26. Okt. 12:00 | 1.568 | 65 | 522 | 0,041 |
| 26. Okt. 13:00 | 1.564 | 67 | 311 | 0,085 |
| 26. Okt. 14:00 | 1.544 | 64 | 411 | 0,063 |
| 26. Okt. 15:00 | 2.069 | 64 | 446 | 0,115 |
| 26. Okt. 16:00 | 2.201 | 54 | 394 | 0,069 |
| 26. Okt. 17:00 | 1.081 | 58 | 98 | 0,042 |
| 26. Okt. 18:00 | 1.355 | 54 | 106 | 0,069 |
| 26. Okt. 19:00 | 1.694 | 62 | 238 | 0,085 |
| 26. Okt. 20:00 | 2.623 | 55 | 467 | 0,11 |
| 26. Okt. 21:00 | 1.295 | 47 | 53 | 0,061 |
| 26. Okt. 22:00 | 1.606 | 46 | 184 | 0,083 |
| 26. Okt. 23:00 | 1.400 | 56 | 351 | 0,073 |
| 27. Okt. 00:00 | 707 | 56 | 76 | 0,04 |
| 27. Okt. 01:00 | 1.512 | 72 | 203 | 0,125 |
| 27. Okt. 02:00 | 1.615 | 45 | 114 | 0,147 |
| 27. Okt. 03:00 | 1.299 | 49 | 119 | 0,109 |
| 27. Okt. 04:00 | 1.722 | 43 | 290 | 0,15 |
| 27. Okt. 05:00 | 1.196 | 47 | 118 | 0,139 |
| 27. Okt. 06:00 | 1.095 | 48 | 103 | 0,107 |
| 27. Okt. 07:00 | 2.205 | 37 | 83 | 0,228 |
| 27. Okt. 08:00 | 1.487 | 45 | 112 | 0,152 |
| 27. Okt. 09:00 | 1.646 | 42 | 174 | 0,15 |
| 27. Okt. 10:00 | 1.372 | 45 | 103 | 0,085 |
| 27. Okt. 11:00 | 1.264 | 34 | 124 | 0,104 |
| 27. Okt. 12:00 | 883 | 33 | 98 | 0,091 |
| 27. Okt. 13:00 | 1.401 | 39 | 181 | 0,079 |
| 27. Okt. 14:00 | 1.241 | 40 | 147 | 0,097 |
| 27. Okt. 15:00 | 1.138 | 51 | 64 | 0,062 |
| 27. Okt. 16:00 | 892 | 33 | 136 | 0,049 |
| 27. Okt. 17:00 | 1.029 | 40 | 371 | 0,291 |
| 27. Okt. 18:00 | 1.195 | 43 | 288 | 0,063 |
| 27. Okt. 19:00 | 1.566 | 44 | 90 | 0,083 |
| 27. Okt. 20:00 | 1.632 | 14 | 303 | 0,078 |
| 27. Okt. 21:00 | 1.852 | 12 | 82 | 0,079 |
| 27. Okt. 22:00 | 1.215 | 13 | 134 | 0,065 |
| 27. Okt. 23:00 | 527 | 15 | 93 | 0,024 |
| 28. Okt. 00:00 | 313 | 16 | 54 | 0,018 |
| 28. Okt. 01:00 | 700 | 24 | 157 | 0,067 |
| 28. Okt. 02:00 | 1.347 | 57 | 244 | 0,089 |
| 28. Okt. 03:00 | 3.099 | 40 | 112 | 0,14 |
| 28. Okt. 04:00 | 1.272 | 47 | 246 | 0,092 |
| 28. Okt. 05:00 | 1.073 | 41 | 162 | 0,083 |
| 28. Okt. 06:00 | 1.404 | 52 | 103 | 0,118 |
| 28. Okt. 07:00 | 1.834 | 48 | 154 | 0,134 |
| 28. Okt. 08:00 | 441 | 12 | 4 | 0,027 |
Ein Adresspool, der fast pro Anfrage wechselte
Am 6. Oktober stammten 469.726 filterförmige Datensätze von 366.865 verschiedenen Quelladressen: 1,28 Anfragen pro Adresse, 80 % der Adressen genau einmal, die aktivste Adresse sandte 69. Am 4. Oktober waren es 254.856 Datensätze von 219.829 Adressen (1,16 pro Adresse, aktivste 34). Über das gesamte Fenster kamen mindestens 897.554 verschiedene Quelladressen vor (Untergrenze wegen der Stichprobe). Im Fehlerprotokoll vom 4. Oktober hatte der häufigste Client-Wert 39 von 140.705 Fehlern. Ratenlimits und Sperren pro Adresse laufen bei dieser Streuung ins Leere. 97,9 % der Filter-Datensätze (1.310.134 von 1.338.251) kamen von Ausgängen, die Cloudflare außerhalb von DE, AT und CH verortet; das beschreibt Ausgangsorte, nicht die Herkunft des Verkehrs.
Verschiedene Quelladressen pro Tag bei filterförmigen Anfragen
pro UTC-Tag, exportierte DatensätzeDaten als Tabelle
| Tag (UTC) | Datensätze | Quelladressen | Datensätze je Adresse | Höchstens von einer Adresse | Adressen nur einmal | Abdeckung |
|---|---|---|---|---|---|---|
| 27. Sep. | 22.421 | 16.899 | 1,33 | 19 | 83,2 % | 0,09 |
| 28. Sep. | 23.046 | 16.936 | 1,36 | 13 | 83,7 % | 0,1 |
| 29. Sep. | 41.238 | 25.897 | 1,59 | 16 | 81,8 % | 0,1 |
| 30. Sep. | 18.142 | 14.151 | 1,28 | 13 | 84,9 % | 0,09 |
| 1. Okt. | 33.458 | 30.227 | 1,11 | 34 | 92,9 % | 0,83 |
| 2. Okt. | 76.336 | 71.103 | 1,07 | 34 | 94,5 % | 0,94 |
| 3. Okt. | 99.516 | 92.901 | 1,07 | 352 | 94,3 % | 0,97 |
| 4. Okt. | 254.856 | 219.829 | 1,16 | 34 | 87,1 % | 0,98 |
| 5. Okt. | 211.894 | 183.424 | 1,16 | 53 | 87,3 % | 0,98 |
| 6. Okt. | 469.726 | 366.865 | 1,28 | 69 | 79,8 % | 0,98 |
| 7. Okt. | 4.377 | 3.981 | 1,1 | 6 | 93 % | 0,91 |
| 8. Okt. | 997 | 956 | 1,04 | 5 | 96,2 % | 0,82 |
| 9. Okt. | 7 | 7 | 1 | 1 | 100 % | 0,93 |
| 10. Okt. | 5 | 5 | 1 | 1 | 100 % | 1,11 |
| 11. Okt. | 1 | 1 | 1 | 1 | 100 % | 0,5 |
| 12. Okt. | 2 | 2 | 1 | 1 | 100 % | 1,18 |
| 14. Okt. | 1.928 | 1.320 | 1,46 | 564 | 97,3 % | 0,97 |
| 15. Okt. | 2.196 | 1.910 | 1,15 | 142 | 95,2 % | 0,98 |
| 16. Okt. | 2.813 | 2.504 | 1,12 | 7 | 93,8 % | 0,99 |
| 17. Okt. | 2.589 | 2.142 | 1,21 | 29 | 91,1 % | 0,97 |
| 18. Okt. | 4.476 | 2.884 | 1,55 | 29 | 75,8 % | 0,94 |
| 19. Okt. | 4.222 | 1.919 | 2,2 | 39 | 69,8 % | 0,96 |
| 20. Okt. | 4.930 | 2.590 | 1,9 | 41 | 72,4 % | 0,97 |
| 21. Okt. | 5.090 | 3.852 | 1,32 | 24 | 88,2 % | 0,98 |
| 22. Okt. | 6.888 | 6.024 | 1,14 | 8 | 88,5 % | 0,96 |
| 23. Okt. | 6.919 | 4.663 | 1,48 | 33 | 76 % | 0,96 |
| 24. Okt. | 2.831 | 2.329 | 1,22 | 6 | 82,7 % | 0,97 |
| 25. Okt. | 14.258 | 8.042 | 1,77 | 4.064 | 87 % | 0,96 |
| 26. Okt. | 10.412 | 8.360 | 1,25 | 191 | 88,5 % | 0,96 |
| 27. Okt. | 7.905 | 6.746 | 1,17 | 28 | 90,8 % | 1 |
| 28. Okt. | 4.772 | 4.543 | 1,05 | 7 | 95,9 % | 1,03 |
Der Ausfall am 4. Oktober
Erster Upstream-Timeout 16:39:49 UTC, erste abgewiesene Verbindung 17:07:10 UTC, letzte 20:27:47 UTC, neuer Prozess um 20:30:27 UTC. Von 17:00 bis 20:59 UTC endeten 91,6 % aller Anfragen am Edge in einem 5xx (140.308 von rund 153.100, Cloudflare-Schätzung). Das Origin zählte an diesem Tag 140.689 Upstream-Fehler, davon 140.495 abgewiesene Verbindungen; beide unabhängigen Quellen stimmen innerhalb von 0,3 % überein. Die schlimmste Minute zählte 1.986 fehlgeschlagene Anfragen (17:38 UTC).
Kosten pro Anfrage
Unter Normallast (1. Oktober bis 4. Oktober 15:59 UTC) brauchte eine erfolgreiche Filteranfrage am Origin im Median 678 ms (p95 2,25 s), eine normale Seite ohne Query 623 ms (p95 3,09 s): etwa das 1,1- bis 1,3-Fache. Nach der Wiederinbetriebnahme (18. bis 28. Oktober, geringe Last) lag der Median einer erfolgreichen Filteranfrage bei 1.011 ms, gegenüber 678 ms in der Normallast; die Daten erklären den Unterschied nicht. Von 16:00 bis 17:59 UTC am 4. Oktober brauchten die noch erfolgreichen normalen Seiten im Median 5,0 s (p95 21 s), gegenüber 0,6 s und 3,1 s an den Tagen davor (12.752 Datensätze). Die 5,0 s und 21 s beruhen nur auf 87 Datensätzen. Die statische Antwort dauerte im Median 265 ms (p95 0,94 s), etwa das 2,6- bis 3-Fache schneller als eine gerenderte Filterseite.
Antwortzeit der Origin: Filter-Anfragen gegenüber normalen Seiten
Millisekunden, nur Status 200Daten als Tabelle
| Zeitraum (UTC) | Anfragen | n | Median | p90 | p95 | p99 |
|---|---|---|---|---|---|---|
| 1. Okt. 00:00 - 4. Okt. 15:59 (Filter-Verkehr wird von der Anwendung gerendert, kein Ausfall) | Filter-Anfragen | 251.560 | 678 | 1.577 | 2.251 | 4.446 |
| 1. Okt. 00:00 - 4. Okt. 15:59 (Filter-Verkehr wird von der Anwendung gerendert, kein Ausfall) | Normale Seiten | 12.752 | 623 | 2.264 | 3.088 | 41.148 |
| 4. Okt. 16:00 - 17:59 (Überlast vor und während des Ausfalls (nur erfolgreiche Antworten)) | Filter-Anfragen | 2.050 | 1.568 | 9.593 | 12.727 | 15.472 |
| 4. Okt. 16:00 - 17:59 (Überlast vor und während des Ausfalls (nur erfolgreiche Antworten)) | Normale Seiten | 87 | 5.032 | 13.621 | 20.958 | 106.353 |
| 5. Okt. 00:00 - 15:59 (nach Wiederanlauf, geringes Filter-Volumen) | Filter-Anfragen | 3.829 | 786 | 2.034 | 3.050 | 3.846 |
| 5. Okt. 00:00 - 15:59 (nach Wiederanlauf, geringes Filter-Volumen) | Normale Seiten | 2.057 | 611 | 1.609 | 2.012 | 3.183 |
| 5. Okt. 18:00 - 6. Okt. 16:59 (statischer Pfad aktiv, Angriff läuft weiter) | Filter-Anfragen | 300.529 | 265 | 738 | 940 | 1.398 |
| 5. Okt. 18:00 - 6. Okt. 16:59 (statischer Pfad aktiv, Angriff läuft weiter) | Normale Seiten | 2.629 | 531 | 1.611 | 2.141 | 3.171 |
| 18. Okt. 00:00 - 28. Okt. 09:00 (nach Wiederinbetriebnahme, geringe Last) | Filter-Anfragen | 41.420 | 1.011 | 2.525 | 3.234 | 5.486 |
| 18. Okt. 00:00 - 28. Okt. 09:00 (nach Wiederinbetriebnahme, geringe Last) | Normale Seiten | 43.832 | 533 | 1.689 | 2.464 | 5.147 |
Was geholfen hat und was nicht
Erkennung am Edge: die Hälfte. Am Abend des 4. Oktober kam eine schmale Cloudflare-Signatur für das beobachtete Client-Profil hinzu. Im Fenster 5. Oktober 18:00 bis 6. Oktober 16:59 UTC wurden 308.119 von 608.882 filterförmigen Datensätzen am Edge blockiert (50,6 %). Die andere Hälfte hatte ihre Anfragemerkmale geändert, erreichte das Origin und löste am Nachmittag des 5. Oktober allein den Neustart-Sturm aus. Erkennung allein reichte nicht; entscheidend war, dass erkannte Anfragen nichts mehr kosteten.
Prozessüberwachung: aus dem Absturz wurde ein Neustart-Sturm. Am 4. Oktober startete nichts den Prozess neu; er wurde von Hand gestartet. Danach startete eine Prozessüberwachung die Anwendung bei Überschreiten einer Speichergrenze neu. Ab 16:05 UTC am 5. Oktober ging das im Minutentakt: Der Zähler stand um 17:26 UTC bei 94, um 17:29 bei 98 und um 17:57 bei 118. Er war am 4. Oktober gegen 21:05 UTC bei 0 gestartet, und bis 16:05 UTC am 5. Oktober zeigt das Origin-Protokoll nur zwei vereinzelte Verbindungsabweisungen, gegen 4.450 allein in der Stunde ab 16:00 UTC. Die 94 sind also der Sturm selbst: rund 94 Neustarts in seinen ersten 80 Minuten, rund 118 zwischen 16:05 und 17:57 UTC (24 in den 31 Minuten der Inspektion). Der Prozess lag bei 1,46–1,48 GB RSS, die mittlere HTTP-Latenz bei 3,1–3,6 s. Am Origin gab es an diesem Nachmittag 8.250 Upstream-Fehler, am Edge endeten nach Schätzung 12 % aller Anfragen von 16:00 bis 17:59 UTC in 5xx. Die Deduplizierungskorrektur vom 4. Oktober hatte keine messbare Wirkung.
Statische Antwort vor der Anwendung: Ende der Fehler. Ab etwa 17:45 UTC am 5. Oktober (19:45 MESZ) wurden Anfragen mit der Angriffsform im Webserver vor der Anwendung klassifiziert und mit einer vorgerenderten statischen Seite beantwortet, ohne Anwendungs- und Datenbankarbeit. Die Klassifikation arbeitet anhand der Form der Anfrage und weiterer Merkmale, direkt vor der Anwendung; das Ergebnis wird serverseitig gespeichert. Einzelheiten veröffentlichen wir nicht, weil die Regel sonst eine Anleitung zum Umgehen wäre. Die gespeicherte Variante ging gegen 17:55 UTC live; ihr erster Versuch schlug fehl und wurde einige Minuten auf die zustandslose Variante zurückgesetzt, die Maßnahme lief also nicht ohne Unterbrechung.
Gespeicherte Klassifikation: Absicherung, kein Arbeitspferd. Sie sollte verhindern, dass eine einmal erkannte Adresse nach geänderten Anfragen wieder die Anwendung belastet. In der intensivsten Phase (6. Oktober 08:44 bis 13:30 UTC) zeigen die Zähler mindestens 65.536 neu klassifizierte Anfragen gegen weniger als 512, die nur wegen einer gespeicherten Klassifikation statisch beantwortet wurden: unter 1 %. Die Zähler protokollieren in Zweierpotenzen, die Werte sind Schranken.
Wohin der Filter-Verkehr ging: Edge-Block, statische Antwort, Anwendungsfehler (4.-7. Okt.)
Anfragen pro Stunde, UTC- 1 Notfall-Release, 4. Okt. 21:00 UTC
- 2 Statische Antworten beginnen, 5. Okt. 17:45 UTC
Daten als Tabelle
| Stunde (UTC) | Filter-Datensätze | Edge-Block (403) | 2xx | 5xx | 499 | Statisch (Origin) | Upstream-Fehler |
|---|---|---|---|---|---|---|---|
| 4. Okt. 12:00 | 4.443 | 24 | 4.412 | 0 | 3 | 0 | 0 |
| 4. Okt. 13:00 | 4.501 | 57 | 4.439 | 0 | 2 | 0 | 0 |
| 4. Okt. 14:00 | 4.405 | 38 | 4.364 | 2 | 1 | 0 | 0 |
| 4. Okt. 15:00 | 4.597 | 58 | 4.528 | 2 | 8 | 0 | 0 |
| 4. Okt. 16:00 | 33.201 | 219 | 2.050 | 210 | 30.722 | 0 | 136 |
| 4. Okt. 17:00 | 74.325 | 478 | 0 | 63.509 | 10.335 | 0 | 64.000 |
| 4. Okt. 18:00 | 62.001 | 379 | 0 | 61.621 | 0 | 0 | 62.115 |
| 4. Okt. 19:00 | 13.843 | 88 | 0 | 13.752 | 0 | 0 | 14.261 |
| 4. Okt. 20:00 | 160 | 11 | 59 | 89 | 0 | 0 | 177 |
| 4. Okt. 21:00 | 208 | 86 | 120 | 0 | 0 | 14 | 0 |
| 4. Okt. 22:00 | 186 | 59 | 126 | 0 | 0 | 0 | 0 |
| 4. Okt. 23:00 | 257 | 90 | 164 | 0 | 0 | 0 | 0 |
| 5. Okt. 00:00 | 256 | 69 | 182 | 0 | 0 | 0 | 0 |
| 5. Okt. 01:00 | 359 | 84 | 273 | 0 | 1 | 0 | 0 |
| 5. Okt. 02:00 | 219 | 76 | 143 | 0 | 0 | 0 | 0 |
| 5. Okt. 03:00 | 286 | 80 | 204 | 0 | 0 | 0 | 0 |
| 5. Okt. 04:00 | 196 | 92 | 104 | 0 | 0 | 0 | 0 |
| 5. Okt. 05:00 | 162 | 68 | 92 | 0 | 0 | 0 | 0 |
| 5. Okt. 06:00 | 262 | 112 | 149 | 0 | 0 | 0 | 0 |
| 5. Okt. 07:00 | 173 | 79 | 93 | 0 | 0 | 0 | 0 |
| 5. Okt. 08:00 | 183 | 76 | 106 | 0 | 0 | 0 | 0 |
| 5. Okt. 09:00 | 183 | 75 | 108 | 0 | 0 | 0 | 0 |
| 5. Okt. 10:00 | 179 | 75 | 102 | 0 | 0 | 2 | 0 |
| 5. Okt. 11:00 | 378 | 155 | 221 | 0 | 1 | 0 | 1 |
| 5. Okt. 12:00 | 355 | 137 | 215 | 0 | 1 | 0 | 0 |
| 5. Okt. 13:00 | 544 | 261 | 280 | 0 | 1 | 0 | 0 |
| 5. Okt. 14:00 | 996 | 465 | 529 | 1 | 1 | 0 | 1 |
| 5. Okt. 15:00 | 2.041 | 1.012 | 1.028 | 0 | 1 | 0 | 0 |
| 5. Okt. 16:00 | 40.512 | 20.422 | 1.358 | 6.266 | 12.460 | 2 | 6.485 |
| 5. Okt. 17:00 | 24.223 | 12.295 | 6.459 | 1.579 | 3.888 | 2.176 | 1.763 |
| 5. Okt. 18:00 | 12.338 | 6.013 | 6.322 | 0 | 0 | 6.273 | 0 |
| 5. Okt. 19:00 | 18.330 | 9.494 | 8.826 | 0 | 7 | 8.699 | 0 |
| 5. Okt. 20:00 | 27.697 | 14.179 | 13.506 | 1 | 7 | 13.308 | 0 |
| 5. Okt. 21:00 | 27.777 | 14.248 | 13.514 | 0 | 10 | 13.295 | 0 |
| 5. Okt. 22:00 | 27.018 | 13.759 | 13.234 | 0 | 22 | 13.048 | 0 |
| 5. Okt. 23:00 | 27.227 | 13.931 | 13.267 | 0 | 26 | 13.085 | 0 |
| 6. Okt. 00:00 | 26.162 | 13.447 | 12.707 | 0 | 3 | 12.487 | 0 |
| 6. Okt. 01:00 | 28.518 | 14.620 | 13.890 | 0 | 4 | 13.668 | 0 |
| 6. Okt. 02:00 | 30.274 | 15.149 | 15.116 | 1 | 6 | 14.865 | 0 |
| 6. Okt. 03:00 | 28.268 | 14.461 | 13.798 | 0 | 3 | 13.538 | 0 |
| 6. Okt. 04:00 | 28.102 | 14.207 | 13.882 | 1 | 5 | 13.645 | 0 |
| 6. Okt. 05:00 | 29.385 | 14.920 | 14.451 | 0 | 8 | 14.223 | 0 |
| 6. Okt. 06:00 | 28.768 | 14.487 | 14.271 | 0 | 5 | 14.056 | 0 |
| 6. Okt. 07:00 | 28.160 | 14.191 | 13.963 | 1 | 4 | 13.765 | 0 |
| 6. Okt. 08:00 | 28.840 | 14.460 | 14.376 | 0 | 2 | 14.093 | 0 |
| 6. Okt. 09:00 | 27.203 | 13.738 | 13.455 | 0 | 6 | 13.214 | 0 |
| 6. Okt. 10:00 | 28.711 | 14.564 | 14.137 | 1 | 5 | 13.898 | 0 |
| 6. Okt. 11:00 | 28.827 | 14.574 | 14.250 | 0 | 2 | 14.008 | 0 |
| 6. Okt. 12:00 | 30.110 | 15.060 | 15.041 | 1 | 8 | 14.763 | 0 |
| 6. Okt. 13:00 | 24.658 | 12.595 | 12.055 | 2 | 6 | 11.808 | 1 |
| 6. Okt. 14:00 | 28.132 | 14.280 | 13.845 | 0 | 2 | 13.662 | 0 |
| 6. Okt. 15:00 | 27.601 | 13.550 | 14.042 | 0 | 5 | 13.796 | 0 |
| 6. Okt. 16:00 | 16.776 | 8.192 | 8.581 | 0 | 1 | 8.390 | 0 |
| 6. Okt. 17:00 | 175 | 71 | 100 | 0 | 1 | 48 | 0 |
| 6. Okt. 18:00 | 79 | 25 | 53 | 0 | 0 | 0 | 0 |
| 6. Okt. 19:00 | 46 | 7 | 38 | 0 | 0 | 0 | 0 |
| 6. Okt. 20:00 | 518 | 478 | 39 | 0 | 0 | 0 | 0 |
| 6. Okt. 21:00 | 151 | 33 | 116 | 0 | 0 | 0 | 0 |
| 6. Okt. 22:00 | 129 | 8 | 121 | 0 | 0 | 0 | 0 |
| 6. Okt. 23:00 | 133 | 10 | 123 | 0 | 0 | 0 | 0 |
| 7. Okt. 00:00 | 162 | 20 | 142 | 0 | 0 | 0 | 0 |
| 7. Okt. 01:00 | 145 | 19 | 126 | 0 | 0 | 0 | 0 |
| 7. Okt. 02:00 | 721 | 650 | 66 | 0 | 0 | 0 | 0 |
| 7. Okt. 03:00 | 74 | 0 | 73 | 0 | 0 | 0 | 0 |
| 7. Okt. 04:00 | 88 | 24 | 64 | 0 | 0 | 0 | 0 |
| 7. Okt. 05:00 | 66 | 4 | 62 | 0 | 0 | 0 | 0 |
| 7. Okt. 06:00 | 69 | 9 | 60 | 0 | 0 | 0 | 0 |
Was echte Nutzer sahen
Die statische Seite zeigte keine Skripte, deshalb hinterlässt ein Nutzer, der sie bekam, kein Analytics-Ereignis. Das Protokoll der statischen Antworten hat keine Client-Angaben, und die Edge-Datensätze tragen keine Anfrage-Header. Wie viele echte Nutzer in diesen 23 Stunden die statische Seite sahen, lässt sich nicht messen. Die Daten begrenzen es aus mehreren Richtungen:
- Die Einordnung konnte nur direkte Aufrufe gespeicherter Filter-Links mit einem bestimmten Merkmalsprofil treffen. Wer über die Oberfläche der Seite filterte, bekam echte Ergebnisse. Betroffen sein konnte ein Nutzer, der einen gespeicherten Link direkt in diesem Profil öffnete oder von einer bereits als erkannt gespeicherten Adresse kam (geteilte Mobilfunk- oder Firmenausgänge).
- Ausgelöst nur wegen einer gespeicherten Adresse wurden vom 6. Oktober 08:44 UTC bis 7. Oktober 07:26 UTC weniger als 512 Antworten, gegenüber mindestens 65.536 Treffern der Signatur (bis 13:30 UTC). Mindestens 2.048 in Frage kommende Seitenaufrufe gelangten unklassifiziert zur Anwendung. Für die ersten 15 Stunden (5. Oktober 17:56 bis 6. Oktober 08:44 UTC) liefen die Zähler nicht; dafür gibt es keine Schranke.
- Von 5. Oktober 17:55 bis 6. Oktober 16:59 UTC bekamen 300.360 filterförmige Datensätze mit dem für die Klassifikation in Frage kommenden Client-Profil HTTP 200; das Origin protokollierte rund 295.587 statische Antworten. Mindestens 1.165 Datensätze mit anderen Profilen bekamen echte Daten von der Anwendung. Von den 300.360 kamen 5.633 (1,9 %) von Ausgängen in DE, AT oder CH, derselbe Anteil wie beim Angriff insgesamt (2,1 %). Das spricht nicht für einen Überschuss inländischer Nutzer; 5.633 ist eine Obergrenze, keine Schätzung echter Nutzer.
- Die normale Nutzung lief weiter: Die eigene Analytik zählte im Fenster 72 Sitzungen, 135 Seitenaufrufe, 48 Klicks und 5 Formularabsendungen, gegenüber 47 bis 49 Sitzungen in denselben 23-Stunden-Abschnitten am 1. bis 3. Oktober. Auch das erfasst keine Nutzer, die die statische Seite bekamen.
Warum der 29. September nicht abstürzte, der 4. Oktober schon
Teilweise beantwortbar. Der 29. September war kein gesunder Tag, sondern ein schwerer Brownout: In den stärksten Stunden (22:00–23:59 UTC) erreichten nach unserer Schätzung rund 45.600 bis 50.100 Filteranfragen pro Stunde das Origin (Stundenschätzung von Cloudflare mal Filteranteil der Datensätze mal nicht blockierter Anteil). Sie brauchten im Median 7,5 bis 10,0 s, das p95 lag bei rund 97 bis 99 s, die mittlere Origin-Zeit des gesamten Verkehrs bei 25,7 bis 26,5 s, und 31 bis 33 % der Filteranfragen endeten damit, dass der Client aufgab (Status 499). Am 4. Oktober um 17:00 UTC erreichten rund 73.700 Filteranfragen pro Stunde das Origin, etwa das 1,5-Fache. Zwischen beiden Tagen lag eine neue Anwendungsversion mit erweitertem Filterkatalog (30. September, 21:45 UTC); der Prozess, der am 4. Oktober abstürzte, lief mit ihr. Ob sie die Kosten pro Anfrage veränderte, wurde nicht gemessen. Nicht beantwortbar sind der Speicherspielraum (vor dem 4. Oktober gibt es keine Speichermesswerte) und ein Vergleich der Kombinationsraten (die Datensätze vom 29. September sind eine 1-zu-10-Stichprobe, die vom 4. Oktober nahezu vollständig).
Ebenen im Überblick
Edge
Live: eine bestehende Blockregel, am 30. Sep. auf eine gemessene Kohorte erweitert, am 4. Okt. um eine schmale Signatur ergänzt. Sie fing nur die Hälfte ab; die andere Hälfte änderte ihre Merkmale. Die Standard-Bot-Challenges von Cloudflare liefen durchgehend und erfassten täglich einige tausend Anfragen.
Origin
Live: Klassifikation vor der Anwendung und vorgerenderte statische Antwort (5. Okt.). Auf dieser Ebene endeten die Fehler.
App
Live: Prozessüberwachung mit Neustart und Speichergrenze sowie die Deduplizierungskorrektur (4. Okt.; letztere ohne messbare Wirkung). Filterkombinationen nur mit signierter Browser-Sitzung und mit Budgets seit dem 14. Okt., nach der Hauptwelle, ohne messbare Wirkung in diesen Daten.
Ergebnis in Zahlen
Gegenüber dem 4. Oktober, als die Anwendung ausfiel:
- Filterförmige Datensätze pro Stunde am Edge: 74.325 (4. Oktober, 17 Uhr UTC; Gesamtverkehr dieser Stunde nach Schätzung 74.420 Anfragen) gegenüber 608.882 Datensätzen im gesamten Fenster 5. Oktober 18:00 bis 6. Oktober 16:59 UTC (ein Stundenmittel geben wir nicht an).
- 5xx am Edge, gesamter Verkehr: 91,6 % (4. Oktober, 17:00–20:59 UTC) gegenüber 0,003 % (16 von rund 634.000 Anfragen, Schätzung); 8 filterförmige Datensätze endeten in 5xx.
- Upstream-Fehler am Origin: 140.689 am 4. Oktober, 8.250 am Nachmittag des 5. Oktober, danach 1 (5. Oktober 18:00 bis 6. Oktober 16:59 UTC), bei 295.587 statischen Antworten (rund 12.500 bis 14.900 pro vollständiger Stunde ab 20:00 UTC am 5. Oktober).
- Neustarts: rund 118 in knapp zwei Stunden (5. Oktober, 16:05–17:57 UTC), danach 7 in rund 15 Stunden (Zähler 125 gegen 08:50 UTC am 6. Oktober).
- Anwendung: 1,46–1,48 GB RSS an der Grenze beziehungsweise Heap-Erschöpfung bei rund 1,9 GB gegenüber 608 MiB RSS und 27,7 % CPU um 17:59 UTC am 5. Oktober.
- Normale Seiten: 5,0 s / p95 21 s (n = 87) gegenüber 531 ms / p95 2,1 s.
Der Neustart-Sturm endete; Neustarts endeten nicht. Der Zähler stand am 8. Oktober um 03:12 UTC bei 135, in einem Intervall mit mindestens zwei absichtlichen Deployments. Die Ursache der Neustarts nach dem Sturm ist nicht dokumentiert.
Grenzen der Daten
- Stichprobe. Die Edge-Daten stammen aus Cloudflares Adaptive Analytics. Es gibt zwei Größen, die nicht addiert oder vermischt werden: die Schätzung von Cloudflare (rund 4,1 Mio. Anfragen im 31-Tage-Fenster, 27. September 08:15 UTC bis 28. Oktober 08:10 UTC) und 1,96 Mio. (1.963.348) einzeln ausgewertete Datensätze, deren Erfassung bis 28. Oktober 08:29:21 UTC lief. Warum das Fenster der Schätzung früher endet als das der Erfassung, halten die Unterlagen nicht fest. Vom 27. bis 30. September liegt nur etwa jede zehnte Anfrage als Datensatz vor; ab 1. Oktober folgen die Datensätze der Schätzung innerhalb weniger Prozent (0,94–0,98 an den Tagen 2. bis 6. Oktober), was auf eine fast vollständige Abdeckung hindeutet, aber keine Garantie ist. Für den 4. bis 6. Oktober gilt: rund eine Million Anfragen (Schätzung 1.002.210; Datensätze 979.982). Ungesampelte Rohprotokolle (Logpull, Logpush) standen auf diesem Konto nicht zur Verfügung.
- Filterförmig ist kein Urteil. Gezählt werden GET-Seitenaufrufe mit Filterparametern. Echte Nutzer verwenden Filter ebenfalls, und eine Basislinie vor dem Angriff liegt im aufbewahrten Fenster nicht vor. 1.338.251 filterförmige Datensätze (68 % von 1.963.348) sind keine Zahl von Angriffsanfragen, und Adressen sind keine Personen.
- Origin-Fehlerprotokolle zeichnen nur Fehlschläge auf, nicht alle Anfragen.
- Mechanismus nicht bewiesen. Der Pfad von Kombinationen über wartende Abfragen zur Heap-Erschöpfung ist aus Code und Protokollen plausibel; es gibt kein Heap-Profil.
- Warum die Welle endete, wissen wir nicht. Zwischen 16:40 und 16:55 UTC am 6. Oktober fielen die statischen Antworten von rund 1.000 pro fünf Minuten auf unter 100, das Edge-Volumen auf unter 500 Anfragen pro Stunde. Die Daten zeigen nicht, dass die statische Antwort das Ende verursacht hat.
- Ausfall vom 26. und 27. September. Siehe Zeitleiste: Die Ursache des Prozessendes ist nicht dokumentiert, und wir führen es nicht auf Filteranfragen zurück. Dass der Ausfall rund 26 Stunden dauerte, hat einen einfachen Grund: Niemand hat hingesehen. Es gab kein Monitoring und keine Alarmierung, bis eine Prüfung vor einem unabhängig geplanten Deployment ihn fand. Für diesen Zeitraum gibt es keine Edge-Daten.
- Abschaltung vom 8. bis 17. Oktober. Die Maßnahme hielt. Vom 8. bis 17. Oktober haben wir die Plattform trotzdem selbst vom Netz genommen: eine betriebliche Entscheidung, weil andere Projekte Vorrang hatten und wir abwägen wollten, ob sich der Weiterbetrieb als Angriffsziel lohnt. Diese Tage zählen weder als Ausfall durch den Angriff noch als ruhige Phase; die Messwerte in diesem Zeitraum sagen über den Angriff nichts.
- Zweites Speicherproblem. Nach der Rückkehr am 17. und 18. Oktober startete die Prozessüberwachung die Anwendung bei niedrigem Verkehr 5- bis 15-mal am Tag neu (18. Okt.: 5, 19. Okt.: 13, 20. Okt.: 15, 21. Okt.: 9). Die Grenze von 1.400 MiB lag innerhalb des normalen Arbeitsspeichers von 1,0 bis 1,5 GB, überwiegend nativer Speicher. Nach der Anhebung auf 1.800 MiB am 22. Oktober überschritt der Prozess sie am 23. Oktober noch zweimal. Bei keinem dieser Neustarts fand die Untersuchung eine Verkehrsspitze. Das ist ein eigenes Anwendungsproblem, keine Angriffsfolge, und es ist nicht gelöst.
- Spätere Kohorten. Ab dem 7. Oktober erschien eine kleine, wechselnde Kohorte auf einzelnen Inhaltsseiten (einige hundert Anfragen pro sechs Stunden). Vom 17. bis 22. Oktober wurden neue Kohorten mit drei schmalen Erweiterungen statisch oder mit bewusst verzögerter Fehlerantwort beantwortet; vom 18. bis 28. Oktober waren rund 96 % aller 5xx-Antworten am Edge solche Verzögerungsantworten, keine Ausfälle.
- Nicht gemessen: die Wirkung der gehärteten Anwendung vom 14. Oktober, da sie nach der Hauptwelle kam.
Wie die Ausfälle entdeckt wurden: gar nicht
Bei der Inspektion am 30. September gab es auf dem Server weder eine Erreichbarkeitsprüfung noch einen Monitoring-Dienst, und bei keinem der beiden Ausfälle hat etwas Alarm geschlagen, auch am 4. Oktober nicht. Den Ausfall ab 26. September fand die Vorabprüfung eines unabhängig geplanten Deployments am 27. September, behoben durch den Neustart um 05:45 UTC: rund 26 Stunden unentdeckt. Den Ausfall am 4. Oktober haben wir selbst bemerkt. Die erste abgewiesene Verbindung war um 17:07:10 UTC, der erste protokollierte Untersuchungsstand um 20:27 UTC, der Neustart um 20:30:27 UTC. Wann wir den Ausfall bemerkten, ist nicht festgehalten, die Zeit bis zur Entdeckung betrug also höchstens rund 3 Stunden 20 Minuten. Der automatische Neustart existiert seit dem 4. Oktober gegen 21:05 UTC; eine vom Agenten ausgeführte Gesundheitsprüfung alle fünf Minuten läuft seit dem 6. Oktober 17:05 UTC (ab 8. Oktober sind 15 Minuten freigegeben).
Was wir heute anders machen würden
- Eine Erreichbarkeitsprüfung von außerhalb des Servers, die einen Menschen alarmiert. Beide Ausfälle blieben ohne Alarm, der erste rund 26 Stunden lang; der unbemerkte Ausfall im September ist das deutlichste Argument für eine Prüfung von außen. Die Prüfung ruft die Seite alle paar Minuten von außen ab und meldet sich, wenn sie nicht antwortet. Ob das bei dieser Plattform schon läuft, belegen die Unterlagen nicht.
- Prozessüberwachung, die Neustarts meldet. Der automatische Neustart verhinderte den langen Ausfall und machte daraus rund 118 Neustarts in knapp zwei Stunden. Künftig soll die Überwachung jeden Neustart zählen und melden, sobald die Rate über dem Normalbetrieb liegt.
- Eine feste Obergrenze für die Liste laufender Abfragen. Sie hatte pro Kombination keinen Deckel und entdoppelte nur identische Abfragen; die Deduplizierungskorrektur vom 4. Oktober änderte daran nichts. Die Liste braucht eine feste Größe, statt auf dem Heap mit dem Verkehr zu wachsen. Ob die am 27. Oktober eingecheckten Änderungen zur Renderlast live sind, ist nicht verifiziert.
- Die Speichergrenze aus dem gemessenen Arbeitsspeicher ableiten. Die Grenze von 1.400 MiB lag im Normalbereich von 1,0 bis 1,5 GB und löste eigene Neustarts aus; auch 1.800 MiB wurden am 23. Oktober noch zweimal überschritten. Die Grenze muss aus der gemessenen Normalauslastung folgen, nicht aus einer Schätzung; das Problem ist nicht gelöst.
- Die vorgerenderte statische Antwort als erste Maßnahme bereithalten. Die Regel am Edge fing die Hälfte ab und wurde innerhalb eines Tages umgangen; erst die Klassifikation vor der Anwendung mit statischer Antwort beendete die Fehler. Beides sollte als fertige Vorlage bereitliegen, bevor die Erkennung verfeinert wird.
- Rohdaten-Export am Edge vor dem nächsten Vorfall einschalten und einen Normalwert festhalten. Auf diesem Konto standen Logpull und Logpush nicht zur Verfügung, es gibt nur Schätzungen und Stichproben, und keine Basislinie vor dem Angriff. Beides lässt sich nach dem Vorfall nicht nachholen.
Was das Beweispaket enthielt
Am 28. Oktober entstand ein Beweispaket mit 1.203 Dateien, rund 3,0 GB unkomprimiert, jede mit SHA-256-Prüfsumme und Größe aufgelistet. Das Erfassungsfenster am Edge reichte vom 27. September 08:15:59 UTC bis 28. Oktober 08:29:21 UTC in 466 zusammenhängenden Zeitfenstern, keines gekappt oder fehlgeschlagen, mit 1.963.348 Anfragedatensätzen und 197.837 Sicherheitsereignissen (überlappend, nie addiert). Ein separat gesicherter Stand vom 6. Oktober wurde erneut geprüft: alle 39 ursprünglichen Dateiprüfsummen stimmten überein. Das Paket enthält eine Kurzfassung, eine UTC-Zeitleiste, bei der jeder Eintrag als dokumentiert, vom Betreiber berichtet oder Hypothese gekennzeichnet ist, eine Datei zu Belegtem, Nichtbelegtem und verworfenen Spuren, Verkehrskohorten, Origin-Fehler in Fünf-Minuten-Abschnitten, Konfigurationsstände und das Inventar der Rohdaten. Originale und abgeleitete Dateien sind getrennt, Fehlschläge und verweigerte Zugriffe als Nachweis der Abwesenheit aufbewahrt. Wir erheben keinen Anspruch auf eine zertifizierte forensische Sicherung.