2026062462001449 (2026-06-24 19:57:23): Emergency Maintenance - Sweden / MalmöPriority:
Description:
Dear Customer,
We have been informed by our upstream supplier that emergency maintenance is required to reboot and/or replace network equipment in Amsterdam in order to resolve an ongoing issue with customer impact.
Maintenance window:
2026-06-25 06:00 - 08:00 Swedish local time
Expected impact:
During the maintenance window, all Openfactory customers connected in Sweden / Malmö may experience an outage. Peering on SONIX Malmö may also be impacted.
We currently expect one interruption of up to 45 minutes. After the maintenance, routing should reconverge automatically. Customers outside Sweden / Malmö are not expected to be affected.
We apologise for the short notice and for any inconvenience caused.
Best regards,
Openfactory NOC
2026062362002806 (2026-06-23 18:48:17): Netzwerkstörung InterXion Zürich | Network incident at InterXion ZurichPriority:
Description:
Deutsch
RFO: Netzwerkstörung InterXion Zürich
Am 23. Juni 2026 kam es zwischen 17:42 und 18:33 CEST zu einer Netzwerkstörung an unserem Standort InterXion Zürich.
Auslöser war eine Änderung an einer LACP-Konfiguration auf einem Coreswitch. Nach aktueller Analyse führte diese Änderung dazu, dass bestimmte Weiterleitungsfunktionen nicht mehr wie erwartet in Hardware verarbeitet wurden. Dadurch kam es zu Software-Switching, stark erhöhter Last auf der Control Plane und in der Folge zu massivem Packet Loss sowie wiederholtem Flapping.
Parallel dazu ist auf dem angeschlossenen Core-Router der OSPF-Daemon abgestürzt. Wir gehen derzeit davon aus, dass dies durch das starke Flapping beziehungsweise durch einen dadurch ausgelösten Softwarefehler begünstigt wurde.
Zur Wiederherstellung wurden sowohl der betroffene Coreswitch als auch der angeschlossene Core-Router neu gestartet. Nach dem Reboot beider Systeme stabilisierte sich die Plattform wieder. Die meisten Services waren bis 18:33 CEST wiederhergestellt. Einzelne Dienste benötigten aufgrund von Abhängigkeiten beim Hochfahren etwas länger, bis sie vollständig wieder verfügbar waren.
Wir analysieren den Ablauf intern weiter und werden unsere Change- und Validierungsprozesse für LACP-Änderungen entsprechend schärfen, insbesondere im Hinblick auf Hardware-Offloading, Flapping-Verhalten und Stabilität der Control Plane unter Last.
Wir entschuldigen uns für die entstandenen Unannehmlichkeiten.
English
RFO: Network incident at InterXion Zurich
On 23 June 2026, we experienced a network incident at our InterXion Zurich site between 17:42 and 18:33 CEST.
The incident was triggered by a change to an LACP configuration on a core switch. Based on the current analysis, this change caused certain forwarding functions to no longer be processed in hardware as expected. This resulted in software switching, significantly increased control plane load, substantial packet loss, and repeated interface or protocol flapping.
At the same time, the OSPF daemon on the attached core router crashed. We currently believe this was likely triggered or amplified by the heavy flapping and a related software issue.
To restore service, both the affected core switch and the connected core router were rebooted. After both devices came back online, the platform stabilised again. Most services had recovered by 18:33 CEST. Some services required additional time to become fully available due to startup dependencies.
We are continuing our internal review and will improve our change and validation procedures for LACP-related work, especially regarding hardware offloading, flapping behaviour, and control plane stability under load.
We apologise for the inconvenience caused.
Updates
2026-06-23 19:01:05
Update:
Alle überwachten und teilüberwachten Services werden aktuell wieder als grün
angezeigt. Die Plattform ist stabil und wir sehen derzeit keine weiteren
Auswirkungen.
Wir betrachten die Störung daher als behoben und schliessen die öffentliche
Incident-Meldung. Die interne Analyse der Ursache und des betroffenen
Change-Prozesses läuft separat weiter.
Update:
All monitored and partially monitored services are currently showing as green
again. The platform remains stable and we do not see any further impact at
this time.
We therefore consider the incident resolved and will close the public incident
notice. Our internal review of the root cause and the related change process
will continue separately.
