Netwerkstoring

Urgentie: ongepland
Getroffen diensten: BIT netwerk, monitoring, DNS
Verwachte impact: Verstoring IPv6 verkeer voor specifieke netwerken binnen BIT
Klantactie vereist: Nee
Referentienummer: 200512

Samenvatting:

Op 2 steptember omstreeks 23.45 is er een netstoringstoring ontstaan, waardoor specifiek IPv6 verkeer voor een aantal netwerken niet meer werkte. Dit probleem werd om 1.35u hersteld door netwerk engineers van BIT.

Details:

De storing is beperkt gebleven tot IPv6 verkeer en enkele netwerken waaronder een netwerk met veel virtuele machines van klanten, en diverse diensten van BIT waaronder DNS en monitoring.

De storing begon door een configuratiewijziging voorafgaand aan onderhoudswerkzaamheden van een leverancier. Dit is een standaard wijziging die vaker gemaakt wordt bij dergelijk onderhoud en die niet gerelateerd is aan de gevolgen die gezien werden, maar dit keer leek deze een probleem te veroorzaken waardoor twee routers die voor genoemde netwerken de gateway zijn allebei voor IPv6 het master adres (in VRRP) probeerden te zijn, in plaats van dat slechts één van de twee dat is. Als gevolg daarvan konden IPv6 hosts in deze netwerken de rest van het BIT-netwerk en ook het internet niet meer bereiken. IPv4 verkeer werd niet verstoord.

Engineers hebben deze inconsistentie in VRRP state tussen de twee routers handmatig hersteld waarna de netwerken weer bereikbaar werden en diensten herstelden.

Omdat ook monitoring servers van BIT in een van de getroffen netwerken zitten is het mogelijk dat klanten alarmen ontvangen hebben over beschikbaarheid van hun diensten ondanks dat deze diensten deze wél bereikbaar waren.

Er wordt een case bij de leverancier van deze routers geopend om dit verder te onderzoeken en herhaling in de toekomst te voorkomen.