Nieuwe routers BIT worden in gebruik genomen

In de afgelopen maanden heeft BIT zijn core routers vervangen door nieuwe modellen. Door de groei van het internet, niet alleen in bandbreedte maar ook bijvoorbeeld door de omvang van routetabellen, was het nodig om nieuwe modellen te plaatsen die meer capaciteit op het gebied van bandbreedte, rekenkracht en geheugen bieden. BIT gebruikt al zo'n 15 jaar naar volle tevredenheid Juniper routers in zijn core netwerk en dus was het logisch om als vervangende routers nieuwe modellen uit de MX-range van Juniper te kiezen.

In april werden de routers in Londen en Frankfurt al vervangen. Op deze locaties worden er verbindingen gemaakt met LINX en DE-CIX om daar lokaal verkeer uit te wisselen met andere aanwezige netwerken. Ook wordt daar gekoppeld aan transitproviders die ons voorzien van routes naar het gehele internet. Het vervangen van deze twee routers door afgereisde engineers verliep soepel en zonder merkbare hinder voor klanten. Het verkeer werd eerst tijdelijk omgeleid via andere paden waarna de routers vervangen konden worden. De nieuwe routers werden gecontroleerd en volgens een vooraf opgesteld stappenplan in gebruik genomen, waardoor ook dit onmerkbaar voor klanten plaats kon vinden.

Op 17 juni zijn de twee core routers in datacenter BIT-1 en BIT-2 in Ede vervangen. Deze routers zijn de spil in het netwerk van BIT: ze staan in verbinding met de routers in Londen en Frankfurt, hebben aansluitingen op de Amsterdam Internet Exchange (AMS-IX) en Neutral Internet Exchange (NL-ix), hebben ook aansluitingen met transitproviders en zorgen voor toegang tot het access netwerk.

Minimale impact voor klanten

In het access netwerk van BIT worden de diensten aan klanten geleverd. De switches waarop klanten in BIT-1 en BIT-2 aangesloten zijn worden hier uitgekoppeld en diensten van BIT zoals mail en DNS worden hierin gehost. Eigenlijk is het access netwerk dus een verzameling van heel veel kleine netwerken met ieder hun eigen configuraties, en de core routers zijn de gateway voor deze netwerken. Dit maakt het vervangen van deze routers gelijk een stuk complexer dan het vervangen van de routers in Londen en Frankfurt, want uiteraard moet het vervangen met minimale impact voor klanten en diensten plaatsvinden.

Gelukkig zijn deze twee core routers in Ede zo ingericht dat ze elkaars functies kunnen overnemen. Dit voorkomt problemen bij storingen aan één van de routers, maar maakt het ook makkelijker om ze te vervangen. Op 17 juni zijn we daarom kort na middernacht begonnen met het zorgen dat al het verkeer van en naar het access netwerk via de router in BIT-1 ging. Ongeveer een half uur later waren alle controles uitgevoerd en was de router in BIT-2 niet meer actief.  Vervolgens kon deze uit het rack gehaald worden en vervangen worden door de nieuwe router. Het in gebruik nemen van de router is daarna volgens een uitgebreid stappenplan met veel controles uitgevoerd. Ruim een uur na het vervangen was dit afgerond en was de router operationeel. Na nog meer controles uitgevoerd te hebben is hetzelfde plan uitgevoerd op BIT-1. Rond 4.00u was ook deze router vervangen en weer actief, zodat het access netwerk ook weer volledig redundant was. Hierna is nog een serie laatste controles gedaan en zijn gelijk diverse systemen voor administratie, monitoring, statistieken, facturatie en DDoS-detectie aangepast zodat al deze informatie ook weer beschikbaar en up-to-date was.

Niet alleen voor de groei van het internet

Al met al is dit onderhoud zeer succesvol verlopen: de nieuwe routers draaien goed en de overlast voor klanten is tot een minimum beperkt. Bij het uitvoeren van dergelijke migraties is het hebben van goede netwerkdiagrammen, een goed stappenplan en het uitvoeren van goede controles essentieel. Voorafgaand aan iedere vervanging werd eerst gezorgd dat alle relevante informatie (bijvoorbeeld routetabellen, status van BGP sessies, ARP tabellen) opgeslagen werd zodat na iedere stap uit het plan gecontroleerd kon worden of de gevolgen naar verwachting waren. Uiteraard is ook het goed voorbereiden en testen (voor zover mogelijk) van nieuwe configuraties zeer raadzaam.

Het vervangen van de routers heeft niet alleen als voordeel dat het netwerk de groei van het internet verder aankan: de oude core routers in BIT-1 en BIT-2 waren bakbeesten van 12 rack units (50 cm) hoog en wogen zo'n 50 kilogram per stuk. De nieuwe core routers zijn 2.5 rack units (15cm) hoog en wegen minder dan 15 kilogram. De nieuwe routers gebruiken ook ieder 2.5 Ampère (600 Watt) minder. Er wordt met de aanschaf van de nieuwe routers bespaard in het stroomverbruik maar ook hebben we hierdoor veel meer ruimte in onze racks.


Door: Teun Vink