There was a problem loading the comments.

(Opgelost) Netwerkstoring

Support Portal  »  Announcements  »  Viewing Article

  Print
Vanmorgen hebben we tussen 8.10 en 9.45 een storing gehad in ons netwerk.

RFO
8:30: We constateren dat een groot gedeelte van onze diensten niet bereikbaar waren. Direct is er onderzocht waar het probleem lag. Wat opviel is dat beide locaties (BIT-1 en BIT-2) wel bereikbaar waren vanaf een aantal plekken op het internet, maar dat BIT-1 en BIT-2 elkaar niet konden bereiken.
De symptomen leken op de symptomen van de storing aan het OpenPeering netwerk vorige week, waardoor we even op het verkeerde been stonden. Na de constatering dat BIT-1 en BIT-2 elkaar niet konden bereiken zijn we direct naar het datacenter gereden.

8.45: Aangekomen in het datacenter blijkt dat een van de switches uitstaat. De oorzaak zal hoogstwaarschijnlijk de voeding zijn. Een poging om de switch uit- en weer inschakelen van de switch geeft geen solaas.
De switch in kwestie verzorgt naast de connectivity van een heel aantal servers ook de verbinding tussen BIT-1 en BIT-2. Doordat deze verbinding wegviel ontstond een zogenaamde ‘split-brain’-situatie. Beide locaties (BIT-1 en BIT-2) ‘werken’ op zich, maar trekken beide verkeer naar zich toe waar ze vervolgens niet helemaal mee uit de voeten kunnen. Op verzoek van Tuxis zijn de verbindingen op BIT-1 verbroken om de split-brain situatie te stoppen. Een gedeelte van de diensten op BIT-2 is toen weer gaan functioneren.

8.55: De enige oplossing: De switch moet vervangen worden. Een grote bundel kabels moet ook na de vervanging weer op de juiste plek aangesloten worden. Terwijl Ronald aan de slag gaat met het fysiek vervangen van de switch, begint Mark met het overnemen van de configuratie op de nieuwe switch.

10.00: Het gros van de poorten is weer actief en functioneert weer naar behoren. Wij verplaatsen ons naar kantoor om de configuratie helemaal af te ronden en te controleren of alles weer naar behoren functioneert.

Vragen die u wellicht hebt

  • Waarom geeft het wegvallen van een switch zo’n groot probleem? Bij het opzetten van het netwerk is een kosten-baten analyse gemaakt op basis van risico’s en de gevolgen van calamiteiten. Voor deze situatie is besloten een extra switch op voorraad te hebben (Cold Standby) die in geval van problemen ingezet kan worden. We kunnen constateren dat dit volgens planning gefunctioneert heeft. Binnen 2 uur was alles weer operationeel.
  • Zijn mijn servers herstart? Nee. Een gedeelte van de machines is welliswaar zijn opslag even ‘kwijt’ geweest, maar dat heeft geen gevolgen gehad voor de werking van de servers. Nadat de storage weer terugkwam is alles weer gaan functioneren.
  • Wat hebben jullie hiervan geleerd?
    • We zijn in staat om snel te analyseren wat het probleem is en daarop snel te acteren. De geplande oplossing voor dit specifieke probleem voldeed.
    • De split-brain situatie heeft meer kapot gemaakt dan nodig was. We gaan onderzoeken hoe we dit beter op kunnen lossen zodat klanten die op twee locaties diensten afnemen geen problemen ondervinden als zich op een van de twee locaties een dergelijke storing voordoet.
    • We zijn blij dat we een datacenter buiten de randstad en in de buurt van ons kantoor hebben. De aanrijtijd van 5 minuten is een grote bijdrage aan de snelle oplostijd van deze storing.

Share via
Did you find this article useful?  

Related Articles

© Tuxis B.V.