KPN trekt lering uit grote telecomstoring in Rotterdamse Waalhaven

De risicobeheersing bij KPN kan transparanter en de communicatie tussen KPN en de afnemers moet beter. Dit is de belangrijkste conclusie die onderzoekers trekken naar aanleiding van de storing in het telecommunicatieknooppunt van KPN in de Waalhaven te Rotterdam bijna een jaar geleden. De Inspectie Veiligheid en Justitie (VenJ) en het Agentschap Telecom komen overigens ook tot de conclusie dat zowel de betrokken veiligheidsregio’s als KPN voortvarend hebben gereageerd op de storing.

In juli 2011 leidde een nachtelijke storing in het telecommunicatieknooppunt van KPN in de Waalhaven te Rotterdam tot uitval van cruciale verbindingen, waaronder C2000 en het alarmnummer 112. Ook andere sectoren ondervonden hinder van het incident. Zo kon de Rotterdamse metro niet worden opgestart, was de verbinding tussen de meldkamer Zeeland en ziekenhuizen verstoord en konden loodsen in de Rotterdamse haven geen melding ontvangen dat ze aan boord moesten gaan van een schip. Het incident was voor de Inspectie Veiligheid en Justitie en Agentschap Telecom reden een onderzoek in te stellen naar de oorzaak en de aanpak van de storing en naar de maatschappelijke effecten van de uitval.

Met de implementatie van Europese regelgeving in de Telecommunicatiewet is inmiddels wetgeving van kracht geworden die nadere regels stelt aan telecomaanbieders over de continuïteit van hun diensten. Deze wetgeving was op het moment van het incident in de Waalhaven nog niet van kracht en is daarom voor dit onderzoek buiten beschouwing gelaten. Het onderzoek richtte zich dan ook niet op de vraag of wet- of regelgeving is overtreden.

Continuïteitsplan

De onderzoekers concluderen dat zowel de betrokken veiligheidsregio’s als KPN voortvarend hebben gereageerd op de storing. Er zijn snel de juiste maatregelen getroffen. Punten van verbetering liggen vooral op het terrein van de voorbereiding. Met name het thema continuïteitsmanagement in de veiligheidsregio en bij vitale sectoren verdient extra aandacht. Dit thema staat nu nog te veel in de kinderschoenen. Veiligheidsregio’s moeten zich meer bewust worden van de kwetsbare positie van telecommunicatievoorzieningen en de zorg voor een continuïteitsplan. Hoewel het de verantwoordelijkheid van de organisaties zelf blijft om een continuïteitsplan te ontwikkelen zal het ministerie van Veiligheid en Justitie specialisten aanbieden om veiligheidsregio’s te begeleiden op het gebied van continuïteitsmanagement. De KPN-storing in Waalhaven te Rotterdam is volgens de onderzoekers een incident dat aantoont hoe afhankelijk we zijn van telecommunicatiesystemen, hoe groot de gevolgen kunnen zijn bij uitval hiervan en hoe belangrijk continuïteitsmanagement daarbij is.

Feiten

Wat zijn de feiten? In de nacht van 26 op 27 juli 2011 pleegde KPN onderhoud aan het telecomknooppunt in de Waalhaven te Rotterdam. Tijdens dit onderhoud trad een technische storing op in een zogenoemde cross connect. Een cross connect is een belangrijk knooppunt in het netwerk van KPN. Het gevolg was dat 86 zogenoemde C2000-verbindingen en ongeveer 6.200 andere transmissieverbindingen, vooral in gebruik voor telefonie en vaste dataverbindingen, gedurende bijna zeven uren worden verstoord. Let wel: aan deze 6.200 transmissieverbindingen waren ongeveer 200.000 klantaansluitingen verbonden. Het uitvallen van de verbindingen had grote impact op de (vitale) infrastructuur binnen de veiligheidsregio’s Rotterdam-Rijnmond, Zuid-Holland Zuid, Hollands Midden en Zeeland. De storingen troffen onder meer verbindingen van en met banken, de verbinding tussen de meldkamer Zeeland en de ziekenhuizen, de luchtverkeersleiding van Rotterdam The Hague Airport, de metro in Rotterdam en de Rotterdamse haven. Ook automatische brandmelders en particuliere telefoonlijnen werden getroffen door uitval. De regio Zuid-Holland Zuid werd geconfronteerd met storingen in de bereikbaarheid van het alarmnummer 112.

Vitale infrastructuur

Uit de eerste contacten met de veiligheidsregio Rotterdam-Rijnmond komt het beeld naar voren dat door de storing de veiligheid en de dienstverlening binnen de regio sterk negatief is beïnvloed. Het functioneren van onderdelen van de vitale infrastructuur is daarbij in het geding geweest. Het hoofd van de Inspectie VenJ besloot hierop een onderzoek in te stellen naar de uitval, de gevolgen en de risico’s die dit heeft gehad voor het functioneren van de hulpdiensten en andere (publieke) diensten. Omdat het uitvallen van (een deel van de) telecominfrastructuur valt onder het toezicht van Agentschap Telecom, is in overleg met de directeur-hoofdinspecteur van het agentschap besloten om het onderzoek gezamenlijk uit te voeren.

SDH-netwerk

Het telecommunicatienetwerk waarin de storing plaatsvond betreft het landelijke SDH-netwerk van KPN. SDH staat voor synchronous digital hierarchy en is een technologie die in de eerste helft van de jaren negentig is ontwikkeld. KPN zet het SDH-netwerk grotendeels in voor het transport van telefonie. Vaste telefonie is goed voor ongeveer tachtig procent van het verkeersvolume op het SDH-netwerk. Het overige verkeer komt enerzijds voor rekening van smalbanddiensten waaronder C2000, gsm en semafonie en anderzijds voor breedbanddiensten ten behoeve van corporate klanten als banken en overheid. De storing trad op in een zogenaamde cross connect (DXC). Een DXC is in het SDH-netwerk van KPN een knooppunt en opstappunt voor telecommunicatiediensten. Een belangrijke functie van een DXC is het routeren van verbindingen over het netwerk. Een DXC is in staat om verkeer over het netwerk te sturen, van de verzendende aansluiting naar de ontvangende aansluiting en terug.

Dubbel uitgevoerd

Een DXC is dubbel uitgevoerd en bestaat uit twee identieke delen. Elk deel bevat een aantal componenten of kaarten. De voor dit incident meest relevante componenten zijn de matrix, de klokkaart en de voeding. Door de dubbele uitvoering kan de functie van een actieve component op ieder moment worden overgenomen door de passief meedraaiende component en terug. In geval van een storing of onderhoudswerkzaamheden kan geschakeld worden tussen de actieve en de passieve componenten. Hiermee wordt voorkomen dat er een onderbreking plaatsvindt in het telecommunicatieverkeer. Hoewel deze dubbele uitvoering zorgt voor grotere betrouwbaarheid, hebben diverse kaarten ook onderling afhankelijkheden. Op een DXC kan een groot aantal verbindingen worden aangesloten. Het onderling koppelen van de verbindingen vindt plaats in een matrix, het verkeersplein van de DXC. Om het combineren van de verkeersstromen correct te laten plaatsvinden, is synchronisatie tussen de verkeersstromen vereist. Om de verschillende verkeersstromen op elkaar te laten aansluiten is een klok nodig met een zeer stabiel signaal. Dit kloksignaal wordt opgewekt in een zogenoemde klokkaart. Een DXC heeft elektriciteit (voeding) nodig om te kunnen functioneren. De voeding zorgt ervoor dat de binnenkomende spanning wordt teruggebracht naar een voor de componenten geschikte spanningswaarde.

Maatschappelijk belang

Gezien de grote gevolgen die uitval heeft, is de continuïteit van telecomdiensten van groot maatschappelijk belang. De samenleving mag daarom van KPN verwachten dat zij inspanningen verricht om uitval te voorkomen en bij incidenten effectief optreedt om uitval snel te verhelpen. Dit geldt voor de diensten van KPN in het algemeen, maar in het bijzonder voor het SDH-netwerk, waarvan veel vitale organisaties en dienstverleners afhankelijk zijn. Van de afnemers van de diensten van KPN mag worden verwacht dat zij zich realiseren, dat (gedeeltelijke) uitval van systemen mogelijk is en dat zij zich hierop voorbereiden. Onder vitale organisaties werden in het kader van dit onderzoek verstaan: de betrokken veiligheidsregio’s (Rotterdam-Rijnmond, Zuid-Holland Zuid, Hollands Midden en Zeeland), het Rotterdamse vervoersbedrijf RET, de Luchtverkeersleiding Nederland, de Luchthaven Rotterdam The Hague Airport en het Havenbedrijf Rotterdam, de waterleidingbedrijven Evides en Oasen, het Waterschap Hollandse Delta en het Hoogheemraadschap Schieland en Krimpenerwaard.

Aanbevelingen

Op basis van het onderzoek doen Agentschap Telecom en de Inspectie VenJ een aantal aanbevelingen aan de betrokken partijen:

Aan KPN:

  • Leg de rekenmethoden achter de SLA-afspraken helder vast en deel deze met afnemers.
  • Verkrijg inzicht in de toepassingen waarvoor klanten hun verbinding inzetten, zodat de prioriteiten van klanten beter inzichtelijk worden.
  • Verbeter de koppeling tussen klantgegevens en verbindingsgegevens, zodat de impact van verstoringen sneller bepaald kan worden en bij het herstel rekening kan worden gehouden met de prioriteiten van klanten.
  • Houd rekening met volledige en langdurige uitval van systemen en werk noodscenario’s hiervoor uit.
  • Neem alle passende, technische en organisatorische maatregelen om uitval in de andere 88 DXC’s te voorkomen, waaronder - indien nodig - het preventief vervangen van (onderdelen van) klokkaarten.
  • Informeer de veiligheidsregio’s en andere vitale organisaties vooraf over onderhoudswerkzaamheden waarbij risico’s bestaan voor het uitvallen van cruciale systemen.

Aan de besturen van de veiligheidsregio’s en de andere vitale organisaties:

  • Wees u bewust van de kwetsbare positie van uw organisatie waar het gaat om de telecommunicatievoorzieningen. Ondanks een hoog SLA is (totale) uitval een reëel risico.
  • Stel vast welke mate van uitval van het telecommunicatienetwerk acceptabel is, ervan uitgaande dat 100 procent zekerheid niet bestaat.
  • Inventariseer welke alternatieve vormen van telecommunicatie geschikt zijn om bij (gedeeltelijke) uitval in de communicatiebehoefte te voorzien.
  • Zorg voor een continuïteitsplan waarin, mede op basis van het risicoprofiel, aan de hand van crisisscenario’s staat beschreven op welke manier cruciale processen doorgang kunnen vinden.
  • Beoefen het scenario waarbij sprake is van (gedeeltelijke) uitval van communicatievoorzieningen.
  • Maak voor een optimale doorgang van de communicatie (ook tijdens crisisomstandigheden) afdoende afspraken met de aanbieders van telecommunicatievoorzieningen.
  • Maak afspraken met KPN over het tevoren geïnformeerd worden over onderhoudswerkzaamheden, waarbij risico’s bestaan voor het uitvallen van cruciale systemen.
  • Verleen inzicht in de toepassingen waarvoor verbindingen worden ingezet, zodat gezamenlijk met KPN een rangorde van verbindingen bepaald kan worden.
  • Stel u op de hoogte van de rekenmethoden van SLA-afspraken en kies voor cruciale verbindingen een SLA van voldoende hoog niveau.

Aan de minister van Defensie en de minister van Veiligheid en Justitie:

  • Draag er zorg voor dat IVENT en de vtsPN zich in geval van een storing nadrukkelijk als klant namens de veiligheidsregio’s naar KPN toe manifesteren.

Knelpunten

KPN heeft kennisgenomen van de aanbevelingen van het rapport Storing telecommunicatienetwerk Waalhaven Rotterdam. KPN heeft bovendien medewerking verleend aan dit onderzoek en herkent de geadresseerde knelpunten. Na het incident heeft KPN zelf een intern onderzoek uitgevoerd dat heeft geleid tot verschillende maatregelen die overeenkomen met de door de inspectie aanbevolen acties. Deze maatregelen betreffen operationele verbeteringen alsook de communicatie bij storingen. Op het operationele vlak zijn alle knooppunten in het netwerk doorgelicht en onderdelen vervangen, dan wel op sommige punten uitgebreid. Concreet heeft KPN inmiddels een informatiesysteem ontwikkeld dat bij een vergelijkbare verstoring direct informatie geeft over de getroffen klanten en diensten, zodat KPN bij incidenten snel kan communiceren naar deze klanten.

SLA’s

Voor de specifieke problematiek met betrekking tot knooppunten in het netwerk, zoals die in de Waalhaven, de zogenoemde cross connects, heeft KPN in het afgelopen jaar maatregelen genomen ter voorkoming van uitval. Zo zijn met KPN’s leveranciers de 88 cross connects doorgelicht. Daarbij is een aantal zogenoemde klokkaarten vervangen en zijn op sommige punten extra cross connects geplaatst, zodat het netwerk robuuster is gemaakt voor verstoringen in individuele knooppunten. KPN heeft ook de communicatie naar het publiek naar aanleiding van dit incident op een nieuwe leest geschoeid. KPN zal bij een incident zo snel mogelijk communiceren naar klanten en het publiek. Daarnaast geven de onderzoekers aan dat in het geval van diensten ten behoeve van zakelijke klanten het van groot belang is dat KPN en zijn klanten zich realiseren wat zij afspreken ten aanzien van de beschikbaarheid van diensten. KPN zal in de zogeheten service level agreements (SLA’s) aangeven wat de beschikbaarheidsnormen betekenen bij levering van diensten. De onderzoekers wijzen erop dat ook de gebruiker van verbindingen zich hiervan bewust dient te zijn bij de inkoopbeslissing. Tot slot maken de onderzoekers gewag van betere informatie naar veiligheidsregio’s vanuit KPN. KPN zal dit via de gebruikelijke kanalen doen: via de organisatie Voorziening tot Samenwerking Politie Nederland (VtSPN).

Impact

De impact van het incident in de Rotterdamse Waalhaven bestreek een groot geografisch gebied; er werden zelfs verbindingen getroffen in Groningen en Limburg.

 

Telecomdiensten spelen een belangrijke rol in het maatschappelijk verkeer. De samenleving mag daarom van elke grote telecomaanbieder verwachten dat deze zich als een goed ‘huisvader’ gedraagt en de nodige inspanningen verricht om uitval te voorkomen en bij incidenten effectief optreedt om uitval snel te verhelpen. BTG heeft onlangs een speciale werkgroep Disaster Recovery opgericht. In deze projectgroep staat het begrip bedrijfscontinuïteit centraal. Deelnemers zullen gezamenlijk zoeken naar mogelijke oplossingen voor majeure en kleinere verstoringen in de netwerken van van telecom- en internetproviders. Mogelijke onderwerpen: uitwijkcentra, national roaming, noodnet et cetera. BTG-leden kunnen zich hier aanmelden voor deze werkgroep.

BTG: Verbinding, verbreding en verdieping

Branchevereniging ICT en Telecommunicatie Grootgebruikers (BTG) behartigt de belangen van Nederlandse bedrijven en instellingen door kennis over te dragen en ervaringen uit te wisselen o.a. tijdens events

BTG in beeld en geluid

Expertsessies

  • Geen evenementen
  • Magazine

    BTG in Business - Voorjaar 2022
    Lees de laatste editie

    Meld je aan voor onze nieuwsbrief!

    Op de hoogte blijven van evenementen en het laatste nieuws? Schrijf je dan nu in voor onze nieuwsbrief.
    • Dit veld is bedoeld voor validatiedoeleinden en moet niet worden gewijzigd.