Grote brand vernietigt Europa's grootste hostingprovider OVH

l.oosterhoff

Addicted Member
Special Friend
Lid sinds
10 feb 2001
Berichten
5.612
Waarderingsscore
45
Punten
48
Leeftijd
60
Locatie
nijega
hoi,

Datacenter SBG2 en delen van SBG1 zijn afgebrand, medewerkers zijn in veiligheid, talloze klanten zijn getroffen

Woensdagavond werd OVH Cloud getroffen door een grote brand die ernstige schade veroorzaakte. Het incident werd via Twitter gedocumenteerd door de oprichter en CEO van het bedrijf, Octave Klaba. OVH is de grootste hostingprovider in Europa en een van de belangrijkste providers wereldwijd achter de industriereuzen Amazon AWS, Microsoft Azure en Google Cloud.

De vier datacentra in Straatsburg, Frankrijk, werden getroffen. Om nog onduidelijke redenen trof de brand eerst het datacenter van SBG2. Volgens Klaba was de brandweer direct ter plaatse om de brand te bestrijden. Uiteindelijk wisten de vlammen van SBG2 echter delen van de aangrenzende SBG1 volledig te vernielen. Alle medewerkers kwamen echter in veiligheid. Woensdag om 07.20 uur meldde Klaba dat de brand was geblust.

Gebruikers en operators van servers in de datacenters van OVH waren en worden nog steeds getroffen, zelfs als hun gegevens niet in SBG1 of SBG2 staan. Omdat deze moesten worden geïsoleerd van het netwerk. SBG3 en SBG4 bleven het vuur gespaard, maar moesten worden uitgeschakeld.

Er worden momenteel plannen gemaakt om SBG3, SBG4 en mogelijk delen van SBG1 weer online te brengen. De eerste servers gaan op zijn vroegst donderdag weer in bedrijf. Binnenkort start ook de inspectie van de schade in SBG1. (gpi, 10 maart 2021)
 

Black Tiger

Addicted Member
Administrator
Moderator
Lid sinds
8 feb 2001
Berichten
31.927
Waarderingsscore
109
Punten
63
Leeftijd
57
Locatie
State Penitentiary
Toch is dit vreemd. Je zou verwachten dat zo'n groot datacenter toch ook optimale automatische brandbestrijding heeft, bijv. stikstof of zoiets.
Maar dat zo'n heel centrum kan afbranden is wel apart.
Ben echt benieuwd wat uiteindelijk de oorzaak is geweest.
 

the matrix

Addicted Member
Special Friend
Donateur
Lid sinds
28 okt 2007
Berichten
6.420
Waarderingsscore
90
Punten
48
Leeftijd
71
Locatie
Almelo
Nou dat is link om stikstof ter plekke te hebben.
Binnen enkele tellen ben je zo dood als een pier bij verkeerd gebruik.

Op mijn werk destijds functioneerde een rontgenapparaat ook op vloeibare stikstof. Bij het vullen van het vat moest dit buitenshuis gebeuren zou je dit in een meethok met deur dicht doen en je laat een thermoskan met 1 liter stikstof vallen. , je haalt de deur niet meer en je stikt in no time.
 

MAS3

Addicted Member
Special Friend
Lid sinds
28 dec 2002
Berichten
1.174
Waarderingsscore
3
Punten
38
Zulke blussystemen (ook met andere gassen die zuurstof verdringen) bestaan inderdaad hoor.
Ik ken ze van machinekamers waar grote dieselmotoren staan, die in de buurt staan van grote voorraden mogelijk brandbare en/of explosieve stoffen.
Wanneer in zo'n ruimte de sirene en/of zwaailicht (omdat je die sirene mogelijk niet hoort) gaat, heb je 10 seconden om er uit te komen (vrijwel onmogelijk), waarna dat gas heel snel de ruimte zal vullen.
1 voordeel: je hoeft dan niet bang te zijn voor een pijnlijke verbrandingsdood.
 

Nummer10

Addicted Member
Special Friend
Donateur
Lid sinds
16 aug 2003
Berichten
3.843
Waarderingsscore
10
Punten
38
Leeftijd
53
Locatie
Ridderkerk
Ik heb een linkje van het bedrijf waar mijn buurman in het verleden importeur voor was.
Geen reclame maar de uitleg van het product en waarom het niet schadelijk is.

 

Black Tiger

Addicted Member
Administrator
Moderator
Lid sinds
8 feb 2001
Berichten
31.927
Waarderingsscore
109
Punten
63
Leeftijd
57
Locatie
State Penitentiary
Kijk ik bedoel maar. Want het was me wel bekend dat er goede blussystemen voorhanden waren voor speciale ruimtes. Ook met zuurstof verdringende gasten zoals Mas3 al bevestigde, maar ook zoiets als dit inderdaad.

Ik vond het volgende nog in een artikel over een vermoedelijke brand in het Google datacenter in Groningen, komt van rtvnoord:
'Om brand toch op tijd te ontdekken kan een speciaal 'aspiratiedetectiesysteem' worden gebruikt. Dat neemt continu monsters van de lucht. Zodra dit systeem vuur ontdekt, wordt de airconditioning uitgezet. Na een tweede controle start het blussen met gassen die niet schadelijk zijn voor het milieu', aldus Channelconnect.

Praktijkvoorbeeld​

Hoe werkt dat blussen met gassen in de praktijk? Wido Potters van BIT, dat drie datacenters beheert, vertelt dat zeer gedetailleerd op ISP Today, een platform voor professionals uit de internetsector.

Om te beginnen gaat een alarm af in de ruimte waar de brand is ontdekt. De aanwezige mensen hebben vervolgens dertig seconden om weg te komen. Daarna worden automatisch de gasflessen geleegd. 'Dat duurt minder dan een minuut', vertelt Potters.
 

l.oosterhoff

Addicted Member
Special Friend
Lid sinds
10 feb 2001
Berichten
5.612
Waarderingsscore
45
Punten
48
Leeftijd
60
Locatie
nijega
hoi,

De brand heeft het datacenter SBG 2 volledig verwoest, SBG 3 gedeeltelijk.
SBG 2 huisvestte echter ook de centrale stroomvoorziening en aansluiting op het backbone-netwerk voor SBG 1, 3 en 4.
De brand vernietigde ook de back-upverbindingen naar het stroom- en glasvezelnetwerk,
daarom blijven veel servers dagenlang onbereikbaar, ook al worden ze fysiek niet getroffen door de brand.
En klanten die hun backups op servers hebben staan die niet door de brand zijn vernield, maar door de gevolgen nog steeds niet bereikbaar zijn, hebben nu een reëel probleem.
Zonder naar de back-ups te gaan, kunt u geen noodsysteem aan de gang krijgen.
Alleen het vijfde datacenter in Straatsburg is geheel onbeschadigd en blijft draaien omdat het op een andere locatie is gevestigd.

hierbij nog wat foto`s van het gebeuren
OVH Rechenzentrum Feuer in Straßburg
OVH Rechenzentrum Feuer in Straßburg
OVH Rechenzentrum Feuer in Straßburg
OVH Rechenzentrum Feuer in Straßburg
OVH Rechenzentrum Feuer in Straßburg
 

l.oosterhoff

Addicted Member
Special Friend
Lid sinds
10 feb 2001
Berichten
5.612
Waarderingsscore
45
Punten
48
Leeftijd
60
Locatie
nijega
hoi,

Stroomvoorziening onder verdenking
Wat het echte waarom betreft, geeft Klaba een eerste beschrijving van wat er ter plaatse is gebeurd. Dienovereenkomstig ging er 's nachts een alarm af. De eerste mensen of brandweerlieden die ter plaatse waren, moesten echter de SBG2 verlaten vanwege een grote hoeveelheid rook. Het was echter mogelijk om foto's te maken met een thermische camera en deze toonden aan dat twee eenheden die verantwoordelijk waren voor de ononderbroken stroomvoorziening (UPS) brandden of de oorzaak zouden kunnen zijn.

Vooral de UPS met het nummer 7 wordt verdacht. Omdat dit volgens Klaba de dag ervoor was geserviced en ook veel onderdelen zijn vervangen, aldus de OVH-baas. Maar op dit moment kan er niet meer over gezegd worden. De komende dagen zullen opnames van bewakingscamera's worden geëvalueerd, waarvan er in totaal ongeveer 300 in de datacenters in Straatsburg zijn.

Om veiligheidsredenen zijn alle datacenters gesloten en dat zullen ze in ieder geval vandaag blijven. De brand is inmiddels gedoofd, maar de brandweer is daar nog aan het werk omdat de gebouwen nog gekoeld moeten worden. De technici kunnen het pand of de getroffen serverruimtes niet betreden. Klaba: "We hebben geen toegang tot de locatie. Daarom worden SBG1, SBG3, SBG4 vandaag niet herstart."

Volgens Bleeping Computer, zijn iniedergeval het beveiligingsbedrijf Bad Packets, de schaakserverprovider Lichess.org, het cryptocurrency-handelsplatform Deribit, de encryptietool VeraCrypt, eeNews Europe en nog veel meer getroffen.

https://www.bleepingcomputer.com/ne...nter-burns-down-knocking-major-sites-offline/

OVH Rechenzentrum Feuer in Straßburg
 

Black Tiger

Addicted Member
Administrator
Moderator
Lid sinds
8 feb 2001
Berichten
31.927
Waarderingsscore
109
Punten
63
Leeftijd
57
Locatie
State Penitentiary
Wow, echt heftig als je dat zo ziet.
Zo'n UPS systeem zou inderdaad een oorzaak kunnen zijn, toch blijft het vreemd dat anti brandvoorzieningen niet tijdig ingesprongen zijn, onvoldoende gewerkt hebben of misschien zelfs niet aanwezig waren.
Daar zijn we dus echt naar benieuwd.
Maar deze nieuwe informatie en de foto's zijn zeker weer interessant, waarvoor dank!
 

MAS3

Addicted Member
Special Friend
Lid sinds
28 dec 2002
Berichten
1.174
Waarderingsscore
3
Punten
38
Het ligt er aan welke accutechnieken er in deze UPS systemen zitten.
Probleem bij moderne accu's zoals die ook in e-auto's zitten, is dat de accu een gesloten systeem is dat alles wat nodig is voor een zeer felle brand al bevat.
Dat is dus inclusief de benodigde zuurstof.
Dat is ook de reden waarom een brand in een e-auto niet met conventionele middelen geblust kan worden en de auto daarom in een container met water word gezet zodat de brand zich alleen tot de auto zal beperken.
Dus ook in dat bad zal de brand door woeden tot de brandstof op is.
Het data center even in een bak water zetten is wat lastiger en het zal de servers ook niet gaan redden.
Blussen met gassen of meer conventionele middelen zal dan dus ook niet werken.
UPS in meerdere gebouwen (redundantie) buiten / naast het servergebouw zelf zal wel helpen maar is een stuk kostbaarder om te realiseren.
 

Black Tiger

Addicted Member
Administrator
Moderator
Lid sinds
8 feb 2001
Berichten
31.927
Waarderingsscore
109
Punten
63
Leeftijd
57
Locatie
State Penitentiary
Nu je het zegt... schiet me in een keer te binnen dat wij de modelbouw met Lipo accu's werken en dat ik die techniek ook vaker zag verschijnen in andere apparatuur.
Nu is me niet met zekerheid bekend of dat soort accu's ook in UPS systemen zitten, maar als dat wel het geval is, dan kan dat zelfs niet eens met water geblust worden want dan gaat het harder branden. Wij kregen ook altijd het advies bij de modelbouw om de accu's in een speciale zak te laden en als ze zouden ontbranden er zeker geen water op te gooien maar als het kon liefst een emmer zand of grond.

Net zoals je zegt kun je een datacenter niet even in een gesloten bak met water zetten. Maar ik ga er toch wel van uit dat ze toch wel spul hebben waarmee het uit kan. Zij het dan evt. met schade aan de nabije servers. Maar liever een klein deel stuk en brand uit, dan iets wat nu plaats heeft gevonden.

Overigens gezien de non-service (zonder sla contract) van OVH die wij daar ervaren hebben, had ik niet verwacht dat er daar zo'n grote bekende bedrijven zouden zitten.
 

l.oosterhoff

Addicted Member
Special Friend
Lid sinds
10 feb 2001
Berichten
5.612
Waarderingsscore
45
Punten
48
Leeftijd
60
Locatie
nijega
hoi,

even een kleine update

3,6 miljoen websites offline gehaald na brand in OVH-datacentra

Websites die tijdens de brand offline gingen, waren onder meer online banken, webmaildiensten, nieuwssites, online winkels
die PBM's verkopen om te beschermen tegen coronavirus, en de overheidswebsites van verschillende landen.

OVH heeft een update gepubliceerd over zijn Fire at Our Strasbourg Site-pagina, en een incidentrapport suggereert dat het twee weken
kan duren om een deel van de vernietigde infrastructuur opnieuw op te bouwen.

https://www.ovh.ie/news/press/cpl1786.fire-our-strasbourg-site

http://travaux.ovh.net/?do=details&id=49484
 



Hosting Fun

Bovenaan Onderaan