fusa.be down ?

[ubremoved_539]

Het subject zegt het allemaal...

[meon]

't is nog wat erger:

Twitter: http://twitter.com/fusanoc/status/378503237780791297

[Roygenz]

WIj zitten in DCO2 met onze servers, alles ligt er ook uit. Vermoedelijk een stroompanne. Zelfs dcoostkamp.be is down...

[krisken]

http://noc.fusa.be/?DC=DCO

Mijn server (in DCO) is ook offline. Zal vermoedelijk een netwerkprobleem zijn.
Wil je Tim dringend bereiken oid? Stuur even een PM dan, dan stuur ik je zijn bedrijfsnummer wel.
PS : is inderdaad datacenterprobleem : enkele klanten van DCO (concurrenten van Tim zeg maar) liggen er ook uit

[Roygenz]

Kan maar stroomissue zijn. Wij nemen alles af bij Destiny.

[krisken]

Andere racks zijn nog online zie ik, racks die wel zelf bgp doen (waarvan we weten)
www.merelbeke.be is ook down

[Tim.Bracquez]

Jep datacenter gebeld, algemeen probleem, ze laten zo weten wat er gaande is. Ik update hier en op twitter

[Roygenz]

We hebben terug stroom & contact met onze servers, ziet er naar uit dat het bijna terug ok is

Edit: wij zijn terug online, ziet er naar uit dat de stroom op de A feed was weggevallen.

[Tim.Bracquez]

Stroom issue dus.

[krisken]

Twitter: https://twitter.com/dcoostkamp/status/378509483183337473

[billeman]

Allee vooruit, mijne server zit dus op A-Feed. Dat weten we dus ook al

[Splitter]

chanceke dat hij op de A-feed zit, of hij werkt alleen maar als er stroom issues zijn

[gunmaster]

@Splitter

Euh, normaal heb je toch een A en een B feed?
Die staan toch (hopelijk) op alle momenten onder spanning.
Normaal beide vanaf een ander distributie netwerk (wat wel niet in België bestaat).

Ma bon, normaal staan onder beide feeds toch backups (groepen, ups'en)?
Zo heb ik datacenter architectuur toch verstaan

[Splitter]

ja goed, en ik weet ook niet gelijk hoe de A en B feeds zijn in DCO,
maar je hebt toch vaak voor dat A de buitentoevoer is (stroomnet) en B is ups/generatoren.
ik stel me voor dat die ups enkel zal draaien en generatoren inschakelen van zodra er een probleem is met de A feed, nee?

kan natuurlijk dat beide feeds live zijn (why not, natuurlijk) en backupped zijn (euh... alhoewel een stroompanne dan in theorie niet zou mogen kunnen ? )

mss dat tim of krisken (of een andere dco2 gebruiker) dit met zekerheid kan zeggen hoe de A+B feeds ginds zijn ingesteld?

[Roygenz]

Op zowel de A als de B feed zit er constant stroom hoor, die zijn gewoon volledig gescheiden.

[Kenw00t]

Hoe moeten we dit dan interpreteren? Diegene die down gegaan zijn hadden hun hardware enkel op de A-feed aangesloten ipv redundant te werken? Of is hier meer loos?

[Splitter]

dan vraag ik me af hoe ze down gegaan zijn?

als zowel A en B feed live zijn, en beide backup hebben....
hoe krijg je dan een stroompanne?

als bv enkel A live is en B enkel tot backup dient, kan ik dat snappen (niet aangesloten op B feed, of ups dat niet in gang schiet),
maar met beide feeds live (en, mag ik hopen, backed up) kan dit in principe dan toch niet?

[Roygenz]

Het was enkel de A feed die down was. Onze servers met dubbele voeding zijn blijven draaien tijdens de panne, ook 1 v/d 2 firewalls die op de B feed zat (in HA) bleef up. Enkel zijn onze switches nog met een enkele voeding waardoor we de connectie verloren.

[Splitter]

kijk, dankje dat is een veel mooiere uitleg dan "stroompanne"

ik vroeg me al af waar die datacenter issues bleven dit jaar, heb voor een keer eens weinig datacenter problemen gehoord...
enfin, buiten dat hele scarlet datacenter gedoe dan alweer

[gunmaster]

In België heb je toch maar 1 net dus je feeds kunnen nooit volledig gescheiden zijn want ze komen beide van hetzelfde net.

Wat er mij lijkt dat er gebeurt is dat de stroom uitviel en de backup (ups) op feed A gewoon niet werkte, terwijl die van feed B dat wel deed.

[Tim.Bracquez]

De feeds zijn in DCO redundant opgesteld. Dus N+1, wat niet in elk datacenter zo is. Dit wordt door een switchboard geschakeld tussen het net, en de UPS met hierachter de generatoren.

Vandaag is er een kortsluiting geweest bij een andere klant in DCO welke een ketting reactie heeft veroorzaakt tot op het switchboard. Dit is vervangen geweest door de leverancier (nu net) en er zijn nieuwe onderdelen ingezet welke dit probleem zouden moeten oplossen.

[krisken]

Het was enkel de A feed die down was. Onze servers met dubbele voeding zijn blijven draaien tijdens de panne, ook 1 v/d 2 firewalls die op de B feed zat (in HA) bleef up. Enkel zijn onze switches nog met een enkele voeding waardoor we de connectie verloren.

Als je spreekt over HA dan zit je op het eerste of tweede verdiep?
Op het gelijkvloers is dit namelijk volledig anders, Tim zal hierrond een concrete uitleg nog geven (zie hierboven // edit).

[Tomsworld]

Kan altijd gebeuren, maar het feit dat de 2e feed up gebleven is bewijst wel het nut ervan en dat de zaakjes best op orde zijn.

[offtopic]
Spijtig zeker dat het vrijdag de 13e was en er een zwarte kat voorbij het switchbord liep.
[/offtopic]

[krisken]

Op het gelijkvloers werkt het net even anders : er is uiteraard een A en een B feed, maar deze zijn verbonden met het switchboard (grote STS zeg maar). Van daar gaat het naar de zekeringen in het begin van elke rij (voor fusa dus de B rij op het gelijkvloers), en vanaf daar naar de kasten. Alle servers die je hangt, zitten dus door dit switchboard op twee feeds automatisch. Uiteraard is er één SPOF : dat switchboard zelf. En net dat onderdeel is deze middag kapot gegaan.

[Tim.Bracquez]

In DCO werken ze eigenlijk met protected feeds zodat je iets meer zekerheid hebt, wil je nog meer zekerheid dan moet je naar boven verhuizen. Maar voor veel materiaal moet je nog een extra STS zetten die ook kapot kan gaan.

Beste is in meerdere DC's zetten en een redundante setup zo opbouwen als je toch zeker wilt zijn. Hiervoor heb je al leuke en betaalbare oplossingen tegenwoordig.

Voor feeds best een ander topic openen


In ieder geval elke server overlopen 1 voor één, in 7 racks duurt dat nogal. Bij deze klaar.

[Roygenz]

Sorry, wij zitten inderdaad op het tweede verdiep ginder.

[krisken]

Dat is high density, fusa zit in low density. 16A per rack is namelijk genoeg
Kan je eventueel per PM je hostname of IP even sturen? Dan kunnen wij dit ook in de monitoring zetten van ons
Ip van onze kant is 185.18.148.148 of 185.18.149.149

[Tomsworld]

@ tim / fusa

Dan meer onze setup, 2 volledig gescheiden feeds met gescheiden transfo's / upssen / diesel groepen , waar we dan devices hebben met 1 voeding zetten we een 3e powerbar in het rack met een kleine sts.

Als je ooit is tijd hebt, dco heb ik nog nooit bezocht .