Crowdstrike problemen zorgen wereldwijd voor storingen

[devilkin]

Een slechte update van een Crowdstrike agentzorgt wereldwijd voor bluescreens op windows systemen

https://tweakers.net/nieuws/224544/crow ... temen.html

https://www.theverge.com/2024/7/19/2420 ... tage-issue
https://mashable.com/article/crowdstrik ... e-bsod-fix
https://www.theregister.com/2024/07/19/ ... _incident/

[Matt555]

voor alle zekerheid windows updates voor 7 dagen gepauzeerd gezet, thx

[devilkin]

Heeft daar niks mee te maken. Als particulier is de kans klein dat je crowdstrike gebruikt.

[Pengu]

Blijkbaar moet je in veilige modus starten om een bepaald bestand te verwijderen en dan ben je verlost van de bootloop. Maar bedrijven hebben soms honderden tot duizenden laptops en pc's. Dan zwijg ik nog over de servers. Dit is toch de hel voor elke beheerder?

[CCatalyst]

Schiphol en Zurich gesloten

Barcelona, Alicante, Ibiza, Mahon, Palma allemaal grote vertragingen.

Ongelofelijk toch dat zo'n grote luchthavens een single point of failure hebben

Dit is toch de hel voor elke beheerder?

Ben benieuwd naar de aansprakelijkheid en hoeveel Crowdstrike zal mogen betalen.

Maar: geen Windows gebruiken (sowieso niet voor kritische toepassingen, is goed gek) en dan had je ook dit weer vermeden, zoals zo vaak.

[devilkin]

Ook zijn corporate devices vaak bitlocker encrypted, en moet je de unlock key hebben om een toestel in safe mode te booten. En is die key uniek per toestel.

[CCatalyst]

Ik snap niet hoe het mogelijk is, dat een verkeerde update een massa systemen plat kan leggen.

Ik snap wel hoe het kan natuurlijk. Alleen niet hoe het mogelijk is, dat de safeguards (die er hopelijk zijn) dit niet konden voorkomen.

[Tomby]

Toeme, mijne corporate laptop start normaal op, dus geen dagske verlof .
More seriously, blij dat ik niet getroffen lijk, of ik ging 100km naar kantoor mogen bollen. Ondertussen wel op mijn privé coordinaten emergency mails van werkgever gekregen met mogelijke impacts (waaronder dus corp laptops).

[Goztow]

Meerdere cloud services liggen ook plat.

[Dizzy]

Met de cloud zijt ge altijd geclood

[Avenger 2.0]

Toch algemeen geweten dat je op vrijdag geen kritieke updates doet Zullen veel ITers een weekendje bezig zijn nu

[ITnetadmin]

Twee lessen hier:

1) Nooit direct nieuwe updates pushen; let someone else go first
2) Read-only fridays zijn een ding voor een reden


Dat gezegd: veel bedrijven moeten dit nu manueel fixen.
Eentje is alvast begonnen met een script te pushen via user GPO, maar... ze moeten in safe boot ook nog manueel de bitlocker key ingeven, dus het uit de handen geven aan lvl-0 helpdesk is geen optie; lang weekend

[guntherstassen]

Enkel Windows PC's (Win10/11) die gebruik maken van CrowdStrike software hebben problemen (slechte update/patch van hun). Gelukkig gebruik ik die dure software niet op mijn werk.

Wat mij dan weer nu opvalt is dat veel infoborden in luchthavens, ziekenhuizen etc allemaal op windows draait.
Bewuste keuze voor windows om beter managementbeheer te doen of dat hun IT nog nooit gehoord heeft van Linux?
Veel van die borden draaien gewoon een browser.

[Petrikske]

voor alle zekerheid windows updates voor 7 dagen gepauzeerd gezet, thx

Software is zo prijzig dat zelfs veel bedrijven het niet gebruiken, particulieren zullen dus wel safe zitten veronderstel ik.

[devilkin]

Wat mij dan weer nu opvalt is dat veel infoborden in luchthavens, ziekenhuizen etc allemaal op windows draait.
Bewuste keuze voor windows om beter managementbeheer te doen of dat hun IT nog nooit gehoord heeft van Linux?
Veel van die borden draaien gewoon een browser.

In 99% vd gevallen zal de keuze gemaakt zijn om beheersredenen: voor Windows heb je nu eenmaal een ganse toolsuite voor remote beheer, automatisch aansturen van die zaken, die je voor Linux minder hebt. Dan heb ik het niet puur over het OS, maar de software die ze gebruiken om er een display van te maken.

Kan alles op Linux? Sure, 100% zeker! Maar vaak meer werk (al hebben ze nu wel meer werk met Windows )

1) Nooit direct nieuwe updates pushen; let someone else go first

Crowdstrike update vaak/altijd(?) automatisch. Dat is nu eenmaal het verkoopsargument: je bent *direct* beschermd tegen nieuwe threats.

[yaris]

Hmm hoe ik het gelezen heb heeft een admin geen manier om de crowdstrike patching tegen te houden. Computers hebben dit probleem maar ook windows servers met crowdstrike tooling. Het lijkt mij geen specifiek azure probleem maar wel services die plat gaan door de slechte update.

[meon]

Maar: geen Windows gebruiken (sowieso niet voor kritische toepassingen, is goed gek) en dan had je ook dit weer vermeden, zoals zo vaak.

Het probleem is niet Windows, maar de Windows-versie van Falcon. Als het nu de Linux-versie van Falcon was geweest zaten we potentieel nu met miljoenen kernel panics.
Dat het zo'n gigantische impact heeft geeft maar aan hoeveel systemen Windows draaien én geeft inzicht in de afzetmarkt van Crowdstrike...

[ITnetadmin]

Former Crowdstrike employee, fired for an unfair reason, only changed 1 line of code to optimize. Looking for a job as Sysadmin

(Geen betere link momenteel, dus kan breken)

[SpecialK]

Toch algemeen geweten dat je op vrijdag geen kritieke updates doet Zullen veel ITers een weekendje bezig zijn nu

Gezien de impact van de outage zou ik bijna zeggen: twee dagen met lagere impact om het probleem op te lossen...

[devilkin]

Hangt er vanaf.... Voor luchthavens, winkels, banken... Is het weekend vaak drukker.

[ITnetadmin]

Dat is dan ook de reden waarom ik fervent voorstander ben van on-premise server-client infrastructure, waarbij je de server kan configgen wanneer hij updates stuurt, en naar welke toestellen.

Zo kan je zulke updates stagen in stapjes, om een totale blackout te vermijden.
En bij non-critical updates gewoon wachten tot de volgende week, ipv read-only friday regels te breken.

Dit soort cloud services hebben het wel makkelijk: zij gaan bepalen wanneer jij updates moet doen, en als het breekt kan jij de brokken lijmen en zij zijn beschermd door een metersdik contract.

[Software]

Kleine opmerking / meer toelichting: Het probleem ligt niet direct aan een CrowdStrike update itself maar aan een anti-malware definition/detection rules update. Er is daar een update misgelopen. Die definitions worden meerdere keren per dag automatisch upgedate. Kan idd niet worden geconfigueerd zoals hierboven al werd aangehaald.
We draaien CrowdStrike maar een deel van ons IT landscape met met de laatste versie en een deel met een n-1 config, wilt zeggen dat wij niet de laatste CrowdStrike versie draaien maar op 1 na laatste. Ironisch genoeg om dit soort problemen tegen te gaan.
De definition update wordt gepusht naar iedere versie (dus ook een n-1 of n-2 update). Dus ook hier crashende pc's & servers.

Dit gezegd zijnde: hoe dit door CrowdStrike Q&A geraakt is, is mij een raadsel...

CS heeft intussen een "technische uitleg" gegeven zonder iets van technische update te geven: https://www.crowdstrike.com/blog/techni ... ys-outage/
Er wordt intussen gespeculeerd op een unsafe NULL exception/pointer:
https://threadreaderapp.com/thread/1814 ... 54753.html

ironisch genoeg had Mercedes moeilijkheden om hun F1 wagen te starten door hun sponsor .... CrowdStrike
https://www.thedrive.com/news/crowdstri ... s-of-death

[Data technicus]

Bij ons op het werk kon gisteren iedereen gewoon werken op hun pc en ook op de server. Ons bedrijf is begonnen met eurosys als it support en zij werken met een programma dat updates pas laat doorkomen en uitvoeren als ze veilig zijn en geen pc's doen crashen.

[ITnetadmin]

Toestellen die niet online waren tussen 0409UTC en 0527UTC zijn eraan ontsnapt, dus dat helpt wel voor vele clients/workstations in Europa.

[Sasuke]

Bij ons op het werk kon gisteren iedereen gewoon werken op hun pc en ook op de server. Ons bedrijf is begonnen met eurosys als it support en zij werken met een programma dat updates pas laat doorkomen en uitvoeren als ze veilig zijn en geen pc's doen crashen.

EuroSys/VanRoey (of eender welke andere MSP) kan/kon deze update niet tegenhouden, daarom ook de hele heisa er rond. Dit is een security systeem waarbij de security updates niet (meer) gebonden zijn aan de versie van de Agent die geinstalleerd is. Qua beveiliging heeft dit enorm veel voordelen, afgelopen vrijdag heeft men de nadelen ondervonden.

Dus zoals al eerder aangehaald in deze thread .. dit kan je niet vergelijken met Windows Updates waarbij je kan instellen dat je altijd enkele dagen (of maanden) delay aangeeft voor updates. Wat EuroSys/VanRoey doet, is trouwens iets dat alle MSP's doen, net om zulke zaken zoals nu gebeurd tegen te houden ... maar ALS je crowdstrike als Endpoint Protection had, dan was je eraan voor de moeite hoor. (EuroSys/VanRoey gebruikt normaal SentinelOne voor zover ik weet ... zelfde principe als CrowdStrike maar dan 'iets' minder bekend én met een serieuze quality control ).

[Joe de Mannen]

Kwa bekendheid kan nu niemand Crowdstrike nog kloppen denk ik...
J.

[ITnetadmin]

Kwa bekendheid kan nu niemand Crowdstrike nog kloppen denk ik...

Marketing: "We need more brand recognition."
Dev: "Hold my beer."