Downtime – SSD – Varnish reconfig

Downtime is nooit iets waar je op zit te wachten, hoe je daarmee omgaat, wat je leert dat is belangrijk, een kijkje in onze recente ervaring.

Om te zeggen dat afgelopen week anders gelopen is dan we verwacht hadden is een understatement. We houden altijd al rekening met mogelijke problemen; we draaien uurlijkse database backups, een losse dagelijkse database backup naar een andere backup server, geregeld (om de 2 dagen) een volledige server back-up ook weer buiten de server.

Kortom we doen best wel wat om problemen en downtime tegen te gaan maar aan sommige hardware issues heb je hoe goed je ook plant geen ontsnappen. Helaas hebben we dit jaar dit helaas meerdere keren meegemaakt en ondergetekende was het dan afgelopen zondag ook beu.

Main webserver

De main webserver die we gebruiken voor PFSquad en een aantal kleinere projecten hebben we al een tijdje en daar is in feite helemaal niets mis mee. Deze kan namelijk nog steeds absoluut mee met de nieuwe tech die er nu is (mede door een stukje configuratie vanuit ondergetekende op het gebied van OS,  software, etc). Alleen hadden we bij deze server nog gewone SATA schijven in gebruik, en ja ook deze stond in een RAID 1 (mirror) config ingesteld. Wat normaal ons sneller weer in de lucht zou moeten hebben bij downtime.

Alleen bleek toen we samen met het datacenter zondagochtend de eerste analyse konden doen dat de RAID deprecated was en dat we moesten vrezen dat we de RAID niet konden rebuilden. Dat is vervelend maar we hebben altijd meer dan genoeg backups tot onze beschikking alleen het grote nadeel is dat het overzetten en uitpakken van die backups tijd met zich meebrengt (voornamelijk omdat we heel veel losse, kleinere files hebben (de foto’s) die een hele grote set aan innodes nodig hebben etc).

Bijkomend punt was dat omwille dat we ook een overstap aan het maken waren van Cloud-platform (van Dropbox naar PCloud) we de meest recente backup niet in de Cloud hadden staan. Ondergetekend moest dus een file van 93,7GB in tar.gz formaat even overzetten vanuit thuis waar de upload helaas maar 30Mbit is (de download hier is voor de beeldvorming 300Mbit). Ik zou zo graag willen dat de keuze voor glasvezel hier een optie was of dat de upload wat hoger kan aan de kant van de ISP (Ziggo) maar afijn dat was het niet.

SSD ipv HDD

Ondertussen had ik met het datacenter op voorhand al contact gehad en het voorstel gedaan om ook meteen maar over te gaan op SSDs. Wat bij het booten, bij I/O (input/output) acties de nodige performance gain zou moeten gaan betekenen en dat was geen enkel probleem, dus zo gezegd zo gedaan. Dat veranderde daarnaast niets aan het feit dat we natuurlijk een OS install, panel install, OS upgrades, panel upgrades, verschillende configs opnieuw moesten uit gaan rollen.

Maar al met al liep dat als een zonnetje, daar al direct gemerkt dat het verschil met de Sata HDD’s aanzienlijk was. Dus geluk bij een ongeluk dat ook wel weer.

Varnish reconfig

Zoals jullie in ons voorgaande item hebben meegekregen waren we in de weer om Varnish Caching toe te voegen aan onze server configuratie. Daarin bleek nog een issue te zijn die het voor ons niet ideaal maakte om te gebruiken, voornamelijk op PFSquad.NU omdat daar de update frequentie wat hoger ligt; We konden de Varnish cache bij een CRUD actie (Create, Remove, Update, Delete) niet getriggered krijgen waardoor we de hele container moeten restarten om de cache te legen. 

Voor een wat kleinere website zoals deze blog of de blog van ondergetekende niet een heel groot drama, maar voor PFSquad.NU geen manier van werken.

Maar met het nodige testen op het moment van het opnieuw inrichten van de configuratie van Varnish in combinatie met de server stack die we nog steeds voor ogen hadden (Nginx + PHP-FPM + Varnish + SSL + HHTP/2 + MaxCDN + Cloudflare) kwamen we gelukkig tot een oplossing zodat we bij alle CRUD acties vanuit ons platfform het nodige kunnen purgen uit de Varnish Cache (ps soms helpen fora je niet verder en moet je gewoon echt heel goed naar logs kijken).

Al met al is het ondanks de problemen een heel goede week geweest ook; met de huidige performance vand onze server stack ben ik uitermate blij en ik hoop dat de performance (noem het even voor het gemak het ‘snappy’ zijn) van de platformen jullie ook bevalt. Mocht je onverhoopt toch nog een issue spotten, laat het gerust even weten!

Toekomst

Met het oog op de toekomst zal ik altijd zeggen optimalisatie stopt nooit en daar heb ik nu al een voorbeeld van. Aangaande onze configuratie heb ik nog een probleem opgemerkt wat buiten onze eigen mogelijkheden ligt maar aan de kant van een van onze CDN partijen, Cloudflare, de optimalisatie die we doorgaans genieten middels Rocketloader is voor nu door hun uitgeschakeld. Dit blijkt een probleem met high priority te zijn waar ze deze week een oplossing voor verwachten.

Buiten de stack om waren we met een grote nieuwe feature voor PFSquad.NU bezig en deze heeft helaas door de nodige zaken wat oponthoud opgelopen maar houd deze blog in de gaten en natuurlijk PFSquad.Nu zelf voor een aankondiging in de loop van komende week. Het is iets wat nog geen van onze concullega’s aanbieden dus dat is altijd leuk!

Laat een Reactie achter