Driftinfo - hos Levonline IT hotell, web hotel

På grund av servicejobb på gateways i våra telefonikluster kommer telefonikunder att drabbas av vissa störningar under natten. Arbetet kommer att påbörjas klockan 00.00 och beräknas vara klart till 03.00.

Med anledning av uppdatering av prestanda i ett av våra VPS kluster har vi vart tvugna att starta om berört kluster. Detta har orsakat kort nedtid för de VPSer som ligger i klustret.

P.g.a. servicejobb så förekommer vissa störningar på Exchange och WAN-förbindelser fr.o.m midnatt. Beräknas vara åter i full drift ca: 03:00

Vi byter en disk i en databas server vilket orsakar nedtid för kunder med konton i serierna a04, b04 och c04 och som använder MySQL 4. nedtiden beräknas till 5 minuter.

Med anledning av strömavbrottet i helgen som drabbade ett vårt driftställe i Stockholm innerstad bifogar jag en beskrivning och kommentarer från våra underleverantörer.

Tidigt på midsommaftons morgon drabbades stora delar av Stockholm av ett stort och omfattande elavbrott, och detta fick även konsekvenser för Servage och dig som kund.

Bakgrund till felet:
Fortum gav följande info den 25/6 kl 05.49: "Strömavbrottet som vi tidigare rapporterat om i Stockholm gällande område kring Hjorthagen ,Gärdet ,Östra Östermalm , Ladugårdsgärdet, Djurgården, Lill-Jansskogen, Värtahamnen, västra, mellersta och norra Vasastaden,del av Hornsberg, Norra station, mellersta och norra Norrmalm, Ekhagen. Albano och Lappkärsberget är nu åtgärdat och alla berörda kunder ska ha fått strömmen tillbaka. Orsaken till strömavbrottet var ett tekniskt fel i 220kilovolts nätet vid Skanstull."

Beskrivning av incidenten:
Elavbrottet skedde den 25/6 ca 02.00 på morgonen. Personal från Servage och från våra underleverantörer, inställde sig strax därefter i datahallen och påbörjade felsökning omedelbart. Dieselaggregatet hade startat enligt plan men elen kom inte fram till UPS'erna och därmed nådde inte elen systemen i datahallen. Strax efter elavbrottet blev därför samtliga systemen utan el och stängdes därmed av. Orsaken till att dieseln inte lyckades mata UPS'erna med el berodde på felet i Fortums elnät som hade orsakat en mycket stor överbelastning i elnätet. Detta föranledde att ställverket mellan dieseln och ups'erna blev överbelastat av strömspiken i nätet och slogs ut. Vår underleverantör meddelade oss att det är i princip omöjligt att säkra upp sig mot denna typen av enorma strömspikar som vi råkade ut för på natten, och att ett 15-tal datahallar som de har ansvaret för centralt i Stockholm stad hade råkat ut för stora problem av olika art till följd av strömspiken Fortum orsakade.

Elen kom tillbaka strax före 05.00 på morgonen då vi omedelbart startade upp samtliga system. Mellan 06.00 och 07.00 var flertalet av alla kundsystem uppe. Vissa kundservrar som saknade övervakningsavtal och/eller automatisk omstartsprocedur kan ha haft en längre nertid på tjänstenivå. Strax efter 09.00 hade vi också via underleverantörer säkerställt att våra redundanta elförsörjningssystem fungerade korrekt igen. Vi är givetvis mycket ledsna för det inträffade. Vi följde våra uppsatta rutiner och arbetade hårt för att störningen för dig som kund skulle bli så liten som det bara var möjligt. Under de år vi haft produktion i aktuell datorhall har vi råkat ut för elabrott vid ett flertal tillfällen då det redundanta elförsörjningssystem i samtliga fall har fungerat till 100%. Lasttester och dieseltester genomförs varje månad för att säkerställa att allt skall fungera vid en incident men Fortums incident var dessvärre omöjlig att förutse och sannolikt omöjligt att säkra sig mot.

Våra underleverantörer kommer att genomföra ett antal stresstester i datahallen nu på måndag natt (med start 23.30 den 28/6) och också ytterligare utreda incidenten. Vi återkommer efter detta med ny eventuell information om så finnes.

För mer information, vänligen kontakta undertecknad eller Sten Hubendick, teknisk chef.

Återigen, vi är mycket ledsna för det inträffade och vi hoppas att det inte fick tråkiga konsekvenser för dig som kund.

Med vänliga hälsningar
Ari Liukko, VD Servage AB

Under natten har problem med mekaniken kring diesel generatorn som matar vår datahall orsakat ett strömavbrott (under pågående strömavbrott i storstockholm). Detta har lett till en del driftstörningar och en del nedtid på samtliga system. Majoriteten av systemen skall vara uppe igen. Om du har en egen server och har drabbats, skapa en ticket genom att maila till support@levonline.com. Om du använder vår fjärrskrivbordstjänst eller exchange lösning kan det fortfarande finnas störningar. Vi kommer jobba under midsommarhelgen med att rätta till alla problem som orsakats i samband med detta och beklagar alla oangelägenheter som uppstått för våra kunder i samband med problemet.

---

Uppdatering: kl. 10.00 c:a har vi fått igång c:a hälften av alla våra Exchange kunder. Vi jobbar vidare på resterande problem och svarar via vårt ticket system.

---

Uppdatering: Sedan kl. 19.00 c:a skall alla exchange relaterade tjänster fungera som dom skall. Vi fortsätter svara via ticket systemet under helgen.

Klockan 22.00 påbörjas servicearbete på Exchange 2007 miljö och viss delad lagring. Arbetet planeras ta ca 1 timme. Tillgängligheten på systemen kommer vara begränsad under denna period.

På grund av ett nätverksfel fungerar inte vissa VPS-servrar för närvarande. Detta påverkar kunder med virtuella servrar/VPS.
Felet berodde på att DHCP-servrarna som delar ut IP-adresser i VPS-miljön strulade. Det är nu lagat. Vi har även förbättrat vår övervakning för att upptäcka fel på DHCP-servern snabbare, samt ökat utlåningstiderna för IP-adresser rejält så att ett fel inte påverkar VPS-driften.

Vår kontrollpanel fungerar inte för närvarande. Ändringar som läggs in hamnar på kö men slår inte igenom förrän vi lagat felet. Detta påverkar alla kunder som använder kontrollpanelen.

Uppdatering: Felet är nu lagat. Alla ändringar som gjorts i kontrollpanelen i helgen och på förmiddagen idag, måndag, kommer att vara live senast kl 17:00 idag.