Am Freitagabend, den 29. Juni, kam es bei Amazon Web Services (AWS) an seinem Standort in North Virginia zu einem größeren Ausfall. aufgrund eines Stromausfalls . Dieser Ausfall, die zweite im Juni betraf zahlreiche AWS-Kunden, die PagerDuty verwenden. Da PagerDuty ebenfalls ein AWS-Kunde ist, freuen wir uns, Ihnen mitteilen zu können, dass wir den Sturm „überstehen“ konnten und keine Ausfallzeiten hatten.

Da wir bestrebt sind, unseren Kundensupport und unsere Transparenz auf höchstem Niveau zu halten, möchten wir kurz die Ereignisse des Abends zusammenfassen: was wir zur Lösung des Problems unternommen haben und was wir weiterhin tun, um im Rahmen unserer Möglichkeiten sicherzustellen, dass Ihre Alarmierungsdienste über PagerDuty nicht unterbrochen werden.

Was PagerDuty sah

Am Freitag, den 29. Juni, um 20:06 Uhr (Pazifische Zeit) bemerkte unser System einen ungewöhnlichen Anstieg von Alarmen auf der PagerDuty Plattform. Laut Amazons eigener Analyse „befanden sich etwa 7 % der EC2-Instanzen in der Region US-EAST-1 in der betroffenen Availability Zone und waren vom Stromausfall betroffen.“

Nachfolgend sind die bemerkenswerten Alarmspitzen aufgeführt, die uns auf das AWS-Ereignis aufmerksam machten:

~20-fache Zunahme des Datenverkehrs aufgrund eines AWS-Ausfalls. (Der zweite Anstieg fällt mit der Hinzufügung einer Schaltsekunde zu UTC zusammen und steht wahrscheinlich nicht damit in Zusammenhang.)

Wie bereits erwähnt in unserem Blogbeitrag vom 18. Juni Nach dem ersten AWS-Ausfall im Juni 2012 haben wir Folgendes getan und tun dies weiterhin, um die Verfügbarkeit von PagerDuty für unsere Kunden sicherzustellen:

Migrierte Rechenzentren von AWS US-East nach US-West:
Diese Datencentermigration wurde am 19. Juni 2012 durchgeführt. Ziel dieser Migration war es, unsere Ausfälle von denen unserer Kunden zu trennen. Mit anderen Worten: Es ist offensichtlich keine gute Idee, wenn wir auf derselben Infrastruktur wie ein großer Prozentsatz (über 20 %) unserer Kunden arbeiten. Aus diesem Grund haben wir uns von US-Ost abgewandt.

Wir bei PagerDuty kümmern uns um alle Angelegenheiten im Zusammenhang mit der Verfügbarkeit unserer Dienste sehr ernst. Wenn Sie Fragen oder Bedenken haben, zögern Sie bitte nicht, uns zu kontaktieren unter support@pagerduty.com .