Wir werden von unseren Kunden häufig gefragt, ob PagerDuty PagerDuty verwendet. Die Antwort darauf ist einfach: Ja. Obwohl wir den Blogbeitrag hier beenden könnten, dachten wir, wir würden etwas tiefer eintauchen und Ihnen einen Einblick geben, wie wir unseren eigenen Dienst nutzen, um verfügbar zu bleiben.

PagerDuty Mit PagerDuty ist es ziemlich meta

PagerDuty ermöglicht es uns, unseren Service zuverlässig und verfügbar zu halten. Eine zentrale Person ist für die Bearbeitung von Vorfällen zuständig, sodass alle anderen sich entspannen und ihre Freizeit genießen können. Unser Produkt ermöglicht es uns, Bereitschaftsdienste gleichmäßig auf unsere DevOps-Teams zu verteilen, um Alarmmüdigkeit zu minimieren und gleichzeitig sicherzustellen, dass alle Vorfälle ordnungsgemäß behandelt werden. Genau wie unsere Kunden müssen wir benachrichtigt werden, wenn unser Service ausfällt oder ein Schwellenwert in unserer Infrastruktur überschritten wird.

PagerDuty benachrichtigt uns, wenn es zu kritischen Änderungen an Unterkomponenten kommt, wie z. B. bei begrenzten Festplattenspeichern, langsamen Backend-Diensten, hohen Fehlerraten usw. Auch wenn dies nicht zu einem Ausfall führt, verwenden wir diese Daten, um Trends in unseren Warnsystemen zu analysieren, um Fehlalarme zu reduzieren und PagerDuty zu einem besseren Produkt für unsere Kunden und uns selbst zu machen.

In unserem DevOps-Team verwenden wir einen einwöchigen Bereitschaftsdienst, um sicherzustellen, dass immer jemand verfügbar ist, um gemeldete Vorfälle zu beheben. Wir nutzen eine zweite Person auf Abruf als Backup und als Dritte in der Reihe steht unser Ops-Teamleiter, falls die anderen beiden nicht verfügbar sind.

Was passiert, wenn PagerDuty ausfällt? Wie erhalten Sie Benachrichtigungen?

PagerDuty ist ein äußerst zuverlässiger Dienst, daher kommt es bei uns nicht oft vor. Wir haben jedoch Redundanzen mit Diensten von Drittanbietern eingerichtet, die uns über Vorfälle informieren, die zu einem Ausfall von PagerDuty führen können.

Wir verwenden eine Kombination aus benutzerdefinierten internen Überwachungstools, DataDog, New Relic, Sumologic und anderen, die in PagerDuty integriert sind, um uns Warnmeldungen zu senden. Im Falle eines Systemausfalls verwenden wir jedoch Wormly und Monitis, um uns unabhängig von unserem System Benachrichtigungen zu senden.

Welche Vorteile bietet die Nutzung von PagerDuty für Ihre Bereitschaftstechniker?

Durch Rotationen wird die Bereitschaft zur gemeinsamen Verantwortung des gesamten Teams. Wenn ein Alarm verpasst wird, ruft PagerDuty automatisch die Aufmerksamkeit eines anderen Teammitglieds auf sich. Mithilfe der mobilen App bestätigt, löst und weist unser Team Vorfälle häufig unterwegs neu zu.

Unsere Bereitschaftstechniker profitieren auch von der API von PagerDuty, da wir unser Alarmschema oft als Code behandeln. Selbst wenn wir also bis zum Hals in Code versunken sind, können wir Anpassungen an PagerDuty vornehmen, ohne unsere Terminals zu verlassen.

Die Flexibilität des Produkts ermöglicht es unseren Bereitschaftstechnikern, mit PagerDuty auf eine Weise zu interagieren, die für sie optimal ist, aber auch, unser Team in Verbindung zu halten. So kann sich jeder konzentrieren, wenn er einsatzbereit sein muss, und wir werden entlastet, wenn wir nicht in Bereitschaft sind.

Wie richten Sie Ihre Alarmebenen ein?

Das Schöne an PagerDuty ist, dass sich niemand an einen bestimmten Alarmierungsprozess halten muss. Früher, als noch Pager ausgegeben wurden, hatte der diensthabende Techniker nur eine einzige Benachrichtigungsmethode. Mit PagerDuty hat jeder seine eigenen Gewohnheiten und verfügt über mehrere Alarmierungsoptionen, die sich an seinen Lebensstil anpassen.

Telefonanrufe sind jedoch die beliebteste Alarmierungsmethode für die Bereitschaftstechniker von PagerDuty . Telefonanrufe wecken uns. Das Team ist geteilter Meinung darüber, wie es seine Alarme schichtet. Die Hälfte des Teams erhält zuerst Telefonanrufe, um geweckt zu werden, und erhält dann eine SMS oder Push-Benachrichtigung. Die andere Hälfte des Teams erhält SMS oder Push-Benachrichtigungen und verwendet dann die lauteste verfügbare Alarmierungsmethode: Telefonanrufe.

Unser Team ist ein großer Fan davon, Benachrichtigungen über unsere HipChat-Integration zu erhalten. Wir nutzen HipChat als unser internes Kommunikationstool, um uns tagsüber gegenseitig Notizen und lustige GIF-Bilder zu schicken. HipChat ist nicht nur großartig, um herauszufinden, wann das Mittagessen fertig ist, sondern die Integration ihres Dienstes mit PagerDuty macht es für das gesamte Team einfach, auf dem Laufenden zu bleiben und zu wissen, ob während der Geschäftszeiten oder sogar beim Chatten spät in der Nacht etwas schief geht.