Kelsey Shannahan ist Senior Developer bei einem führenden IT-Unternehmen im Gesundheitswesen in Columbus, Ohio. Ihre Leidenschaft gilt Elixir, ihren drei Katzen und Eldritch Horror.

Ich gehe davon aus, dass die meisten Leute, die diesen Blog lesen, mit PagerDuty vertraut sind. Aber nur für den Fall, dass es jemand nicht ist: PagerDuty ist ein Tool, das wir in der IT verwenden, um uns zu benachrichtigen, wenn eine vordefinierte Prüfung fehlgeschlagen ist. Vielleicht ist ein wichtiger Prozess gestorben oder wir sehen nicht das erwartete Verkehrsaufkommen oder unser Server reagiert nicht mehr auf Ping. Was auch immer es ist, PagerDuty wird unerbittlich, unerbittlich und laut Benachrichtigen Sie die diensthabende Person, dass etwas Aufmerksamkeit erfordert.

Eine Zeit lang spielte mir mein Telefon (in voller Lautstärke) ein Barbershop-Quartett vor, das davon sang, dass der Server in Flammen stehe. Nachdem ich jedoch in weniger als 15 Minuten über 100 Warnungen erhielt, als unser gesamter Stapel ausfiel, hatte ich das ein wenig satt und jetzt bekomme ich eine klassische „Rote-Alarm“-Sirene. Es gibt nichts Besseres, als in einem Büro zu sitzen, das von einer Kakophonie aus Barbershop-Quartetten, Sirenen und traurigen Posaunen erfüllt ist, um Sie Ihre Berufswahl bereuen zu lassen.

Noch schlimmer ist es, wenn es losgeht, während man schläft. Es ist wie eine Adrenalinspritze ins Herz um drei Uhr morgens. Ich glaube, jedes Mal, wenn ich aus dem Schlaf schrecke – oder wenn ich zu irgendeinem Zeitpunkt davon erschreckt werde –, verliere ich ein Jahr meines Lebens.

Vor etwa einem Monat weckte es mich kurz vor Mitternacht. Ich war noch nicht lange im Bett gewesen, gerade lange genug, um in einen tiefen Schlaf zu fallen, der mich verwirrt zurückließ, als ich aufwachte. Instinktiv tastete ich nach meiner Nachttischlampe, kniff die Augen zusammen, um auf meinem Telefon die Schaltfläche „Bestätigen“ zu finden, und setzte dann meine Brille auf. Einen Moment lang saß ich benommen da und versuchte mich zu erinnern, wo ich meinen Laptop im Haus gelassen hatte.

Dann fiel mir ein: Ich habe diese Woche keinen Bereitschaftsdienst. Ich bin nicht einmal die Ersatz-Bereitschaftskraft. Ich sollte nicht angepiept werden. überhaupt .

Vielleicht hat sich jemand an mich gewandt, weil er meine Hilfe brauchte, dachte ich. Ich versuchte mir zu überlegen, welche Änderungen, die ich kürzlich in der Produktion vorgenommen hatte, so spät in der Nacht zu einem Ausfall geführt haben könnten. Mir fiel nichts ein. Trotzdem stolperte ich aus meinem Schlafzimmer und den dunklen Flur entlang in mein Büro. Der Boden knarrte unter mir – und dann klingelte mein Telefon wieder mit dieser verdammten Sirene. Ich hätte es fast fallen lassen, bevor ich fluchte und versuchte, die neue Seite zu bestätigen.

Ich weiß noch, wie ich da stand, nachdem das Telefon stummgeschaltet war, und dachte: Huh, das ist seltsam . Der Boden knarrte weiter, obwohl ich mich nicht mehr bewegte. Ich streckte mich, schaltete das Licht an und blickte nach hinten.

Nichts. Im Haus war es still.

Ich ging weiter in mein Büro und versuchte, das Unbehagen zu ignorieren. Als erstes checkte ich auf meinem Laptop meine Nachrichten auf Slack. Nichts von meinen Kollegen. Es waren noch ein paar Leute online (ich arbeite mit vielen Nachteulen zusammen), aber in unseren Wartungs- oder Ausfallräumen war kein Geplauder zu hören. Dann checkte ich die PagerDuty -Website, um zu sehen, was genau die Seiten waren es, die all diese Warnungen verursachten.

Ich kannte keinen von beiden. Der erste lautete: Build fehlgeschlagen: Kompilierungsfehler in watchman.rb .

Erstens ist eine Datei mit der Endung .rb eine Ruby-Datei. Ruby ist keine kompilierte Sprache. Es kann keinen Kompilierungsfehler auslösen. Zweitens: Wir benachrichtigen niemanden über fehlgeschlagene CI-Builds. Das ist einfach nur gemein.

Der andere Fehler war nymaster1n2: Prozess gestoppt . Das ergibt auch keinen Sinn, denn obwohl wir in New York ansässig sind, haben wir hier keine Server. Und auf welchen Prozess bezieht es sich überhaupt?

Alle unsere Alarme sind so konfiguriert, dass sie entweder auf den Monitor verweisen, der den Alarm auslöst, oder auf Anweisungen zum Auflösen der Seite in komplizierteren Fällen. Ich habe versucht, auf den Link zu klicken, der mich zum Monitor führen sollte, damit ich den Status überprüfen konnte, aber ich wurde nur auf eine Google Maps-Seite weitergeleitet, die auf den Standort meines Hauses eingestellt war.

Zu diesem Zeitpunkt nahm ich an, dass es sich um einen Scherz handelte. Schließlich kann man in PagerDuty manuell einen Vorfall erstellen, also war vielleicht jemand ein bisschen kreativ und hat mir einen Streich gespielt. Sie wissen, dass ich allein lebe. Ich wäre ein leichtes Ziel, vor allem, da ich keinen Ehepartner habe, der sauer werden würde.

Ich klärte die falschen Vorfälle auf, schickte meinem Team in Slack eine Nachricht, dass das so spät in der Nacht nicht lustig war (es ist clever, aber nicht, wenn ich versuche zu schlafen) und ging wieder ins Bett. Ein paar Stunden später klingelte mein Telefon erneut. Ich wiederholte den Vorgang: Licht anmachen, Alarm bestätigen und Brille aufsetzen. Außerdem hatte ich meinen Laptop vorher mit ins Schlafzimmer genommen, sodass ich ihn einfach mitnehmen konnte, ohne mein Bett zu verlassen. Zu diesem Zeitpunkt war es 2 Uhr morgens und keiner meiner Kollegen war online. Ich überprüfte den Fehler.

Unbekannte Entität von whoami

Ich denke, das könnte legitim sein, aber ich bin kein Ops. Ich bin Entwickler und sollte nur Benachrichtigungen erhalten, wenn unsere Apps sich schlecht verhalten, nicht für Dinge auf Serverebene. Und wenn ich mich nicht irre, Wer bin ich ist eine Serversache.

Ich habe es an unseren Bereitschaftsdienst weitergeleitet, meinen Laptop zugeklappt, mich wieder aufs Bett geworfen und das Licht ausgemacht. Ich war noch nicht einmal eingeschlafen, als mein Telefon wieder klingelte. Aber es war nicht der von mir gewählte Sirenenklingelton.

Es war das „Lachen des Ingenieurs“, und das, das kann ich Ihnen sagen, klingt wirklich verdammt gruselig, wenn man um zwei Uhr morgens allein im Haus ist.

Die Benachrichtigung lautete raise StandardTerror und enthielt einen Link zu etwas, das wie eine Protokolldatei aussah, aber es war wieder nur Google Maps – diesmal Street View, herangezoomt auf eines meiner Kellerfenster.

Okay, haha, ich sehe, was du da gemacht hast, namenloser Kollege. Standardfehler. Standardterror. Echt lustig. Dieses Mal habe ich den Screenshot – und meinen Zorn – in unseren Entwickler-Slack-Kanal geworfen.

Ich machte das Licht aus, legte mich aber nicht wieder hin. Ich wartete, misstrauisch, ob ich schlafen durfte. In der Stille hörte ich etwas wie ein Kratzen; entfernt, vielleicht ein kleines Tier draußen, in der Nähe des Hauses.

Mein Telefon schrillte erneut.

Heartbeat-Prüfung fehlgeschlagen: „nymasterbedroom1n2“

Das geriet außer Kontrolle. Ich überlegte, einfach mein Telefon auszuschalten, aber ich bin ehrlich: Ich wollte eigentlich sehen, wohin das führt. Sicher, vielleicht würde es mich die ganze Nacht wach halten, aber ich hätte eine tolle Geschichte zu erzählen und ich könnte morgen immer noch lange schlafen und PagerDuty die Schuld für den späten Start geben.

Schließlich schaltete ich das Licht aus, um das Blenden meines Handy-Bildschirms zu vermeiden. Dann wartete ich, lauschte den leisen, stetigen Kratzgeräuschen und fragte mich, was das war. Vielleicht ein Waschbär, der am Fundament unter meinem Schlafzimmerfenster grub? Ich war im zweiten Stock.

Eine weitere Warnung.

Statische Störung überschreitet festgelegten Grenzwert. Überwachung untergeordneter Prozesse wird beendet.

Der erste Teil? Nichts davon ergibt Sinn. Das ist kein echter Fehler. Das ist Blödsinn. Da keiner meiner Kollegen den Streich zugab (sie waren alle noch offline), öffnete ich meinen Laptop, rief die PagerDuty -Website auf und reichte ein Support-Ticket ein. Ich fügte den Text der Warnungen bei und erklärte, dass diese Fehler in unserem Ökosystem nicht existierten. Wenn nicht irgendein schelmischer Kollege dafür verantwortlich war, wollte ich die Grundursache so schnell wie möglich beheben. Ich fragte mich, ob ich Fehler von jemand anderem System bekam. Das ist das Problem, wenn man spät in der Nacht angepiept wird – es motiviert einen sehr, dafür zu sorgen, dass so etwas nie wieder passiert.

Dann saß ich da und wartete in meinem dunklen Schlafzimmer, die Augen auf den leuchtenden Laptop-Bildschirm gerichtet. Das Kratzen vor meinem Haus schien … länger zu werden. Jetzt war es eher ein scharrendes Geräusch. Ich überlegte, ob ich vielleicht mit einer Taschenlampe aus dem Fenster leuchten und das, was immer es auch war, verscheuchen sollte. Ich hatte noch nicht unbedingt Angst. Ich lasse mich nicht so leicht erschrecken und habe eine Alarmanlage, was bedeutete, dass mein Haus ein weniger attraktives Ziel war als das der Nachbarn.

Ein weiterer Alarm mit einem anderen Klingelton. Der mit einem kleinen Kind, das singt: „Etwas ist kaputt, etwas ist kaputt, es ist deine Schuld!“

„Es ist verdammt noch mal nicht meine Schuld“, murmelte ich, während ich den Bildschirm aktualisierte.

„keeplightson.sh: Syntaxfehler: „a̗͌b̠̔n̩͕̲͂̑̈̕͟o̡̧̘̾͋́r̢͙̣͍̗͌̀̐̿͝m̧̨̛̼̘̗̓͌̅̚ã̺͎͕̑̿̈́͢l̇ ̱̥̈́i͈͎͚̮͗͐̅̚ẗ͉̮̬̗́́̏͡y̢̲̆̑“ unerwartet“

Zu diesem Zeitpunkt habe ich den Weg der Atomenergie eingeschlagen.

Ich habe den General-Raum auf Slack @channelt und gesagt, dass ich ernsthaft ausgeflippt bin, dieser Streich viel zu weit ging und ich es wirklich schätzen würde, wenn jemand gestehen würde und Hör auf, mir Benachrichtigungen zu senden .

Wurde dadurch buchstäblich jede Person in meinem Unternehmen mit über 1.000 Mitarbeitern mit einer Benachrichtigung benachrichtigt? Ja . War es mir wichtig? NEIN .

Niemand antwortete. Die kleinen Symbole mit dem Verfügbarkeitsstatus aller meiner Kollegen blieben hartnäckig leer und währenddessen explodierte mein Telefon mit Alarmmeldungen und unterbrach seinen eigenen Sirenenton, bevor er mit der nächsten eingehenden Hupe fertig war.

Immer und immer wieder die gleiche Benachrichtigung.

Heartbeat-Prüfung fehlgeschlagen: „nymasterbedroom1n2“. Führen Sie keeplightson.sh aus.

Dann. Eine Pause. Nur eine Minute oder so. Aber in dieser Stille wurde mir klar, dass ich das Kratzgeräusch nicht mehr hörte; stattdessen hörte ich etwas anderes: ein Knarren. Dasselbe Knarren, das ich im Flur gehört hatte, als ich meinen Laptop holen ging. Es kam von irgendwoher. innen das Haus.

Ich erstarrte und lauschte angestrengt den Geräuschen um mich herum. Dann hörte ich es: ein rhythmisches dumpfer Schlag das wiederholte sich immer wieder, schwer und absichtlich. Etwas schlug gegen die Wand – nein, eine Tür. Ich hörte das Klappern der Scharniere.

Die Kellertür.

Eine PagerDuty Benachrichtigung leuchtete auf meinem Bildschirm auf und aus dem Lautsprecher dröhnten die harmonisierten Töne des Barbershop-Quartetts. Es war ein Lied, das ich noch nie gehört hatte und das in den Optionen der App nicht enthalten war.

„Es kühlt!“, gurrten sie.

Ich streckte die Hand aus und zog mit zitternden Händen am Kabel der Nachttischlampe, die mein Zimmer mit einem warmen Licht erfüllte. Dann bestätigte ich die Aufforderung, das Barbershop-Quartett zum Schweigen zu bringen, und wählte die Notrufnummer 911. Ich sagte der Telefonistin, dass etwas in meinem Haus sei.

Ein lautes Krachen, das Geräusch einer Tür, die aufgerissen wird und gegen die Wand knallt. Ich stürzte aus dem Bett und versuchte, mir einen Fluchtweg auszudenken, während mir die Telefonistin am anderen Ende der Leitung ruhig befahl, einen Weg aus dem Haus zu finden.

„Es gibt keines“, stammelte ich. „Ich bin im zweiten Stock.“

Sie sagte mir, ich solle die Schlafzimmertür schließen und etwas Schweres davor schleifen. Die Polizei sei unterwegs, sagte sie. Ich tat, was sie mir sagte, schob meinen Kleiderschrank zur Seite, um mich im Zimmer zu verbarrikadieren, und rollte mich dann in der hintersten Ecke neben dem Nachttisch und dem Schein der Lampe zusammen. Und wartete.

Aus dem Flur kam ein Geräusch wie Nägel auf einer Tafel, das immer näher kam. Mein Mund war trocken und meine Augen waren auf die Tür gerichtet. Die Notrufzentrale blieb am Telefon und sagte mir, ich solle ruhig bleiben, die Polizei sei fast da.

„Ich glaube nicht, dass sie es rechtzeitig schaffen werden“, flüsterte ich.

Etwas knallte gegen die Schlafzimmertür. Meine Wand bebte unter dem Aufprall. Etwas Großes, etwas furchtbar Starkes. Der Kleiderschrank bewegte sich einen Zentimeter. Noch ein Aufprall. Noch ein Zentimeter. Und noch einmal. Ich konnte nicht atmen. Ich konnte kaum hören, wie die Telefonistin mir sagte, ich solle ruhig bleiben, die Polizei würde kommen und ich solle mich verstecken, wenn möglich. Ich kramte in der Schublade des Nachttischs und fand eine schwere Taschenlampe, die ich für den Fall eines Stromausfalls in der Nacht in der Nähe aufbewahrte. Ich erkannte die Sinnlosigkeit, sie als Waffe gegen etwas so Massives einzusetzen, aber ich hatte das Gefühl, ich musste es versuchen. etwas .

Die Türklinke klapperte und die Tür schwang auf, stieß gegen den Kleiderschrank und ging nur wenige Zentimeter weit auf. Der Flur hinter dem Türrahmen war stockfinster und während ich hinsah, zwängte sich eine Hand durch den Spalt. Schwarz, eine leere Dunkelheit wie die Leere, mit unregelmäßigen Rändern, die in unregelmäßigen Linien wie statische Aufladung verpufften. Eine Hand so groß wie mein Kopf mit Fingern wie Stacheln. Sie glitt in mein Zimmer, am Türrahmen entlang, an der Gipskartonplatte entlang, und versuchte, die Schalttafel mit den drei Schaltern zu erreichen, die alle Steckdosen in meinem Zimmer steuerten.

Der Herzschlagtest im New Yorker Hauptschlafzimmer schlug fehl. Ich würde sterben.

PagerDuty hatte gesagt, das Licht anzulassen.

Ich schaltete die Taschenlampe ein und leuchtete auf die Hand. Die Finger verschwanden dort, wo das Licht sie traf. Ich bewegte den Strahl nach links und auch die Hand verschwand, als würde man einen Schatten auslöschen.

In der Ferne hörte ich Polizeisirenen, die schnell lauter wurden. Ich atmete keuchend und wollte zusammenbrechen und weinen, aber ich hielt die Taschenlampe auf die Tür gerichtet. Was auch immer da draußen war, es versuchte nicht noch einmal, ins Zimmer zu kommen. Ich entspannte mich erst, als ich hörte, wie die Polizei an die Haustür hämmerte, bevor sie sie aufbrach, und ich schrie ihnen zu, sie sollten das Licht anmachen. Schalten Sie das Licht ein. verdammt Lichter an.

Erst dann sah ich auf meinem Laptop-Monitor, dass alle meine aktiven Vorfälle in PagerDuty als automatisch gelöst markiert wurden.

Die Folgen

Die Polizei durchsuchte mein Haus und stellte fest, dass etwas sicherlich Ich war drinnen, aber was immer es auch war, es war jetzt weg. Im Flur waren drei lange Furchen, die sich durch die Trockenbauwand zogen, ungefähr auf Schulterhöhe. Einer der Beamten sagte mir, es sei wahrscheinlich ein wildes Tier, das durch den Keller hereingekommen sei, und schlug vor, dass ich mir das ansehe. Ich ging mit ihm, um mir den Keller anzusehen.

Die Wände waren mit je drei, einen halben Zoll tiefen Kerben bedeckt. Es waren lange, nachlaufende Markierungen, die Linien hatten einen Abstand von etwa zwei Zoll.

„Welches Tier kann Zement zerkratzen?“, fragte ich ungläubig und ließ meinen Finger über die Rillen gleiten.

„Die Art, die Sie wirklich nicht im Haus haben wollen“, antwortete er.

Er riet mir, am nächsten Morgen das Äußere sorgfältig zu untersuchen. Vielleicht jemanden zu rufen, der das Haus inspiziert. Ich wollte herausfinden, wo es hinein- und wieder hinausgekommen war. Trotz seines Versuchs, ruhig und professionell zu wirken, merkte ich, dass er nervös war. Er wollte nicht sagen, was ich dachte. Er und die anderen Beamten hatten das Haus abgesucht und nichts gefunden, was erklären würde, wie etwas, das groß genug war, um solche Kratzspuren zu hinterlassen, hineingekommen sein konnte.

Das Ding hatte in meinem Haus angefangen und war immer noch hier.

Als sie gingen, sagte ich ihnen, sie sollten das Licht anlassen. Ich wollte aus Versicherungsgründen ein paar Fotos machen, behauptete ich. Ich ließ das Licht die ganze Nacht an und war noch nie so froh gewesen, den Morgen zu sehen.

Am nächsten Tag entschuldigte ich mich bei meinen Kollegen im Slack General-Raum. „Es sind komische Sachen passiert“, schrieb ich. „Ich habe ein paar merkwürdige Seiten bekommen und da war ein wildes Tier in meinem Keller, das gruselige Geräusche gemacht hat, und ich bin ein bisschen ausgeflippt.“ Die Leute zeigten Verständnis. Ich wurde ein bisschen getrollt. Meine Kollegen schickten mir Memes. Sie haben alle herzlich gelacht. Ich tat so, als würde ich mitlachen, während ich noch ein bisschen nachforschte.

Ich fand heraus, dass unsere Bereitschaftsperson meine eskalierte Seite nie erhalten hatte. Als ich PagerDuty überprüfte, waren alle meine aufgelösten Seiten verschwunden, als hätten sie nie existiert. Ein paar Tage später löste der PagerDuty Support mein Ticket mit einer Standardmeldung „funktioniert wie erwartet“.

Ich habe das Geschehene jedoch nicht abgetan. Diese Kratzspuren sind echt. Das war kein Streich und auch nicht meine Einbildung. Was auch immer es war, es könnte wiederkommen.

Ich habe mein eigenes PagerDuty Konto eingerichtet. Ich habe eine Reihe von Haken, sodass es bei jedem Alarm eine Nachricht an meine intelligenten Glühbirnen sendet, um alle Lichter im Haus einzuschalten. Im Keller gibt es Flutlichter, denn ich will nicht mit dem herumspielen, was da unten ist. Klar, es war teuer, aber wenn man bedenkt, dass PagerDuty jetzt mindestens einmal pro Woche Alarm schlägt … denke ich, dass es die Investition wert ist.

Ich bin mir nicht sicher, wer dort alles arbeitet, aber ein großes Lob an das PagerDuty Team. Es ist schön zu sehen, dass ein Unternehmen das Wohl seiner Kunden so ernst nimmt. Ich bin ehrlich – wenn mein aktueller Job langfristig nicht klappt, werde ich mich wohl auch dort bewerben. Sie listen keine offenen Stellen für eine geheime Abteilung auf, die sich mit übernatürlichen Ereignissen befasst … aber ich wette, sie stellen ein.

Ich muss allerdings sagen: Sie Wirklich benötigen aussagekräftigere Fehlermeldungen.