- PagerDuty /
- Der Blog /
- Betriebsleistung /
- Schuldlose Obduktionen – Strategien für den Erfolg
Der Blog
Schuldlose Obduktionen – Strategien für den Erfolg
Wenn etwas schief geht, ist es für das Verständnis von Fehlern entscheidend, das „Was“ herauszufinden, ohne sich Gedanken über das „Wer“ zu machen. Zwei Engineering-Manager erläutern ihre Strategien für die Durchführung von Post-Mortem-Analysen ohne Schuldzuweisungen.
In komplexen Systemen ist ein Versagen unvermeidlich. Es ist zwar verlockend, die Schuld einer einzelnen Person zu geben, aber Sidney Dekker , sind diese Fehler normalerweise das Ergebnis umfassenderer Designprobleme in unseren Systemen. Die gute Nachricht ist, dass wir Systeme so gestalten können, dass das Risiko menschlicher Fehler reduziert wird. Dazu müssen wir jedoch die vielen Faktoren berücksichtigen, die zu Fehlern beitragen – sowohl systemische als auch menschliche. Schuldlose Obduktionen , bei denen es nicht darum geht, herauszufinden, wer einen Fehler gemacht hat, sondern wie der Fehler gemacht wurde, sind ein hilfreiches Tool. Zwar ist die Durchführung eines solchen Projekts keine leichte Aufgabe, aber der Aufwand lohnt sich. Hier beschreiben zwei Engineering-Manager einige der Herausforderungen und erzählen, wie sie Postmortem-Analysen erfolgreich durchführen, ohne Schuldzuweisungen vorzunehmen.
Beginnen Sie mit der richtigen Einstellung
Die Einstellung, die Sie zur Diskussion einnehmen, ist entscheidend und gibt den Ton für das gesamte Gespräch an. „Sie ignorieren den Teil ‚diese Person hat das getan‘“, erklärt Arup Chakrabarti, Engineering Manager bei PagerDuty . „Am wichtigsten ist die Wirkung auf den Kunden, und darauf konzentrieren Sie sich.“
Mike Panchenko, CTO bei Opsmatic, sagt, dass der Ansatz auf der Annahme basiert, dass niemand einen Fehler machen möchte. „Jeder muss davon ausgehen, dass alle anderen zur Arbeit kommen, um gute Arbeit zu leisten“, sagt er. „Wenn jemand etwas Schlechtes getan hat, liegt das nicht an seinem Charakter oder seinem Engagement, sondern einfach daran, dass Computer schwierig sind und man oft einfach Dinge kaputt macht.“
Keine Angst vor dem Scheitern
Denn das wird passieren. „Eines sage ich meinem Team immer: Wenn sie nicht ab und zu Fehler machen, kommen sie wahrscheinlich nicht schnell genug voran“, sagt Chakrabarti. „Wichtig ist, dass man so schnell wie möglich aus seinen Fehlern lernt, sie schnell behebt und weiter vorankommt.“
Schuldzuweisungen im Keim ersticken
Hier gibt es keine Abkürzungen. „Man muss ganz offen sagen: ‚Hey, ich werde es nicht dulden, dass Person A Person B beschuldigt‘“, sagt Chakrabarti. „Man muss es sofort ansprechen, was unangenehm ist. Aber man muss es tun, sonst gibt man demjenigen, der es tut, freie Hand.“
Panchenko stimmt dem zu: „Ich bin ein ziemlich direkter Typ. Wenn ich also sehe, dass so etwas passiert, sage ich sofort: ‚Hör auf damit.‘“
Das gilt auch für die Schuldzuweisung
„Die Leute neigen von Natur aus dazu, die Schuld auf sich zu nehmen“, sagt Panchenko. „Aber oft ist es der letzte Tropfen, der das Fass zum Überlaufen bringt und das System zum Absturz bringt.“ Er beschreibt einen kürzlichen Ausfall, bei dem eine Reihe von Knoten aufgrund eines Fehlers in einer Automatisierungsbibliothek neu gestartet wurden. Dieser Fehler wurde durch das Wiederauftauchen eines seit langem veralteten Chef-Rezepts in der Ausführungsliste ausgelöst. Das Rezept wiederum wurde aufgrund eines Missverständnisses über den Zweck einer Rollendatei, die nach einer anderen Migration/Veraltung übrig geblieben war, wieder zur Ausführungsliste hinzugefügt. Die Entwicklung des Ganzen dauerte über einen Monat. „Wer auch immer als nächster diesen Befehl ausführte, wäre auf diese Mine geraten“, sagt er, „und normalerweise erwartet die Person, die den fatalen Tastendruck ausführt, dass man ihr die Schuld gibt. Die größte Herausforderung für mich besteht darin, die Leute dazu zu bringen, sich zu entspannen und die Tatsache zu akzeptieren, dass der Zweck der Nachbesprechung nicht darin besteht, herauszufinden, wer wegen des Ausfalls gefeuert wird.“
Behandeln Sie anhaltende Leistungsprobleme später
Es ist ganz natürlich, Bedenken zu haben, Dinge mitzuteilen, die nicht gut gelaufen sind, wenn Ihre Arbeitsleistung oder Glaubwürdigkeit auf dem Spiel stehen könnte. Der Trick besteht darin, anhaltende Leistungsprobleme von „Fehlern“ zu unterscheiden, die aufgrund von Mängeln in Ihren Prozessen oder Designs auftreten.
Panchenko achtet darauf, welche Art von Fehler gemacht wurde. „Sobald Sie einen Fehler einer bestimmten Art feststellen, sollten Sie Überwachungs- oder Sicherheitsmaßnahmen einführen“, sagt er. „Wenn Sie das tun, ist jemand vor allem dann ein schwarzes Schaf, wenn er den Prozess nicht befolgt. Darauf achte ich also: Haben wir einen Prozess eingerichtet, um Fehler zu vermeiden, und passieren die Fehler, weil der Prozess umgangen wird, oder muss der Prozess verbessert werden?“
Und manchmal muss man tatsächlich Leute entlassen. „Ich habe schon Fälle erlebt, in denen eine einzelne Person immer wieder den gleichen Fehler machte. Man musste sie coachen und ihr die Möglichkeit geben, ihn zu beheben“, sagt Chakrabarti. „Aber nach einiger Zeit muss man zu solchen Maßnahmen greifen.“
Holen Sie sich die Zustimmung der Geschäftsleitung
Arup und Mike sind sich einig, dass erfolgreiche Postmortem-Analysen ohne Schuldzuweisung ohne die Unterstützung des oberen Managements nicht funktionieren. „Dafür braucht man Unterstützung von oben“, sagt Chakrabarti, „und der Grund dafür ist, dass Postmortem-Analysen ohne Schuldzuweisung mehr Arbeit erfordern. Es ist sehr einfach, in einen Raum zu gehen und zu sagen: ‚Dave war es, lasst uns ihn einfach feuern und wir haben das Problem behoben.‘“ Stattdessen sagt man den Führungskräften jedoch, dass jemand aus Ihrem Team nicht nur einen teuren Ausfall verursacht hat, sondern auch an der Behebung beteiligt sein wird. „Fast jede Führungskraft wird sich darüber große Sorgen machen“, sagt er.
„Eines ist definitiv wahr: Der Ton muss von oben vorgegeben werden“, sagt Panchenko. „Und dieser Ton muss über Post-Mortem-Berichte hinausgehen.“
Haben Sie an einer Post-Mortem-Besprechung ohne Schuldzuweisungen teilgenommen oder diese geleitet? Wir würden gerne mehr über Ihre Erfahrungen erfahren – hinterlassen Sie uns unten einen Kommentar!