„Denn das Kundenvertrauen ist für PagerDuty grundsätzlich die oberste Priorität, und das zeigt sich in Form von Zuverlässigkeit, Qualität, Sicherheit und all diesen Dingen. Was bei diesen Funktionen also wirklich entscheidend ist, ist, dass ein Mensch involviert ist.“

Ein Softwareentwickler, ein Datenwissenschaftler und ein Produktmanager betreten ein Generative KI Projekt… Mithilfe einer Technologie, die es vor einem Jahr noch nicht gab, identifizieren sie ein Kundenproblem, das sie möglicherweise lösen können, bauen auf den Erfahrungen ihrer Teamkollegen beim Erstellen von KI-Funktionen auf und testen, wie sie Eingaben einspeisen und Ausgaben in etwas Nützliches umwandeln können. Hören Sie das ganze Gespräch Hier .

Lesen Sie den in der Folge erwähnten Artikel Hier .

„Ich denke, es ist ein Wandel in der Technologiewelt. Wir hatten schon früher große Veränderungen wie den Browser, Mobilgeräte und ähnliches. Dies ist ein großer Wandel in der Branche, der auch disruptiv sein wird, und es macht Spaß, Teil davon zu sein.“

Mithilfe von chatGPT erstellte Zusammenfassung:

In dieser Folge von The Unplanned Show begrüßt der Moderator drei Gäste: Leeor Engel, leitender Engineering Manager bei PagerDuty, Everaldo Aguiar, leitender Manager im Data Science-Team von PagerDuty, und Ben Wiegelmann, Produktmanager mit Sitz in Lissabon. Die Diskussion dreht sich um die Herausforderungen bei der Verwaltung ungeplanter Arbeiten in stark digitalisierten Umgebungen und konzentriert sich insbesondere auf die kürzlich erfolgte Integration großer Sprachmodelle und generativer KI-Funktionen in die Produkte von PagerDuty. Das Gespräch befasst sich mit dem zugrunde liegenden Problem, das sie lösen wollten, nämlich die Optimierung der Kommunikation bei Vorfällen, wie z. B. Systemausfällen, und die Verringerung des Aufwands durch das Schreiben von Statusaktualisierungen. Ben Wiegelmann betont in seiner Rolle als Produktmanager, wie wichtig es ist, sich auf das Problem zu konzentrieren, anstatt sich in die Lösung zu verlieben, und hebt hervor, wie die generative KI-Funktion darauf abzielt, den Prozess der Zusammenfassung vorfallbezogener Gespräche und der Aktualisierung der Beteiligten zu vereinfachen und so letztlich die Reaktionsbemühungen zu optimieren.

„Wir wissen von Kunden, dass sie rund um die Uhr bis zu drei Leute in Bereitschaft haben, um die Beteiligten auf dem Laufenden zu halten. Und wir glauben, dass wir mit dieser Lösung die Überprüfung tatsächlich auf eine einzige Person reduzieren können.“

Als nächstes konzentriert sich die Diskussion auf die Herausforderungen der Nutzung von Large Language Models (LLMs) und generativer KI im Zusammenhang mit Statusaktualisierungen von Vorfällen bei PagerDuty. Der Moderator und die Gäste untersuchen, wie wichtig es ist, Kontext in die Technologie einzubetten und ein weit geöffnetes Gesprächsfenster zu vermeiden, um das Benutzererlebnis zu verbessern. Leeor Engel betont die Notwendigkeit eines menschlichen Einbezugs, um das Vertrauen und die Zuverlässigkeit der Kunden sicherzustellen, sodass Benutzer generierte Inhalte vor dem Senden verfeinern und korrigieren können. Das Gespräch befasst sich mit den Komplexitäten von Statusaktualisierungen während Vorfällen und beleuchtet die verschiedenen Phasen und den Stress, der mit der ersten Aktualisierung verbunden ist. Everaldo Aguiar erörtert, wie LLMs mit ihrer Fähigkeit, Kontext abzurufen und zu behalten, die Bewältigung von Vorfällen grundlegend verändern und eine einzigartige Schnittstelle für die Interaktion bieten. Das Interview unterstreicht die Bedeutung von LLMs bei der Überwindung von Sprachbarrieren und Schreibblockaden, da sie die Erstellung von Zusammenfassungen ermöglichen, die Benutzer vor der Kommunikation mit Stakeholdern überprüfen können.

„Diese Technologie, mit der man Daten aus unterschiedlichen Quellen sammeln und eine Zusammenfassung erstellen kann, während gleichzeitig sichergestellt wird, dass ich auf dem Laufenden bin und die Möglichkeit habe, zu überprüfen, was an meine Stakeholder gesendet wird, war etwas, das uns noch vor einem Jahr definitiv nicht zur Verfügung stand.“

Das Gespräch dreht sich um die Implementierung der neuen Technologie und die Herausforderungen, mit großen Sprachmodellen (LLMs) und generativer KI eine positive Benutzererfahrung zu gewährleisten. Ben Wiegelmann erörtert die drei Phasen, die Benutzer bei der Interaktion mit Produkten wie ChatGPT normalerweise durchlaufen, und betont, wie wichtig es ist, die Benutzererfahrung zu vereinfachen, um Frustration und zeitaufwändiges Engineering zu vermeiden. Leeor Engel hebt die Komplexität hinter den Kulissen hervor und weist auf die Notwendigkeit hin, sich an die unterschiedlichen Arten der Interaktion der Kunden mit PagerDuty anzupassen und gleichzeitig eine durchgängig positive Erfahrung aufrechtzuerhalten. Everaldo Aguiar bringt Nuancen in die Diskussion und erklärt, dass selbst bei der Abstraktion von Eingabeaufforderungen die Ausgabe von LLMs variieren kann, was zusätzliche Einschränkungen erfordert, um sicherzustellen, dass relevante und geeignete Informationen generiert werden, wobei Faktoren wie Zeitleistendetails zu berücksichtigen sind und unnötige Informationen vermieden werden müssen.

„Was wir mit unserem Produkt versucht haben, war: Wir haben gute KI-Leute in unserem Team, richtig? Sie sind Experten im Schreiben von Eingabeaufforderungen, und wir reduzieren es für den jeweiligen Anwendungsfall auf einen Klick, und die Person kann diese Magie mit einem Klick sehen und muss sich nicht die Frustration antun [und] muss nicht lernen, wie man Eingabeaufforderungen erstellt.“

Die Diskussion konzentriert sich dann auf die Kombination von Kunst und Wissenschaft bei der Implementierung großer Sprachmodelle (LLMs) und generativer KI und betont die Bedeutung der Einbettung bewährter Verfahren in die Technologie. Das Gespräch beleuchtet die Herausforderungen der Zusammenführung von Prompt-Engineering und Verfeinerungsprozessen und stützt sich dabei auf die impliziten bewährten Verfahren, die im Laufe der Jahre gesammelt wurden. Die Interviewpartner diskutieren die Bedeutung der Einbeziehung von Wissen über Daten und Verfeinerungsprozesse in die Prompts, um Benutzer zur effektiven Nutzung der Technologie zu führen. Das Gespräch berührt auch OpsGuides von PagerDuty , die öffentlich geteilt und nun in das Produkt integriert werden, um den Benutzern Best Practices für die Reaktion auf Vorfälle und die Kommunikation zu bieten. Das Interview wechselt zum Thema Datenquellen und untersucht die Nutzung von Unterhaltungen in Slack, Notizen in der Benutzeroberfläche und automatischen Zeitleistenaktualisierungen, um den Informationsreichtum zu verbessern, der in die LLM-Modelle eingespeist wird.

„Wir sparen dem Benutzer nicht nur Zeit, weil wir wissen: ‚Hey, diese Daten sind in diesem Kontext wertvoll‘, sondern wir wissen auch, wie man sie richtig erstellt. Und diese beiden Dinge kommen zusammen: die Kenntnis der Daten und die Verfeinerung und Kenntnis des Prozesses.“

Das Interview endet mit einer Diskussion über die Flexibilität der Kommunikationskanäle für Vorfalldaten, wobei die Bedeutung guter Daten für eine effektive KI-Ausgabe betont wird. Das Team zeigt sich begeistert über die sich entwickelnde Technologielandschaft, die rasante Entwicklung von KI-Funktionen und den einzigartigen Ansatz von PagerDuty bei der Einbettung von Technologie in das Produkt. Sie betonen die Bedeutung von Benutzerfeedback und entwickeln die Technologie weiter, um die Erwartungen der Kunden zu übertreffen. Das Gespräch endet mit einem Fokus auf das Potenzial von KI, zu beeindrucken, und der Erwartung, das System im Laufe der Zeit zu verfeinern und zu verbessern.

„Wir glauben, dass wir auch flexibel sein sollten, um Quellen auszutauschen. Das geht alles zurück auf dieses Big-Data-Zitat […] „Müll rein, Müll raus“. Und das ist auch das Problem, das wir hier mit KI haben. Es geht nicht nur um Big-Data-Analysen, sondern heute auch bei KI brauchen wir gute Daten, um gute Ergebnisse zu erzielen.“

Sehen Sie sich das Interview an: