Generative KI wird voraussichtlich massive Auswirkungen auf die Wirtschaft haben. Diese Schlagzeilen veranlassen Softwareteams dazu, schnell darüber nachzudenken, wie sie generative KI in ihre Software integrieren können, da sie sonst Gefahr laufen, bei einem Umbruch ins Hintertreffen zu geraten. Doch im Trubel einer disruptiven Technologie besteht auch ein hohes Risiko, dass Investitionen verschwendet und das Vertrauen der Kunden verloren geht.

Wie können Softwareteams mithilfe generativer KI schnell überzeugende Funktionen entwickeln, ohne Ressourcen zu verschwenden, schmerzhafte technische Schulden zu machen oder das Vertrauen der Kunden zu verlieren? Nach Gesprächen mit Datenwissenschaftlern, Dateningenieuren und Produktmanagern, die an KI-generierten Funktionen arbeiten, haben sich einige Muster herauskristallisiert.

1. Haben Sie einen klaren Anwendungsfall, der ein Problem löst

Es passiert leicht, dass man sich vom Hype einer sich schnell entwickelnden Technologie mitreißen lässt. Doch nichts ist verschwenderischer, als auf der Suche nach einem Problem eine Lösung zu entwickeln. In einem kürzlichen Interview sagte Mitra Goswami , Senior Director of Data Science bei PagerDuty, betont die Notwendigkeit, sich auf einen Anwendungsfall zu konzentrieren: „Welches Problem versuchen Sie letztendlich zu lösen?“

Dieser Ratschlag ist nicht nur philosophisch sinnvoll. Er hat direkte Auswirkungen auf wichtige Entscheidungen, die Sie treffen müssen. „Einige Modelle sind zu groß“, sagte Goswami über die Art und Weise, wie der Anwendungsfall Anforderungen mit sich bringen kann. „Große Sprachmodelle wie GPT 3.5 oder 4 sind beispielsweise fast magisch, können aber enorme Mengen an Prozessorzyklen verbrauchen und kostspielig sein. Kleinere, stärker auf Branchen oder Unternehmen ausgerichtete Sprachmodelle können oft bessere, auf die Geschäftsanforderungen zugeschnittene Ergebnisse liefern und haben geringere Latenzzeiten, insbesondere bei Echtzeitanwendungen.“

Um einen Anwendungsfall zu identifizieren, ist es hilfreich, den Anwendungsfall zu berücksichtigen, den Sie lösen möchten: Zusammenfassung, Chatbots, Codegenerierung. Um den Umfang noch weiter zu vertiefen, stellte Goswami jedoch weitere Fragen. Sie empfiehlt, über die Auswirkungen auf den Kunden nachzudenken: „Wird dieser Anwendungsfall meinen Kunden Erleichterung verschaffen? Wird er dadurch Geld sparen?“ Wenn Sie Ihre Anwendungsfälle auf diese Weise testen, können Sie sicherstellen, dass Sie etwas entwickeln, das Mehrwert bietet.

2. Sorgen Sie für eine solide Datengrundlage

Organisationen, die bereits seit einiger Zeit datenintensive Funktionen entwickeln, müssen bei generativer KI nicht bei Null anfangen. „Wir beschäftigen uns schon lange mit KI“, erklärte Goswami. Sie hält eine solide Datenarchitektur für entscheidend, um mit generativer KI schnell voranzukommen. Laut Goswami ist eine robuste Infrastruktur unerlässlich, um die Fähigkeiten von Sprachmodellen (LLMs) und LLM-Anbietern effektiv zu nutzen.

„Zuallererst ist eine Datenspeicherlösung, häufig ein Datensee, unerlässlich, um große Mengen Textdaten für das Training und die Feinabstimmung von Modellen unterzubringen. Skalierbarkeit ist ebenfalls entscheidend, um variable Arbeitslasten zu bewältigen, während eine gut konzipierte API-Schicht eine nahtlose Integration mit LLM-Diensten ermöglicht. Umfassende Überwachungs-, Protokollierungs- und Kostenmanagementsysteme helfen dabei, die Infrastruktur intakt zu halten und die Kosten zu optimieren.“

Was bedeutet es, wenn eine Datenumgebung gesund ist? Laut Manu Raj , Senior Director of Analytics and Data Engineering bei PagerDuty, gibt es einige wichtige Anforderungen. „Es ist absolut notwendig, dass [Sie] über die grundlegenden Elemente verfügen, um diese Datenqualität und Datenbeobachtung aufrechtzuerhalten.“

3. Bleiben Sie flexibel in Ihrem Ansatz

Das Tempo des Wandels in der KI ist enorm. ChatGPT wurde vor weniger als einem Jahr eingeführt und hatte in weniger als zwei Monaten 100 Millionen Benutzer. Im Juli 2023 sorgte Meta mit der Veröffentlichung von Llama 2 erneut für Aufsehen. Dank starker Open-Source-Beteiligung und hoher Investitionen entwickeln sich die zugrunde liegenden großen Sprachmodelle (LLMs) und die sie umgebenden Dienste ständig weiter. Und zwar schnell.

Für Datenwissenschaftler und -ingenieure bedeutet das, dass sich die Auswahlmöglichkeiten ständig ändern. Auf „klare Gewinner“ zu warten, ist jedoch keine Option. Das Risiko, zu lange mit dem Aufbau zu warten, wird gegen das Risiko abgewogen, auf einer Technologie aufzubauen, die veraltet. Um den Fortschritt mit dem potenziellen Änderungsbedarf in Einklang zu bringen, ist ein flexibler Ansatz erforderlich.

„Wir waren bei der Wahl des Modells sehr flexibel“, erklärte Goswami. Flexibilität ermöglicht es dem Team, bei Bedarf in Zukunft Änderungen vorzunehmen. Das bedeutet aber nicht, dass man sich ständig ändern muss. Goswami betonte, dass man auf diesen Anwendungsfall hinarbeiten und nicht nur um der Änderung willen ändern muss. „Es ist ein sich ständig entwickelndes Feld, also muss man sich in eine Richtung bewegen“, bemerkte sie. „Ändern Sie nicht jeden Tag etwas, denn dieses Feld entwickelt sich stark weiter. Arbeiten Sie auf etwas hin.“

4. Beginnen Sie mit Designprinzipien

So gelobt „Schnell vorankommen und Dinge kaputt machen“ auch als Entwicklungsmantra ist, dieser Ansatz kann zu toxischen technischen Schulden führen. Langsame und aufwändige Architekturprüfungen können jedoch Innovationen verhindern. Wie haben Goswami und sein Team die Balance gefunden, schnell voranzukommen, die Architektur aber nicht in die Enge zu treiben?

„Wir haben schon früh mit dem Schreiben eines Designdokuments begonnen“, erklärte sie. Das Dokument enthält Architekturmuster und Angaben dazu, wie mit Anbietern oder Open-Source-Modellen interagiert werden soll. Dies gibt dem Team in Zukunft Flexibilität und minimiert Störungen. „Beim Aufbau einer Language Model-as-a-Service-Architektur ist es aus mehreren Gründen von größter Bedeutung, mit Designprinzipien zu beginnen. Designprinzipien dienen als Orientierungsrahmen und stellen sicher, dass die Architektur auf die beabsichtigten Ziele ausgerichtet ist, sei es natürliches Sprachverständnis, Inhaltsgenerierung oder Datenanalyse.

„Sie erleichtern die Konsistenz und Klarheit bei der Entscheidungsfindung und führen zu einer effizienten und qualitativ hochwertigen Architektur. Designprinzipien helfen auch dabei, sich auf benutzerzentriertes Design zu konzentrieren und sicherzustellen, dass die LLM-Dienste die Bedürfnisse und Erwartungen der Benutzer effektiv erfüllen. Im Wesentlichen ist es für die Erstellung einer robusten, benutzerzentrierten und anpassbaren LLM-Architektur unerlässlich, mit Designprinzipien zu beginnen. Das Data Science-Team von PagerDuty hat sehr eng mit dem Architecture Strategy Team und dem Chefarchitekten Philip Jacob zusammengearbeitet, um eine LLM-as-a-Service-Architektur zu erstellen.“

Indem das Team davon ausgeht, dass Änderungen unvermeidlich sind, kann es Änderungen planen. Um Änderungen zu planen, muss man über die Schnittstellen und Interaktionen zwischen verschiedenen Komponenten nachdenken. Auf diese Weise kann sich eine Komponente – wie beispielsweise ein LLM – mit gut verständlichen Auswirkungen auf den Rest der Architektur ändern. Ich habe schon einmal darüber geschrieben Zu den weiteren nützlichen Elementen zur Unterstützung von Änderungen zählen Tests und CI/CD-Pipelines.

5. Legen Sie klare Richtlinien für Datenschutz und Verantwortung fest

Datenschutz ist für Benutzer das wichtigste Thema, wenn sie sich neue Funktionen und Produkte ansehen, die auf LLMs basieren. Vertrauen aufzubauen ist eine gemeinsame Verantwortung vieler Teams, vom Produkt bis zur Datenwissenschaft und mehr. Um sicherzustellen, dass Teams verantwortungsbewusst arbeiten, empfiehlt Goswami Richtlinien, auf die sich Teams beziehen können.

„Wir müssen sehr bewusst darauf achten, wie wir unsere Daten nutzen“, erklärt Goswami. „Wir lassen unsere Kunden wissen, dass sie die Möglichkeit haben, sich anzumelden.“ Transparenz und Opt-in-Optionen sind in den öffentlichen Richtlinien von PagerDuty für die sichere Nutzung generativer KI veröffentlicht. Und PagerDuty ist damit nicht allein. „Immer mehr Anbieter erklären und bewegen sich in Richtung eines Ansatzes, bei dem die Interaktion mit der KI nicht in den Trainingsdaten für die KI verwendet wird“, bemerkte Jake Cohen , Senior Product Manager bei PagerDuty.

„Wir haben das, was wir mit der KI teilen, auf ein Minimum beschränkt“, erklärte Cohen. Auch über Datenschutzbedenken hinaus kann es funktionale Gründe geben, das, was von der KI abhängt, einzuschränken. Cohen beschrieb, wie er isoliert, wo KI-generierte Runbooks KI verwenden. „Wir denken sehr kritisch darüber nach, wofür wir die KI verwenden müssen und wo wir klassische Software verwenden können.“

6. Einen Rahmen zum Vergleichen haben

Datenwissenschaftler verwenden schon seit langem Vertrauenswerte für prädiktive Modelle und andere Mittel, um die Ergebnisse eines Modells zu verstehen und zu bewerten. Auf dieser Grundlage können die Teams den schnellsten und effizientesten Ansatz finden, der dennoch die gewünschte Genauigkeit erreicht. Ebenso ist die Genauigkeit der generativen KI nur ein zu bewertender Faktor.

„Wenn Sie nicht messen, wissen Sie nicht, wovon Sie sprechen“, erklärte Goswami. „Wir wollten in unserem Ansatz quantitativ sein und haben daher einen Rahmen geschaffen.“ Goswami und sein Team berücksichtigten mehrere Faktoren wie Kosten, Latenz und Genauigkeit. „Wir haben einen Rahmen geschaffen, der es uns erleichtert, diese Elemente im gesamten Portfolio der uns zur Verfügung stehenden LLMs zu vergleichen.“

Ein solcher Rahmen ist auch hilfreich, wenn neue LLMs oder andere Technologieoptionen auftauchen. Das Team kann neue Optionen mit allem vergleichen, was zuvor getestet wurde. Anstatt dem Hype hinterherzulaufen, kann das Team datengestützte Entscheidungen darüber treffen, welche neuen Optionen verfolgt werden sollen. Und bestehende Optionen können routinemäßig anhand dieser Benchmarks getestet werden, um sicherzustellen, dass die Leistung im Vergleich zu anderen Optionen nicht nachgelassen hat.

7. Integrieren Sie bewährte Methoden

Bei jeder Art von Automatisierung besteht die Möglichkeit, die richtige Vorgehensweise zu kodieren. Schließlich sind Computer besser als Menschen dafür geeignet, sich wiederholende Aufgaben jedes Mal auf die gleiche Weise auszuführen. Eine ähnliche Möglichkeit besteht beim Erstellen mit generativer KI. Im Gegensatz zu einem offenen Eingabefeld ermöglicht ein strukturierterer Ansatz für KI-generierte Ausgaben den Benutzern, von Fachwissen zu profitieren.

Ein Beispiel dafür ist, wie die KI-generierten Runbooks von PagerDuty so konzipiert sind, dass sie Plug-ins verwenden, sofern diese verfügbar sind. Anstatt eine Verbindung zu einem anderen System wie Ansible oder einem AWS-Dienst neu herzustellen, verwendet die KI das Plug-in erneut. Neben der Wiederverwendung bemerkte Cohen, dass dieser Ansatz auch besser handhabbar sei: „Der Vorteil der Aufteilung dieses Workflows in diese Schritte, die diese Plug-ins nutzen, besteht darin, dass der Job dadurch veränderlicher und debuggbarer wird.“

Einige Best Practices können nicht direkt in die Ausgabe eingebettet werden, aber sie können in die Benutzererfahrung integriert werden. „Wir haben uns dafür entschieden, bei jedem Job, der mithilfe der KI generiert wird, einen fettgedruckten Hinweis in der Stellenbeschreibung anzubringen, der besagt: ‚Beachten Sie, dass dieser Job mithilfe der KI generiert wurde. Es empfiehlt sich, dies zu überprüfen und den ersten Aufruf in einer nicht unternehmenskritischen Umgebung durchzuführen.‘“, beschrieb Cohen. „Dasselbe gilt für neue Automatisierungen, die von Menschen erstellt werden, selbst von erfahrenen Menschen.“ Indem man Menschen an die Best Practices mit KI-Ausgaben erinnert, können jüngere Teammitglieder schnell und sicher einsteigen.
Durch die Befolgung dieser Praktiken konnte das PagerDuty -Team mithilfe generativer KI schnell nützliche Funktionen für Kunden entwickeln. Sie reduzieren auch das Risiko von technischen Schulden, Zeit- und Ressourcenverschwendung und dem Verlust des Kundenvertrauens. Lesen Sie mehr über PagerDutys Erkenntnisse aus der Entwicklung von LLMs für die Reaktion auf Vorfälle .