„PagerDuty ist seit langem das Standardtool in DevOps, derselben Disziplin, die wir in DataOps nutzen, wo alle diese Teams Signale an ein einziges Tool senden und wir in der Lage sind, mehrere Signale zu korrelieren.“

Die Zeiten, in denen Daten stapelweise in ein Data Warehouse geladen wurden, um Business-Intelligence-Berichte zu erstellen, die regelmäßig überprüft wurden, und wenn etwas nicht funktionierte, mussten nur ein paar interne Mitarbeiter warten. Heute sind Datenpipelines „unendlich viel komplizierter“ und umfassen mehr Quellen von Cloud-Diensten bis hin zu lokalen Systemen sowie unterstützende Datenanwendungen, die kritische Teile des Ökosystems eines Unternehmens sind.

In dieser Folge trifft sich Dormain Drewitz mit Manu Raj, Senior Director of Analytics and Data Engineering bei PagerDuty, und James Zhao, Senior Product Manager bei Snowflake, um die Entwicklung von DataOps und die Bedeutung seiner Unterstützung für große Sprachmodelle (LLMs) in der Produktion zu besprechen.

Erwähnte Ressourcen:
– Blog: Das Potenzial von Snowflake Alerts und PagerDuty Operations Cloud freisetzen: Datenoperationen verbessern | von Ravi Kumar | Juni 2023 | Medium
– Andreessen Horowitz: Neue LLM-Architekturen

Zusammenfassung erstellt mit Hilfe von chatGPT

Im Eröffnungssegment von The Unplanned Show stellt der Moderator James Zhao von Snowflake und Manu Raj von PagerDuty vor, um die Herausforderungen ungeplanter Arbeit und ihre Auswirkungen auf Unternehmen zu diskutieren. Das Gespräch berührt die Kernfunktionen großer Sprachmodelle (LLMs), die generative KI-Funktionen vorantreiben, und bereitet die Bühne für einen tiefen Einblick in DataOps. Insbesondere geben Manu und James Einblicke in ihre Rollen und diskutieren die zunehmende Komplexität von Datenoperationen im Zeitalter von Cloud- und On-Premise-Systemen, gemischt mit der Integration generativer KI-Tools.

„Die Komplexität der Datenoperationen hat sich mittlerweile in eine Mischung aus all diesen zusammenkommenden Tools verwandelt, wodurch sich DataOps nun in einer sehr herausfordernden Situation befindet.“

Als nächstes dreht sich die Diskussion um die zunehmende Komplexität der LLM-Architektur (Large Language Models) und ihre Auswirkungen auf Datenoperationen. Der Moderator erwähnt die aufkommende LLM-Architektur von Andreesen Horowitz und hebt die Herausforderungen hervor, die sich durch die Vielzahl von Komponenten und Abhängigkeiten ergeben. Das Gespräch berührt die geschäftliche Bedeutung und Abhängigkeit von komplexen Datensystemen, was zu einer Diskussion zwischen James und Manu über Störungen in der Datenpipeline und Kundenerfahrungen führt, wenn verschiedene Komponenten ausfallen. James betont den wachsenden Bedarf an widerstandsfähigen Datenpipelines und erwähnt Kundenanforderungen nach Funktionen wie der Aufnahme von Streaming-Daten und verbesserter Beobachtbarkeit. Das Gespräch verlagert sich dann auf die sich entwickelnde Rolle von Snowflake über ein Data Warehouse hinaus, mit einem Schwerpunkt auf der Datenbeobachtbarkeit. James erörtert die Bemühungen von Snowflake, Kunden mehr Einblick in ihre Snowflake-Konten zu geben, und führt Funktionen wie eine Ereignistabelle und native Warnungen für eine proaktive Überwachung ein. Manu zeigt sich begeistert über die Integration der Beobachtbarkeitsfunktionen von Snowflake mit PagerDuty und betont die Bedeutung dieser Benachrichtigungen für moderne digitale Operationen.

„Wir waren begeistert von […] diesen Benachrichtigungen von Snowflake, und unser Team war das erste, das vor Freude in die Gänge kam, als wir zum ersten Mal hörten, dass Snowflake […] zusätzlich zu all den Benachrichtigungen über Telemetriedatenereignisse auf Snowflake eine Beobachtbarkeit herausbrachte.“

Anschließend dreht sich die Diskussion um die zunehmende Einführung von LLMs und die Bedeutung der DataOps-Reife, wenn sich Unternehmen mit fortgeschritteneren Datenprozessen befassen. Der Moderator betont die Bedeutung einer robusten DataOps-Grundlage für den Aufbau robuster LLM-Architekturen. James bespricht die jüngsten Ankündigungen von Snowflake und äußert sich begeistert über Funktionen wie die Entwicklung von ML-Modellen, Snow Park Container Services und Native Apps auf der Snowflake Data Cloud. Er betont die Begeisterung der Kunden für die Erforschung unstrukturierter Daten und deren Wertschöpfung. Das Gespräch befasst sich mit spezifischen Anwendungsfällen, einschließlich der gemeinsamen Nutzung von Kundendaten über containerisierte Datendienste. Manu teilt das Interesse von PagerDuty an der gemeinsamen Nutzung von Kundendaten und erörtert das Potenzial für die Einbettung komplexer Logik in Containermodelle.

„Wir [erwägen], den containerisierten Datendienst zu nutzen, um Daten mit anderen [Snowflake]-Kunden zu teilen. Wir können einige der […] komplexen Logikelemente von PagerDuty einfügen, sodass wir sie in die Datenmodelle einbetten und mit unseren Kunden teilen können.“

Das Interview endet mit Überlegungen zur sich entwickelnden Landschaft der Datenoperationen (DataOps) im Kontext generativer KI und großer Sprachmodelle (LLMs). Die Diskussion betont die Bedeutung einer soliden Grundlage in Datenverwaltung, -qualität und -beobachtung, wenn sich Unternehmen in fortschrittlichere KI-Architekturen wagen. Die Teilnehmer betonen die Notwendigkeit von Kontrollen und Tools, um sich ändernde Annahmen über Daten zu verwalten und deren Genauigkeit und Relevanz im Laufe der Zeit sicherzustellen. Das Gespräch berührt auch die Herausforderungen und die Dringlichkeit, die mit der Wartung von Datenanwendungen verbunden sind, die auf Echtzeit-KI basieren, und die Bedeutung von Wachsamkeit und modernen Tools in diesem sich schnell entwickelnden Bereich.

„Es ist absolut notwendig, dass die grundlegenden Elemente zur Aufrechterhaltung dieser Datenqualität und Datenbeobachtung – diese grundlegenden Systeme rund um Datenverwaltung und -sicherheit – [diese] Grundlagen in Ihrem Ökosystem korrekt sind.“

Sehen Sie sich das Interview an: