«PagerDuty est depuis longtemps l'outil standard de DevOps, la même discipline que nous utilisons dans DataOps où toutes ces équipes envoient des signaux dans un seul outil, et nous sommes capables d'établir une corrélation entre plusieurs signaux. »

Il est loin le temps où les données étaient chargées par lots dans un entrepôt de données pour être analysées périodiquement dans des rapports de business intelligence. En cas de problème, seules quelques personnes en interne devaient attendre. Aujourd'hui, les pipelines de données sont « infiniment plus complexes », avec davantage de sources, des services cloud aux systèmes sur site, et des applications de données de support qui sont des éléments essentiels de l'écosystème d'une entreprise.

Dans cet épisode, Dormain Drewitz s'assoit avec Manu Raj, directeur principal de l'analyse et de l'ingénierie des données chez PagerDuty, et James Zhao, chef de produit senior chez Snowflake pour discuter de l'évolution de DataOps et de la manière dont il sera essentiel de prendre en charge les grands modèles de langage (LLM) en production.

Ressources mentionnées :
– Blog: Libérer le potentiel des alertes Snowflake et de PagerDuty Operations Cloud: améliorer les opérations de données | par Ravi Kumar | Juin, 2023 | Medium
– Andreessen Horowitz : Architectures émergentes du LLM

Résumé créé avec l'aide de chatGPT

Dans le segment d'ouverture de The Unplanned Show, l'animateur présente James Zhao de Snowflake et Manu Raj de PagerDuty pour discuter des défis du travail non planifié et de son impact sur les entreprises. La conversation aborde les capacités de base des grands modèles de langage (LLM) qui pilotent les fonctionnalités d'IA générative et ouvre la voie à une plongée en profondeur dans DataOps. Manu et James donnent notamment un aperçu de leurs rôles et discutent de la complexité croissante des opérations de données à l'ère du cloud et des systèmes sur site, mêlée à l'intégration d'outils d'IA générative.

« La complexité des opérations sur les données s’est désormais transformée en un mélange de tous ces outils réunis, ce qui constitue une situation très difficile pour DataOps. »

Ensuite, la discussion tourne autour de la complexité croissante de l'architecture des LLM (grands modèles de langage) et de son impact sur les opérations de données. L'animateur évoque l'architecture émergente des LLM d'Andreesen Horowitz et souligne les défis posés par la multitude de composants et de dépendances. La conversation aborde l'importance et la dépendance des entreprises vis-à-vis de systèmes de données complexes, ce qui conduit à une discussion entre James et Manu sur les perturbations dans le pipeline de données et les expériences client lorsque différents composants tombent en panne. James souligne le besoin croissant de pipelines de données résilients et mentionne les demandes des clients pour des fonctionnalités telles que l'ingestion de données en streaming et une observabilité améliorée. La conversation se tourne ensuite vers l'évolution du rôle de Snowflake au-delà d'un entrepôt de données, en mettant l'accent sur l'observabilité des données. James discute des efforts de Snowflake pour offrir aux clients une meilleure visibilité sur leurs comptes Snowflake, en introduisant des fonctionnalités telles qu'une table d'événements et des alertes natives pour une surveillance proactive. Manu exprime son enthousiasme quant à l'intégration des capacités d'observabilité de Snowflake avec PagerDuty, soulignant l'importance de ces notifications dans les opérations numériques modernes.

« Nous étions ravis de […] ces notifications provenant de Snowflake, et notre équipe a été la première à bondir de joie lorsque nous avons appris pour la première fois que Snowflake avait publié […] l’observabilité en plus de toutes les notifications d’événements de données de télémétrie en plus de Snowflake. »

La discussion tourne ensuite autour de l'adoption croissante des LLM et de l'importance de la maturité DataOps à mesure que les organisations se lancent dans des processus de données plus avancés. L'animateur souligne l'importance d'avoir une base DataOps solide pour construire des architectures LLM résilientes. James discute des récentes annonces de Snowflake et exprime son enthousiasme pour des fonctionnalités telles que le développement de modèles ML, Snow Park Container Services et Native Apps sur le Snowflake Data Cloud. Il souligne l'enthousiasme des clients pour l'exploration de données non structurées et l'extraction de valeur de celles-ci. La conversation se penche sur des cas d'utilisation spécifiques, notamment le partage de données client via des services de données conteneurisés. Manu partage l'intérêt de PagerDuty pour le partage de données client et discute du potentiel d'intégration d'une logique complexe dans des modèles de conteneurs.

« Nous [envisageons] d’utiliser le service de données conteneurisées pour partager des données avec d’autres clients [Snowflake]. Nous sommes en mesure d’insérer une partie de la logique complexe de PagerDuty, ce qui nous permet de l’intégrer dans les modèles de données et de la partager avec nos clients. »

L’entretien se termine par des réflexions sur l’évolution du paysage des opérations de données (DataOps) dans le contexte de l’IA générative et des grands modèles de langage (LLM). La discussion souligne l’importance d’avoir une base solide en matière de gouvernance, de qualité et d’observabilité des données à mesure que les organisations s’aventurent dans des architectures d’IA plus avancées. Les participants soulignent la nécessité de contrôles et d’outils pour gérer les hypothèses changeantes sur les données, garantissant leur exactitude et leur pertinence au fil du temps. La conversation aborde également les défis et l’urgence associés à la maintenance des applications de données alimentées par l’IA en temps réel et l’importance de la vigilance et des outils modernes dans cet espace en évolution rapide.

« Il est absolument essentiel que les éléments fondamentaux du maintien de la qualité et de l’observabilité des données – ces systèmes fondamentaux autour de la gouvernance et de la sécurité des données – [ces] fondations soient correctes dans votre écosystème. »

Regardez l'interview :