« Parce que la confiance des clients est la priorité numéro un de PagerDuty, et cela se traduit par la fiabilité, la qualité, la sécurité, etc. Ce qui devient donc vraiment essentiel dans ces fonctionnalités, c'est qu'il y ait un humain dans la boucle. »

Un ingénieur logiciel, un data scientist et un chef de produit entrent dans un IA générative projet… En utilisant une technologie qui n'existait pas il y a un an, ils identifient un problème client qu'ils pourraient être en mesure de résoudre, s'appuient sur l'expérience de leurs coéquipiers dans la création de fonctionnalités d'IA et testent comment alimenter les entrées et contraindre les sorties en quelque chose d'utile. Écoutez la conversation complète ici .

Lire l'article référencé dans l'épisode ici .

« Je pense que c'est un changement dans le monde de la technologie. Nous avons déjà connu de grands changements auparavant, comme l'avènement des navigateurs, du mobile et d'autres choses de ce genre. C'est un grand changement dans l'industrie, et cela va également être disruptif, et c'est amusant d'y participer. »

Résumé généré avec l'aide de chatGPT :

Dans cet épisode de The Unplanned Show, l'animateur accueille trois invités, Leeor Engel, responsable ingénieur senior chez PagerDuty, Everaldo Aguiar, responsable senior de l'équipe de science des données chez PagerDuty, et Ben Wiegelmann, chef de produit basé à Lisbonne. La discussion porte sur les défis de la gestion du travail non planifié dans des environnements hautement numérisés, en se concentrant notamment sur l'intégration récente de grands modèles de langage et de capacités d'IA générative dans les produits de PagerDuty. La conversation se penche sur le problème sous-jacent qu'ils cherchaient à résoudre, qui consiste à rationaliser la communication lors d'incidents, tels que les pannes de système, et à réduire la charge de travail liée à la rédaction des mises à jour de statut. Ben Wiegelmann, dans son rôle de chef de produit, souligne l'importance de rester concentré sur le problème plutôt que de tomber amoureux de la solution, soulignant comment la fonction d'IA générative vise à simplifier le processus de synthèse des conversations liées aux incidents et de mise à jour des parties prenantes, optimisant ainsi les efforts de réponse.

« Nous savons que nos clients ont jusqu’à trois personnes disponibles 24 heures sur 24 et 7 jours sur 7 pour simplement tenir les parties prenantes informées. Nous pensons qu’avec cette solution, nous pouvons également réduire ce nombre à une seule personne. »

Ensuite, la discussion porte sur les défis liés à l'utilisation de grands modèles linguistiques (LLM) et de l'IA générative dans le contexte des mises à jour de statut des incidents chez PagerDuty. L'animateur et les invités explorent l'importance d'intégrer le contexte dans la technologie et d'éviter une fenêtre de conversation largement ouverte pour améliorer l'expérience utilisateur. Leeor Engel souligne la nécessité d'une intervention humaine dans la boucle pour garantir la confiance et la fiabilité des clients, permettant aux utilisateurs d'affiner et de corriger le contenu généré avant de l'envoyer. La conversation se penche sur les complexités des mises à jour de statut lors des incidents, en soulignant les différentes phases et le stress associé à la mise à jour initiale. Everaldo Aguiar explique comment les LLM, avec leur capacité à rappeler et à conserver le contexte, servent de changeur de jeu dans la gestion des incidents, en fournissant une interface unique pour l'interaction. L'entretien souligne l'importance des LLM pour surmonter les barrières linguistiques et le blocage de l'écrivain, permettant la génération de résumés que les utilisateurs peuvent consulter avant de communiquer avec les parties prenantes.

« Disposer de cette technologie qui peut m'aider à collecter des données provenant de différentes sources et à générer un résumé tout en m'assurant d'être au courant et d'avoir la possibilité d'examiner ce qui est envoyé à mes parties prenantes est définitivement quelque chose que nous n'avions pas à notre disposition il y a à peine un an. »

La discussion se tourne vers la mise en œuvre de la nouvelle technologie et les défis à relever pour garantir une expérience utilisateur positive avec les grands modèles de langage (LLM) et l'IA générative. Ben Wiegelmann évoque les trois phases que les utilisateurs traversent généralement lorsqu'ils interagissent avec des produits comme ChatGPT, en soulignant l'importance de simplifier l'expérience utilisateur pour éviter la frustration et l'ingénierie rapide. Leeor Engel met en évidence les complexités en coulisses, en soulignant la nécessité de s'adapter aux différentes façons dont les clients interagissent avec PagerDuty tout en maintenant une expérience positive cohérente. Everaldo Aguiar apporte des nuances à la discussion, expliquant que même avec l'abstraction des invites, le résultat des LLM peut varier, ce qui nécessite des contraintes supplémentaires pour garantir la génération d'informations pertinentes et appropriées, en tenant compte de facteurs tels que les détails de la chronologie et en évitant les informations inutiles.

« Ce que nous avons essayé avec notre produit, c'est que nous avons de bons spécialistes de l'IA dans notre équipe, n'est-ce pas ? Ce sont des experts en matière d'invites de rédaction, et nous réduisons cela à un seul clic pour un cas d'utilisation spécifique, et la personne peut voir cette magie en un seul clic et n'a pas à subir de frustration [et] n'a pas à apprendre l'ingénierie des invites. »

La discussion porte ensuite sur la combinaison de l'art et de la science dans la mise en œuvre de grands modèles linguistiques (LLM) et de l'IA générative, en soulignant l'importance d'intégrer les meilleures pratiques dans la technologie. La conversation met en évidence les défis liés à la fusion de l'ingénierie des invites et des processus de raffinement, en s'appuyant sur les meilleures pratiques implicites accumulées au fil des années d'expérience. Les personnes interrogées discutent de l'importance d'intégrer les connaissances sur les données et les processus de raffinement dans les invites pour guider les utilisateurs vers une utilisation efficace de la technologie. La conversation aborde également Guides d'utilisation de PagerDuty , qui sont partagées publiquement et désormais intégrées au produit, offrant aux utilisateurs les meilleures pratiques en matière de réponse aux incidents et de communication. Passant au sujet des sources de données, l'entretien explore l'utilisation des conversations dans Slack, des notes dans l'interface utilisateur et des mises à jour automatiques de la chronologie pour améliorer la richesse des informations introduites dans les modèles LLM.

« Ce n'est pas seulement que nous faisons gagner du temps à l'utilisateur parce que nous savons : « Hé, ces données sont précieuses dans ce contexte », mais aussi que nous avons la bonne façon de les concevoir, et ces deux choses se combinent, la connaissance des données et le raffinement et la connaissance du processus. »

L'entretien se termine par une discussion sur la flexibilité des canaux de communication pour les données d'incident, soulignant l'importance de données de qualité pour une production d'IA efficace. L'équipe exprime son enthousiasme face à l'évolution du paysage technologique, au développement rapide des fonctionnalités d'IA et à l'approche unique adoptée par PagerDuty pour intégrer la technologie dans le produit. Ils soulignent l'importance des commentaires des utilisateurs et itèrent sur la technologie pour dépasser les attentes des clients. La conversation se termine par une focalisation sur le potentiel de l'IA pour impressionner et l'anticipation de l'affinage et de l'amélioration du système au fil du temps.

« Nous pensons que nous devons également être flexibles pour changer de source. Cela renvoie à cette citation sur le Big Data […] « garbage in, garbage out ». Et c'est aussi le problème que nous avons ici avec l'IA. Il ne s'agit pas seulement d'analyses de Big Data, mais aujourd'hui aussi avec l'IA, nous avons besoin de bonnes données pour avoir de bons résultats. »

Regardez l'interview :