L'IA générative devrait avoir un impact considérable sur l'économie. Ces gros titres poussent les équipes de développement logiciel à réfléchir rapidement à la manière dont elles peuvent intégrer l'IA générative dans leurs logiciels, au risque de se retrouver à la traîne en cas de bouleversement. Mais dans l'effervescence d'une technologie disruptive, il existe également un risque élevé de gaspillage d'investissement et de perte de confiance des clients.

Comment les équipes de développement logiciel peuvent-elles rapidement créer des fonctionnalités attrayantes à l’aide de l’IA générative, sans gaspiller de ressources, sans s’endetter lourdement sur le plan technologique ni perdre la confiance des clients ? Après avoir discuté avec des data scientists, des data engineers et des chefs de produit travaillant sur des fonctionnalités générées par l’IA, quelques modèles ont émergé.

1. Ayez un cas d'utilisation clair qui résout un problème

Il est facile de se laisser emporter par l'engouement suscité par une technologie en constante évolution. Mais rien n'est plus inutile que de chercher à résoudre un problème en créant une solution. Dans une récente interview, Mitra Goswami , directeur principal de la science des données chez PagerDuty, souligne la nécessité de se concentrer sur un cas d'utilisation : « En fin de compte, quel est le problème que vous essayez de résoudre ?

Ce conseil n’est pas seulement philosophique. Il a un impact direct sur les décisions clés que vous devez prendre. « Certains modèles sont trop volumineux », a déclaré Goswami à propos de la façon dont le cas d’utilisation peut introduire des exigences. « Par exemple, les grands modèles de langage comme GPT 3.5 ou 4 sont presque magiques, mais peuvent consommer d’énormes quantités de cycles de processeur et être coûteux. Les modèles de langage plus petits, plus axés sur l’industrie ou l’entreprise, peuvent souvent fournir de meilleurs résultats adaptés aux besoins de l’entreprise et avoir une latence plus faible, en particulier pour les applications en temps réel. »

Pour identifier un cas d’utilisation, il est utile de réfléchir au cas d’utilisation que vous souhaitez résoudre : résumé, chatbots, génération de code. Cependant, pour aller encore plus loin, Goswami a posé d’autres questions. Elle recommande de réfléchir à l’impact sur le client : « Ce cas d’utilisation va-t-il apporter un certain soulagement à mes clients ? Est-ce que cela va leur faire économiser de l’argent ? » En testant vos cas d’utilisation de cette manière, vous vous assurez de créer quelque chose qui ajoute de la valeur.

2. Avoir une base de données solide

Pour les entreprises qui développent depuis un certain temps des fonctionnalités gourmandes en données, elles ne partent pas de zéro avec l’IA générative. « Nous faisons de l’IA depuis longtemps », a déclaré Goswami. Elle estime qu’une base solide d’architecture de données est essentielle pour évoluer rapidement vers l’IA générative. Selon Goswami, une infrastructure robuste est essentielle pour exploiter efficacement les capacités des modèles linguistiques (LLM) et des fournisseurs de LLM.

« La première étape consiste à disposer d’une solution de stockage de données, souvent un lac de données, qui est essentiel pour héberger de gros volumes de données textuelles pour la formation et le réglage fin des modèles. L’évolutivité est également essentielle pour s’adapter aux charges de travail variables, tandis qu’une couche API bien conçue permet une intégration transparente avec les services LLM. Des systèmes complets de surveillance, de journalisation et de gestion des coûts aident à maintenir la santé de l’infrastructure et à optimiser les dépenses. »

Que signifie pour un environnement de données être sain ? Selon Manu Raj , directeur principal de l'analyse et de l'ingénierie des données chez PagerDuty, il existe certaines exigences clés. « Il est absolument essentiel que vous disposiez des éléments fondamentaux nécessaires au maintien de la qualité et de l'observabilité des données. »

3. Restez flexible dans votre approche

Le rythme des changements dans l’IA est phénoménal. ChatGPT a été lancé il y a moins d’un an et comptait 100 millions d’utilisateurs en moins de deux mois. En juillet 2023, Meta a de nouveau fait sensation en lançant Llama 2. Grâce à une forte implication de l’open source et à de nombreux investissements, les grands modèles de langage (LLM) sous-jacents et les services qui les entourent continuent d’évoluer. Et rapidement.

Pour les data scientists et les ingénieurs, cela signifie un paysage d'options en constante évolution. Attendre que des « gagnants clairs » émergent n'est cependant pas une option. Le risque de prendre trop de temps pour commencer à construire est mis en balance avec le risque de s'appuyer sur une technologie qui devient obsolète. Trouver un équilibre entre le progrès et le besoin potentiel de changement nécessite une approche flexible.

« Nous avons fait preuve d’une grande souplesse dans le choix du modèle », a expliqué Goswami. La flexibilité permet à l’équipe de s’adapter à l’avenir, selon les besoins. Mais cela ne signifie pas qu’il faille changer tout le temps. Goswami a souligné la nécessité de construire en fonction de ce cas d’utilisation, et non de changer pour le simple plaisir de changer. « C’est un domaine en pleine évolution, il faut donc aller dans une direction », a-t-elle noté. « Ne changez pas tous les jours, car ce domaine évolue beaucoup. Construisez vers quelque chose. »

4. Commencez par les principes de conception

Bien que l’on ait vanté le principe « aller vite et tout casser » comme le veut le développement, cette approche peut ajouter une dette technologique toxique. Pourtant, des révisions architecturales lentes et onéreuses peuvent tuer l’innovation. Comment Goswami et son équipe ont-ils trouvé un équilibre pour aller vite, sans pour autant acculer l’architecture dans un coin ?

« Nous avons commencé à rédiger un document de conception très tôt », explique-t-elle. Le document comprend les modèles d'architecture et la manière dont ils souhaitent interagir avec les fournisseurs ou les modèles open source. Cela offre à l'équipe une certaine flexibilité à l'avenir et minimise les perturbations. « Il est primordial de commencer par les principes de conception lors de la création d'une architecture Language Model-as-a-Service pour plusieurs raisons. Les principes de conception servent de cadre directeur, garantissant que l'architecture est alignée sur les objectifs visés, qu'il s'agisse de compréhension du langage naturel, de génération de contenu ou d'analyse de données.

« Ils facilitent la cohérence et la clarté de la prise de décision, conduisant à une architecture efficace et de haute qualité. Les principes de conception aident également à se concentrer sur une conception centrée sur l'utilisateur, garantissant que les services LLM répondent efficacement aux besoins et aux attentes des utilisateurs. Essentiellement, commencer par les principes de conception est essentiel pour créer une architecture LLM robuste, centrée sur l'utilisateur et adaptable. L'équipe de science des données de PagerDuty a collaboré très étroitement avec l'équipe de stratégie d'architecture et l'architecte en chef Philip Jacob pour créer une architecture LLM-as-a-Service.

En partant du principe que les changements sont inévitables, l'équipe peut concevoir en fonction du changement. Concevoir en fonction du changement nécessite de réfléchir aux interfaces et aux interactions entre les différents composants. De cette façon, un composant, comme un LLM, peut changer avec des implications bien comprises sur le reste de l'architecture. J'ai déjà écrit à ce sujet , d’autres éléments utiles pour soutenir le changement incluent les tests et les pipelines CI/CD.

5. Établir des lignes directrices claires en matière de confidentialité et de responsabilité des données

La confidentialité est une priorité pour les utilisateurs lorsqu’ils découvrent de nouvelles fonctionnalités et de nouveaux produits basés sur des LLM. Établir la confiance est une responsabilité partagée par de nombreuses équipes, du produit à la science des données, et plus encore. Pour garantir que les équipes travaillent de manière responsable, Goswami recommande de disposer de directives auxquelles les équipes peuvent se référer.

« Nous devons être très intentionnels sur la manière dont nous utilisons nos données », a expliqué Goswami. 'Nous faisons savoir à nos clients que 'hé, vous avez une option d'adhésion'.' Les options de transparence et d'adhésion sont publiées dans les directives publiques de PagerDuty pour une utilisation sûre et sécurisée de l'IA générative. Et PagerDuty n'est pas seul dans ce cas. « De plus en plus de fournisseurs déclarent et s'orientent vers une approche dans laquelle l'interaction avec l'IA n'est pas utilisée dans les données de formation de l'IA. » a noté Jake Cohen , chef de produit senior chez PagerDuty.

« Nous avons limité au maximum ce que nous partageons avec l’IA », a expliqué Cohen. Au-delà des questions de confidentialité, il peut y avoir des raisons fonctionnelles de limiter ce qui dépend de l’IA. Cohen a décrit comment il isole les cas où les runbooks générés par l’IA utilisent l’IA. « Nous réfléchissons de manière très critique à l’utilisation que nous devons faire de l’IA et aux cas où nous pouvons utiliser des logiciels classiques. »

6. Avoir un cadre de comparaison

Les data scientists utilisent depuis longtemps des scores de confiance pour les modèles prédictifs et d’autres moyens pour comprendre et classer les résultats d’un modèle. À partir de là, les équipes peuvent trouver l’approche la plus rapide et la plus efficace tout en respectant la précision souhaitée. De même, la précision de l’IA générative n’est qu’un facteur à évaluer.

« Si vous ne mesurez pas, vous ne savez pas de quoi vous parlez », a affirmé Goswami. « Nous voulions adopter une approche quantitative et avons donc créé un cadre. » Goswami et son équipe ont pris en compte plusieurs facteurs, tels que le coût, la latence et la précision. « Nous avons créé un cadre qui nous a permis de comparer plus facilement ces éléments dans l’ensemble du portefeuille de LLM à notre disposition. »

Un tel cadre est également utile lorsque de nouveaux LLM ou d'autres options technologiques émergent. L'équipe peut comparer les nouvelles options à tout ce qui a été testé auparavant. Plutôt que de courir après le battage médiatique, l'équipe peut prendre des décisions basées sur les données concernant les nouvelles options à poursuivre. Et les choix existants peuvent être régulièrement testés par rapport à ces repères pour s'assurer que les performances ne se sont pas dégradées par rapport aux autres options.

7. Intégrer les meilleures pratiques

Avec tout type d'automatisation, il est possible de coder le fait de faire quelque chose de la bonne manière. Après tout, les ordinateurs sont mieux adaptés que les humains pour effectuer des tâches répétitives de la même manière à chaque fois. Une opportunité similaire existe lors de la création avec l'IA générative. Contrairement à un champ d'invite ouvert, une approche plus structurée de la sortie générée par l'IA permet aux utilisateurs de bénéficier de l'expertise.

Par exemple, les runbooks générés par l'IA de PagerDuty sont conçus pour utiliser des plug-ins lorsqu'ils sont disponibles. Au lieu de recréer une connexion à un autre système, comme Ansible ou un service AWS, l'IA réutilisera le plug-in. Outre la réutilisation, Cohen a noté que cette approche est également plus facile à gérer : « L'avantage de diviser ce flux de travail en ces étapes qui tirent parti de ces plug-ins est qu'il permet de rendre le travail plus modifiable et plus débogable. »

Certaines bonnes pratiques ne peuvent pas être intégrées directement dans le résultat, mais elles peuvent être intégrées dans l'expérience utilisateur. « Nous avons choisi de mettre en gras dans la description de chaque tâche générée à l'aide de l'IA une note indiquant : 'Notez que ceci a été généré par l'IA. Il est recommandé de vérifier cela et de faire votre première invocation dans un environnement non critique pour la mission', a expliqué Cohen. 'Il en va de même pour les nouvelles automatisations créées par un humain, même les plus expérimentés.' Rappeler aux humains les bonnes pratiques avec les résultats de l'IA aide les membres juniors de l'équipe à monter en puissance rapidement et en toute sécurité.
Le respect de ces pratiques a aidé l'équipe PagerDuty à créer rapidement des fonctionnalités utiles pour les clients utilisant l'IA générative. Ils réduisent également le risque de dette technologique, de perte de temps et de ressources et de perte de confiance des clients. En savoir plus sur Les enseignements de PagerDuty tirés de la création de LLM pour la réponse aux incidents .