Compactage de conversation
Le compactage de conversation est une fonctionnalité alimentée par l'IA qui résume les conversations longues et les blocs de contexte afin de récupérer de l'espace dans la fenêtre de contexte du modèle. Au fil des échanges, les fils de discussion consomment davantage de tokens à chaque requête. Le compactage condense le contenu ancien en un résumé structuré, préservant les informations clés tout en réduisant significativement l'utilisation de tokens.
Vue d'ensemble
Chaque message envoyé à un modèle d'IA inclut l'historique complet de la conversation, le prompt système et tous les blocs de contexte attachés. À mesure qu'une conversation progresse, ce contenu accumulé peut approcher ou dépasser la limité de la fenêtre de contexte du modèle. Le compactage résout ce problème en remplaçant le contenu original par un résumé concis généré par l'IA.
GPT Workbench propose deux mécanismes de compactage :
- Compactage de conversation -- Condense l'historique complet des messages d'un fil en un seul message de résumé
- Compactage de blocs de contexte -- Fusionne plusieurs blocs de contexte en un seul bloc résumé
Les deux mécanismes utilisent l'IA pour lire l'intégralité du contenu original, identifier les informations clés et produire une version condensée qui conserve les éléments essentiels.
Quand utiliser le compactage
Le compactage est particulièrement utile dans les situations suivantes :
- Approche des limités de tokens -- L'indicateur d'utilisation de tokens dans l'en-tête du fil montre que vous approchez la capacité maximale de la fenêtre de contexte du modèle.
- Fils de discussion longs -- Les conversations comportant des dizaines ou des centaines de messages accumulent une surcharge significative en tokens. Le compactage des échanges plus anciens libère de l'espace pour de nouvelles interactions.
- Blocs de contexte redondants -- Plusieurs blocs de contexte couvrant des sujets similaires peuvent être fusionnés en un seul bloc sans perte significative d'information.
- Optimisation des performances -- Des prompts plus courts sont traités plus rapidement et coûtent moins cher. Le compactage réduit la consommation de tokens par requête, ce qui diminue directement les coûts.
Quand ne pas compacter :
- Lorsque chaque détail de l'historique de conversation est important (fils juridiques, de conformité ou d'audit)
- Lorsque le fil est court (moins de 3 messages)
- Lorsque la précision sur des échanges antérieurs spécifiques est nécessaire pour la tâche en cours
Compactage de conversation
Le compactage de conversation remplace tous les messages validés d'un fil par un seul message de résumé. L'IA lit le prompt système, les blocs de contexte attachés et l'historique complet des messages pour produire un résumé structuré.
Fonctionnement
- Le système collecte tous les messages validés du fil, classés chronologiquement.
- Le prompt système et les métadonnées des blocs de contexte du fil sont inclus pour fournir un contexte structurel.
- Un modèle d'IA génère un résumé en fonction de la taille de compactage sélectionnée.
- Tous les messages originaux sont supprimés de manière logique (conservés en base de données mais masqués dans la vue de conversation).
- Le résumé est inséré comme un nouveau message utilisateur validé avec des métadonnées indiquant qu'il s'agit d'un résumé compacté.
Tailles de compactage
| Taille | Description | Temps de génération | Réduction de tokens |
|---|---|---|---|
| Petit | Résumé bref centré sur les décisions et résultats clés | ~1 minute | 70-90 % |
| Moyen | Résumé équilibré préservant les détails importants et le contexte | ~2 minutes | 50-75 % |
| Grand | Détail maximal, préservant toute l'information pertinente | ~3 minutes | 30-60 % |
La valeur par défaut est Moyen, qui offre un bon équilibre entre compression et conservation des détails.
Instructions personnalisées
Vous pouvez fournir des instructions personnalisées pour guider la synthèse. Ces instructions sont ajoutées au prompt de compactage standard et influencent ce que l'IA met en avant ou préserve.
Exemples d'instructions personnalisées :
- « Se concentrer sur les décisions techniques et l'architecture du code »
- « Mettre l'accent sur les actions à mener et les échéances »
- « Préserver toutes les données numériques et métriques »
- « Prioriser les résultats métier par rapport aux détails d'implémentation »
Aperçu et modification du résumé
Avant de valider un compactage, vous pouvez examiner et modifier le résumé généré :
- Cliquez sur Générer un aperçu du résumé pour produire le résumé sans modifier la conversation.
- Examinez l'aperçu dans le panneau de droite de la fenêtre de compactage.
- Cliquez sur Modifier pour éditer directement le texte du résumé.
- Cliquez sur Regénérer pour produire un nouveau résumé (utile après avoir changé la taille de compactage ou les instructions personnalisées).
- Utilisez le bouton Plein écran pour examiner le résumé dans une vue plus grande.
- Lorsque vous êtes satisfait, cliquez sur Confirmer et compacter pour appliquer.
La fenêtre affiche le nombre de caractères et le nombre approximatif de tokens du résumé, afin que vous puissiez évaluer les économies avant de confirmer.
Métadonnées de compactage
Chaque message de résumé compacté porte des métadonnées qui enregistrent :
- La date du compactage
- Le nombre de messages originaux condensés
- La taille de compactage utilisée
- Les économies de tokens estimées
- Le temps de traitement
Ces métadonnées sont stockées avec le message et peuvent être consultées à des fins d'audit ou de suivi.
Compactage de blocs de contexte
Le compactage de blocs de contexte fusionne plusieurs blocs de contexte en un seul bloc résumé. C'est utile lorsqu'un fil à accumulé de nombreux blocs couvrant des sujets liés et que la consommation totale de tokens est élevée.
Fonctionnement
- Sélectionnez deux blocs de contexte ou plus à l'aide des cases à cocher dans l'onglet Contexte du fil.
- Cliquez sur Compacter la sélection dans la barre d'actions groupées.
- La fenêtre de compactage s'ouvre, affichant les blocs sélectionnés.
- Choisissez une taille de compactage (Petit, Moyen ou Grand).
- Ajoutez éventuellement des instructions personnalisées.
- Cliquez sur Générer un aperçu du résumé pour voir le résumé proposé.
- Examinez et modifiez éventuellement le résumé.
- Cliquez sur Confirmer et compacter pour remplacer les blocs sélectionnés par un seul bloc résumé.
Types de blocs compatibles
Seuls les blocs de contexte de type texte et document peuvent être compactés. Si votre sélection inclut des types incompatibles (dépôts, URL, HubSpot ou autres blocs d'intégration), la fenêtre affiche un avertissement listant ces blocs. Les blocs incompatibles sont exclus du résumé et ne sont pas supprimés.
| Type de bloc | Compactable | Notes |
|---|---|---|
| Texte | Oui | Contenu intégral inclus dans le résumé |
| Document | Oui | Texte extrait inclus dans le résumé |
| Dépôt | Non | Contenu dynamique, ne peut être résumé statiquement |
| URL | Non | Contenu récupéré en direct, ne peut être résumé statiquement |
| HubSpot | Non | Données CRM rafraîchies à chaque utilisation |
| SharePoint | Non | Stocké dans le cloud, récupéré à chaque utilisation |
| Google Drive | Non | Stocké dans le cloud, récupéré à chaque utilisation |
Résultat
Après le compactage, les blocs sélectionnés sont supprimés et remplacés par un seul bloc de contexte textuel contenant le résumé généré par l'IA. Le nouveau bloc est intitulé pour indiquer qu'il s'agit d'un résumé compacté et est attaché au fil à la place des originaux.
Économies de tokens
Les économies de tokens typiques dépendent de la taille de compactage et de la nature du contenu original :
| Taille de compactage | Économies typiques | Idéal pour | |----------------------|--------------------|-----------|| | Petit | 70-90 % | Référence rapide, vue d'ensemble de haut niveau | | Moyen | 50-75 % | Conservation équilibrée, usage général | | Grand | 30-60 % | Préservation maximale des détails |
Les économies de tokens sont estimées en utilisant un ratio d'environ 1 token pour 4 caractères. Les économies exactes apparaissent dans les métadonnées de compactage une fois l'opération terminée.
Compromis
Le compactage est une opération avec perte. Bien que l'IA soit instruite de préserver les informations clés, certains détails sont inévitablement perdus :
- Nuance et ton -- Les aspects subtils des échanges antérieurs peuvent ne pas survivre à la synthèse.
- Formulation exacte -- Les formulations spécifiques, citations ou instructions des messages précédents peuvent être reformulées.
- Détails contextuels -- Les détails mineurs que l'IA juge moins pertinents peuvent être omis.
- Irréversibilité -- Les messages originaux sont supprimés logiquement. Bien qu'ils restent en base de données, ils ne font plus partie de la conversation active.
La taille de compactage Grand atténue ces problèmes en préservant davantage de détails, mais au prix d'économies de tokens plus faibles.
Bonnes pratiques
- Compactez de manière proactive -- N'attendez pas que la fenêtre de contexte soit pleine. Compactez lorsque vous remarquez que l'indicateur d'utilisation de tokens approche 70-80 % de la capacité.
- Utilisez Moyen dans la plupart des cas -- La taille de compactage Moyen offre le meilleur équilibre entre économies et conservation des détails. Réservez Petit pour les conversations simples et Grand pour les discussions techniques complexes.
- Examinez avant de confirmer -- Générez toujours un aperçu et examinez le résumé avant de valider. Modifiez le résumé si des informations clés sont manquantes.
- Ajoutez des instructions personnalisées -- Si la conversation à un focus spécifique (technique, financier, créatif), guidez l'IA avec des instructions personnalisées pour prioriser les détails pertinents.
- Compactez d'abord les blocs de contexte -- Si l'historique de conversation et les blocs de contexte consomment tous deux des tokens significatifs, compactez d'abord les blocs de contexte. Ils sont plus faciles à examiner et l'opération est plus ciblée.
- Conservez les messages récents -- Le compactage affecte tous les messages validés. Si des échanges récents contiennent un contexte critique pour le prochain prompt, envisagez d'attendre avant de compacter.
- Utilisez des titres de fil descriptifs -- Le titre du fil et le prompt système fournissent un contexte structurel lors de la synthèse. Des titres clairs aident l'IA à produire de meilleurs résumés.
Documentation connexe
- Blocs de contexte - Gestion des blocs de contexte et utilisation des tokens
- Fils de discussion - Gestion des fils et historique de conversation
- Modèles et outils - Tailles de fenêtre de contexte par modèle
- Analytique des coûts - Suivi de la consommation de tokens et des coûts