IA multimodale
Une modalité est une forme d’entrée ou de sortie. Un workflow multimodal combine plusieurs formes, par exemple une question textuelle portant sur une image téléversée ou une demande vocale accompagnée d’une réponse textuelle. Dans B-Bot Hub, la prise en charge des modalités dépend du modèle sélectionné, du fournisseur, de la configuration de l’Agent et du canal de distribution. Configurez et testez la combinaison complète avant de vous y fier.Modalités courantes
Texte
Instructions, questions, réponses formatées et code.
Voix
La parole peut être transcrite en entrée et le texte synthétisé en audio en sortie lorsque la configuration le permet.
Images
Les modèles compatibles peuvent analyser une image jointe à une question ou produire une image au moyen d’une capacité configurée.
Fichiers
Les fichiers pris en charge peuvent apporter du contexte ou devenir des sorties dans les workflows qui gèrent des fichiers.
Les entrées et les sorties sont distinctes
Un Agent capable d’accepter une image ne peut pas nécessairement en générer. L’entrée vocale et la sortie audio exigent également des configurations distinctes. Pour chaque workflow, documentez :- Les types d’entrée acceptés
- Les types de sortie attendus
- Les contraintes de taille, de format et de langue
- Les clés fournisseur requises
- Les limitations du canal
- Le comportement de repli en cas d’échec du traitement
Exemples de schémas
Image et texte
L’utilisateur téléverse une image et pose une question précise. L’Agent renvoie une description ou une analyse textuelle. Le résultat doit être considéré comme une interprétation, en particulier pour les petits caractères, les mesures ou les images critiques pour la sécurité.Fichier et texte
L’utilisateur fournit un document ou un jeu de données accompagné d’instructions. L’Agent extrait ou analyse le contenu pris en charge. Pour les travaux importants, vérifiez que le fichier entier a été traité et comparez le résultat à la source.Voix et texte
La parole est transcrite, puis traitée comme un message utilisateur. Les erreurs de transcription peuvent changer le sens : affichez ou faites confirmer les détails critiques avant d’agir.Texte et audio
Une réponse textuelle est convertie en parole. Proposez une alternative textuelle et testez la prononciation, la langue et les besoins d’accessibilité.Liste de contrôle pour la conception
Vérifier la prise en charge
Vérifiez que le modèle, le fournisseur et le canal de distribution prennent en charge les types d’entrée et de sortie requis.
Minimiser les données
Envoyez uniquement le contenu nécessaire à la tâche. Supprimez les informations personnelles ou confidentielles inutiles.
Définir le comportement en cas d’échec
Informez les utilisateurs lorsqu’une entrée ne peut pas être traitée et proposez une solution sûre, comme une saisie textuelle ou un autre format de fichier.
Tester des entrées réelles
Testez des accents, images, mises en page de documents, tailles de fichiers, appareils et conditions réseau représentatifs.
Limites
- La reconnaissance vocale peut mal interpréter les noms, les nombres et les termes spécialisés.
- L’analyse d’images peut manquer des détails ou déduire la présence d’objets inexistants.
- L’extraction de documents peut perdre la mise en page, les tableaux, les annotations ou le texte numérisé.
- Les fichiers générés peuvent être mal formés ou contenir des données incorrectes.
- Le comportement, les limites et les tarifs des fournisseurs peuvent évoluer.
Guides associés
Configurer les modalités
Consultez les paramètres actuels d’entrée et de sortie de B-Bot Hub.
Clés fournisseur
Configurez les identifiants des fournisseurs pris en charge.
Chat
Découvrez comment les utilisateurs fournissent du texte, de la voix, des images et des fichiers dans le chat.
DeepAgents
Utilisez des fichiers d’espace de travail dans les workflows en plusieurs étapes.