IA multimodale
Una modalità è una forma di input o output. Un workflow multimodale combina più forme, come una domanda testuale su un’immagine caricata o una richiesta vocale con risposta testuale. In B-Bot Hub, il supporto delle modalità dipende dal modello e dal provider selezionati, dalla configurazione dell’Agente e dal Canale di distribuzione. Configura e testa la combinazione completa prima di farvi affidamento.Modalità comuni
Testo
Istruzioni, domande, risposte formattate e codice.
Voce
Il parlato può essere trascritto come input e, dove configurato, il testo può essere sintetizzato come audio.
Immagini
I modelli supportati possono esaminare un’immagine fornita con una domanda o produrre un’immagine tramite una capacità configurata.
File
I file supportati possono fornire contesto o diventare output nei workflow che includono la gestione dei file.
Input e output sono distinti
Un Agente che accetta un’immagine non genera necessariamente immagini. Anche l’input vocale e l’output audio richiedono configurazioni separate. Per ogni workflow, documenta:- Tipi di input accettati
- Tipi di output previsti
- Vincoli di dimensione, formato e lingua
- Chiavi provider richieste
- Limitazioni del canale
- Comportamento alternativo in caso di errore nell’elaborazione
Schemi di esempio
Immagine e testo
L’utente carica un’immagine e pone una domanda specifica. L’Agente restituisce una descrizione o un’analisi testuale. Il risultato deve essere considerato un’interpretazione, soprattutto in presenza di testo piccolo, misurazioni o immagini rilevanti per la sicurezza.File e testo
L’utente fornisce un documento o un set di dati accompagnato da istruzioni. L’Agente estrae o analizza i contenuti supportati. Per lavori importanti, verifica che l’intero file sia stato elaborato e confronta il risultato con la fonte.Voce e testo
Il parlato viene trascritto e poi elaborato come messaggio dell’utente. Gli errori di trascrizione possono modificarne il significato: mostra o conferma i dettagli critici prima di agire.Testo e audio
Una risposta testuale viene convertita in parlato. Fornisci un’alternativa testuale e verifica pronuncia, lingua e requisiti di accessibilità.Checklist di progettazione
Verifica il supporto
Verifica che il modello, il provider e il Canale di distribuzione supportino i tipi di input e output richiesti.
Riduci al minimo i dati
Invia solo i contenuti necessari per l’attività. Rimuovi le informazioni personali o riservate non necessarie.
Definisci il comportamento in caso di errore
Informa gli utenti quando un input non può essere elaborato e offri un’alternativa sicura, come l’inserimento di testo o un altro formato di file.
Testa input reali
Testa accenti, immagini, layout dei documenti, dimensioni dei file, dispositivi e condizioni di rete rappresentativi.
Limitazioni
- Il riconoscimento vocale può interpretare erroneamente nomi, numeri e termini specialistici.
- L’analisi delle immagini può non rilevare alcuni dettagli o dedurre oggetti che non sono presenti.
- L’estrazione dai documenti può perdere layout, tabelle, annotazioni o testo scansionato.
- I file generati possono essere malformati o contenere dati errati.
- Comportamento, limiti e prezzi dei provider possono cambiare.
Guide correlate
Configura le modalità
Esamina le attuali impostazioni di input e output di B-Bot Hub.
Chiavi provider
Configura le credenziali per i provider supportati.
Chat
Scopri come gli utenti forniscono testo, voce, immagini e file nella chat.
DeepAgents
Usa i file dello spazio di lavoro nei workflow in più fasi.