Multimodale KI
Eine Modalität ist eine Form der Ein- oder Ausgabe. Ein multimodaler Workflow kombiniert mehrere Formen, etwa eine Textfrage zu einem hochgeladenen Bild oder eine gesprochene Anfrage mit einer Textantwort. In B-Bot Hub hängt die Unterstützung von Modalitäten vom ausgewählten Modell, Anbieter, der Agentenkonfiguration und dem Vertriebskanal ab. Konfiguriere und teste die vollständige Kombination, bevor du dich darauf verlässt.Gängige Modalitäten
Text
Anweisungen, Fragen, formatierte Antworten und Code.
Sprache
Gesprochene Sprache kann als Eingabe transkribiert und Text bei entsprechender Konfiguration als Audio synthetisiert werden.
Bilder
Unterstützte Modelle können ein zusammen mit einer Frage bereitgestelltes Bild untersuchen oder über eine konfigurierte Fähigkeit ein Bild erzeugen.
Dateien
Unterstützte Dateien können Kontext liefern oder in Workflows mit Dateiverarbeitung als Ausgabe entstehen.
Ein- und Ausgabe sind getrennt
Ein Agent, der Bilder annimmt, kann nicht zwangsläufig Bilder erzeugen. Spracheingabe und Audioausgabe müssen ebenfalls separat konfiguriert werden. Dokumentiere für jeden Workflow:- Akzeptierte Eingabetypen
- Erwartete Ausgabetypen
- Einschränkungen bei Größe, Format und Sprache
- Erforderliche Anbieterschlüssel
- Einschränkungen des Kanals
- Fallback-Verhalten bei Verarbeitungsfehlern
Beispielmuster
Bild und Text
Der Benutzer lädt ein Bild hoch und stellt eine konkrete Frage. Der Agent liefert eine Textbeschreibung oder Analyse. Das Ergebnis sollte als Interpretation behandelt werden, insbesondere bei kleinem Text, Messungen oder sicherheitskritischen Bildern.Datei und Text
Der Benutzer stellt ein Dokument oder einen Datensatz mit Anweisungen bereit. Der Agent extrahiert oder analysiert unterstützte Inhalte. Vergewissere dich bei wichtigen Arbeiten, dass die vollständige Datei verarbeitet wurde, und prüfe das Ergebnis anhand der Quelle.Sprache und Text
Sprache wird transkribiert und anschließend als Benutzernachricht verarbeitet. Transkriptionsfehler können die Bedeutung verändern. Zeige oder bestätige daher kritische Details, bevor eine Aktion erfolgt.Text und Audio
Eine Textantwort wird in Sprache umgewandelt. Stelle eine Textalternative bereit und teste Aussprache, Sprache und Anforderungen an die Barrierefreiheit.Konzeptionscheckliste
Unterstützung prüfen
Vergewissere dich, dass Modell, Anbieter und Vertriebskanal die benötigten Ein- und Ausgabetypen unterstützen.
Daten minimieren
Sende nur die für die Aufgabe benötigten Inhalte. Entferne unnötige personenbezogene oder vertrauliche Informationen.
Fehlerverhalten definieren
Informiere Benutzer, wenn eine Eingabe nicht verarbeitet werden kann, und biete eine sichere Alternative an, etwa Texteingabe oder ein anderes Dateiformat.
Reale Eingaben testen
Teste repräsentative Akzente, Bilder, Dokumentlayouts, Dateigrößen, Geräte und Netzwerkbedingungen.
Einschränkungen
- Spracherkennung kann Namen, Zahlen und Fachbegriffe falsch verstehen.
- Bildanalyse kann Details übersehen oder nicht vorhandene Objekte ableiten.
- Dokumentextraktion kann Layout, Tabellen, Anmerkungen oder gescannten Text verlieren.
- Erzeugte Dateien können fehlerhaft formatiert sein oder falsche Daten enthalten.
- Verhalten, Grenzen und Preise von Anbietern können sich ändern.
Zugehörige Leitfäden
Modalitäten konfigurieren
Prüfe die aktuellen Ein- und Ausgabeeinstellungen in B-Bot Hub.
Anbieterschlüssel
Konfiguriere Zugangsdaten für unterstützte Anbieter.
Chat
Erfahre, wie Benutzer Text, Sprache, Bilder und Dateien im Chat bereitstellen.
DeepAgents
Nutze Workspace-Dateien in mehrstufigen Workflows.