Beim Chatbot-Kauf wird nach Preis, Sprachen und Datenschutz gefragt. Nach dem Sprachmodell fragt fast niemand. Dabei entscheidet genau das darüber, wie ein Betrieb in zwei Jahren dasteht.
Dieser Artikel richtet sich an Betriebe, die einen Chatbot einkaufen oder schon einen haben. Wer selbst an einem baut und wissen will, wie die Prüfung technisch aufgesetzt wird, findet das in KI-Chatbot evaluieren.
Welches Sprachmodell steckt in Ihrem Chatbot?
Jeder Chatbot, der halbwegs brauchbar antwortet, hat ein Sprachmodell im Hintergrund. Das kommt von einem Anbieter wie Mistral, OpenAI oder Google, und der Chatbot-Anbieter kauft es dort ein. Wenn Sie nicht wissen, welches Sprachmodell Ihr Chatbot nutzt, sind Sie in guter Gesellschaft. Es steht selten irgendwo.
In Verkaufsgesprächen kommt das selten vor. Gefragt wird nach dem Monatspreis, nach den Sprachen, nach dem Serverstandort. Alles berechtigt. Welches Modell die Antworten schreibt und was passiert, wenn sich daran etwas ändert, will kaum jemand wissen.
Verständlich ist das schon, weil man beim Einkauf auf das schaut, was sich vergleichen lässt. An dieser Frage entscheidet sich trotzdem, ob der Chatbot in zwei Jahren noch läuft und was er dann kostet.
Was passiert, wenn Ihr KI-Anbieter die Preise erhöht?
Ein Chatbot-Anbieter, der fix an einem KI-Anbieter hängt, hat fünf Dinge nicht in der Hand. Im Einkauf nennt man das Vendor Lock-in, also die Bindung an einen einzigen Lieferanten.
- Preise erhöhen. Wird die KI im Einkauf teurer, zahlt der Chatbot-Anbieter mit. Er kann die Erhöhung weitergeben oder auf die eigene Marge nehmen. Einen dritten Weg hat er nur, wenn er wechseln kann. Für Sie heißt das: Ihr KI-Chatbot wird teurer, ohne dass Sie irgendetwas geändert haben. Womit man beim Chatbot ohnehin rechnen muss, steht in Was kostet ein KI-Chatbot.
- Ein Modell einstellen. Modelle werden abgekündigt, und die Vorlaufzeit ist oft kurz. Wer nur eines angebunden hat, baut dann unter Zeitdruck um.
- Nutzungsbedingungen ändern. Was mit den Daten passieren darf, legt der KI-Anbieter fest. Sein Kunde nimmt es zur Kenntnis.
- Die Leistung drosseln. Antwortzeiten und monatliche Kontingente sind auf Dauer nirgends zugesagt.
- Den Serverstandort verlegen. Für den Datenschutz die unangenehmste Variante, weil sie eine Zusage aushebelt, die man den eigenen Kunden gegeben hat. Warum der Standort zählt, steht in EU-Hosting vs. US-Cloud.
Wir nehmen uns davon nicht aus. Auch wir kaufen das Sprachmodell ein, und wenn es dort teurer wird, merken wir das genauso. Wer behauptet, er wäre diesem Mechanismus entzogen, hat entweder eine Klausel, die er nicht herzeigt, oder eine Kalkulation, die nicht aufgeht. Der Unterschied liegt darin, ob man ausweichen kann.
Wie muss ein Chatbot gebaut sein, damit sich das Modell tauschen lässt?
Ob man das KI-Modell in einem Chatbot tauschen kann, hängt daran, wie viel Arbeit das Modell überhaupt macht. Es formuliert die Antwort, und damit ist sein Teil erledigt.
Bevor es überhaupt gefragt wird, passiert Folgendes: Die Frage des Besuchers wird eingeordnet, die passenden Stellen in Ihren Unterlagen werden gesucht, die Treffer werden sortiert und zusammengestellt. Erst daraus formuliert das Modell einen Satz. Danach geht es weiter mit dem Verlauf des Gesprächs, der Übergabe an einen Menschen, wenn es eng wird, und der Weiterleitung einer Anfrage per E-Mail.
Dieser Unterbau ist unserer, und er hängt nicht am Modell.
Was ein Modellwechsel berührt und was nicht
Das Sprachmodell sitzt obenauf und lässt sich ersetzen. Alles, woraus Ihr Chatbot besteht, bleibt an seinem Platz.
Bei einem Wechsel bleibt deshalb das Meiste unberührt. Ihre Unterlagen, die Anweisungen dazu, wie der Chatbot antworten soll, die Einstellungen am Chatfenster, die bisherigen Gesprächsverläufe und die Anbindungen an andere Systeme, soweit Ihr Paket sie enthält. Aktionen und CRM-Anbindungen gibt es derzeit in Managed Pro, im Self-Service sind sie in Vorbereitung.
Die Übernahme durch einen Menschen hat mit dem Sprachmodell nichts zu tun, die KI-Kennzeichnung im Chatfenster genauso wenig. Was alles dazugehört, steht auf der Funktionsseite.
Was kostet der Wechsel des Sprachmodells?
Standard bei ServasBot ist Mistral. Wer ausdrücklich OpenAI will, bekommt OpenAI angebunden.
Arbeit ist das trotzdem. Je nach Konstellation muss die Wissensbasis dabei neu eingelesen und neu aufgebaut werden, weil Ihre Unterlagen für die Suche vorbereitet sind und diese Vorbereitung sich nicht in jedem Fall mitnehmen lässt. Danach gehören die Antworten nachgeprüft, bevor umgestellt wird.
Bei Managed machen wir das: umstellen, Unterlagen neu einlesen, Antworten nachprüfen. Im Self-Service führt der Kunde die Umstellung selbst durch, wenn sie nötig wird. Die Einrichtung ist als Paket dazubuchbar, dann übernehmen wir diesen Teil. Wie sich die Arbeit zwischen den beiden Wegen sonst aufteilt, steht auf Self-Service oder Managed und in Warum Ihr KI-Chatbot laufende Betreuung braucht.
Bei einem fix verbauten Chatbot gibt es diesen Weg gar nicht. Dort stellt sich die Frage nach dem Aufwand nie, weil es schon beim Ob aufhört.
Wie prüft man, ob ein neues KI-Modell wirklich besser antwortet?
Eine neue Modellversion heißt zuerst einmal gar nichts. Neuer ist nicht automatisch besser, und schon gar nicht besser für Ihren Betrieb.
Prüfen lässt sich das nur an den eigenen Fragen, und die hängen an Ihrer Wissensbasis. Ob ein Modell richtig wiedergibt, wie lange bei einem Installateur die Notrufbereitschaft dauert und was sie kostet, steht in keinem allgemeinen Test. Deshalb wird der Fragenkatalog pro Kunde gebaut, aus dessen Unterlagen, mit hinterlegten Sollantworten. Im Fach heißt so eine Sammlung Golden Dataset.
Der Ablauf ist dann überschaubar. Derselbe Fragenkatalog, dieselben Unterlagen, die aktuelle Einstellung gegen die neue. Beides läuft durch, wir werten es über LangSmith aus und legen die Ergebnisse nebeneinander. Umgestellt wird, wenn die Antworten gleich gut oder besser ausfallen. Andernfalls bleibt alles, wie es ist, und das neue Modell wartet auf seine nächste Version.
Das gilt auch für einen Versionssprung beim selben Anbieter. Gerade dann, weil sich Verhalten ändern kann, ohne dass es jemand ankündigt.
Diese kundenspezifische Prüfung gehört zu Managed. Im Self-Service liegt sie beim Kunden, weil außer ihm niemand weiß, welche Antworten für seinen Betrieb richtig sind.
Warum ein europäisches Sprachmodell?
Standard ist Mistral, ein Anbieter aus Frankreich. Ihre Daten und der Chatbot selbst liegen auf Servern in Deutschland.
Das sind zwei verschiedene Dinge, und beide waren eine Entscheidung. Beim Hosting geht es darum, wo Ihre Kundendaten liegen und welches Recht darauf zugreifen kann. Beim Modell geht es darum, von wem wir abhängig sind. Zum ersten Punkt mehr in EU-Hosting vs. US-Cloud und in DSGVO und KI.
Dass wir OpenAI auf Wunsch anbinden, widerspricht dem nicht. Es zeigt, dass die Wahl besteht. Und damit schließt sich der Kreis: Die Entscheidung für ein europäisches Modell ist nur etwas wert, wenn es auch anders gehen würde. Ein Chatbot ohne Anbieterbindung beim Sprachmodell ist die Voraussetzung dafür, dass diese Entscheidung eine ist. Wer gar nicht wechseln kann, hat sich nie entschieden. Der hat genommen, was verbaut war.
Welche Fragen sollte man einem Chatbot-Anbieter stellen?
Worauf Sie beim Chatbot-Anbieter achten sollten, lässt sich auf fünf Fragen eindampfen. Stellen Sie die jedem, der Ihnen einen Chatbot verkaufen will. Uns auch.
- Welches Sprachmodell setzen Sie ein, in welcher Version, und wo läuft es?
- Was passiert mit meinem Preis, wenn Ihr KI-Einkauf teurer wird? Steht dazu etwas im Vertrag?
- Was passiert, wenn dieses Modell eingestellt wird? Muss ich dann neu anfangen?
- Prüfen Sie eine neue Version an meinen eigenen Fragen, bevor Sie umstellen? Und bekomme ich das Ergebnis zu sehen?
- Wem gehören meine Unterlagen und Gesprächsverläufe, und welche Daten kann ich bei einem Anbieterwechsel mitnehmen?
Frage 5 fällt bei uns gemischt aus, deshalb gleich hier die Antwort. Ihre Unterlagen und Inhalte gehören Ihnen, das steht in unseren AGB. Nach einer Kündigung löschen wir alles vollständig von unseren Servern. Einen Export Ihrer Gesprächsverläufe können Sie derzeit nicht selbst im Dashboard auslösen, das läuft über eine Anfrage bei uns. Die Selbstbedienung dafür ist in Vorbereitung.
Eine Frage, die man selbst stellt, muss man nicht fürchten.
Was Sie jetzt machen können
Wenn Sie gerade Anbieter vergleichen, nehmen Sie die fünf Fragen mit. Die Antworten sagen mehr über die nächsten zwei Jahre als jede Auflistung von Funktionen.
Wenn Sie schon einen Chatbot haben und nicht wissen, was darin steckt, schauen wir gemeinsam nach. Ein kurzes Gespräch reicht meistens.
Lieber selbst ausprobieren?
Chatbot einrichten, Unterlagen hochladen, 30 Tage kostenlos testen. Das Sprachmodell im Hintergrund ist dasselbe.
30 Tage kostenlos testen