Warum wir eine eigene KI-Telefonassistentin gebaut haben
"netzwerkfähig, hier ist Sophia, Ihre KI-Assistentin. Das Gespräch wird aufgezeichnet." So hören es Anrufer mit unbekannter Nummer. Bei diesem System handelt es sich um einen Voice-Agent. Das ist eine KI, die per Sprache Gespräche führt und dabei Anliegen aufnimmt und weiterleitet.
Wir haben Sophia selbst gebaut. Sie läuft auf einem eigenen Rechner in unserem Haus und nicht in der Cloud eines KI-Anbieters. Unter demselben Namen prüft bei netzwerkfähig zudem ein KI-Agent Texte im Auftragssystem, allerdings geht es hier ausschließlich um die Telefonassistentin.
Die Zeitlinie war kurz. Ende Oktober haben wir die Hardware bestellt. Am 1. November 2026 lief der erste Testanruf auf einem anderen Server, bevor Sophia seit dem 2. November auf ihrem eigenen Rechner arbeitet. Aktuell befindet sie sich im Testbetrieb, wobei vor allem Kolleginnen und Kollegen sie anrufen, denn Kundenanrufe leitet die Zentrale noch nicht an sie weiter. Bis zum 9. November zählte das Protokoll 28 eingehende Anrufe über das Telefonnetz, 5 Morgenrufe und 8 simulierte Anrufe.
Wir teilen diese Erfahrungen offen mit euch. Betriebe in Köln und dem Rheinland fragen uns häufig, ob eine Telefon-KI ohne Cloud-KI machbar ist. Deshalb zeigen wir euch, wie wir das Projekt umgesetzt haben.
Was Sophia am Telefon erledigt
Sophia unterscheidet zwischen verschiedenen Anrufern. Unbekannte Anrufer werden förmlich begrüßt, bekannte Kunden begrüßt sie mit Namen, ebenfalls mit dem Hinweis auf KI und Aufzeichnung, während sie Kolleginnen und Kollegen kurz duzt. Bei unbekannten Personen fragt sie zunächst nach dem Anliegen, anschließend nach Name und Firma. Danach fragt sie, ob netzwerkfähig den Anrufer unter der Nummer erreicht, mit der er gerade anruft. Eine diktierte Rufnummer wiederholt sie zur Bestätigung.
Für Kolleginnen und Kollegen bietet sie spezielle Funktionen. Auf Frage nennt sie ihre offenen Vorgänge in Worten, wobei sie maximal fünf nennt und den dringendsten zuerst aufzählt. Ticketnummern nennt sie nie, weil sich niemand eine Nummer am Telefon merken kann. Ein Ticket ist ein Vorgang im Auftragssystem. Seit dem 9. November nennt sie zudem Termine aus dem Support-Kalender für heute und den nächsten Arbeitstag.
Neu ist der Morgenruf. Dabei ruft Sophia Kolleginnen und Kollegen morgens auf dem Handy an. Sie geht die offenen Vorgänge einzeln durch und fasst am Ende zusammen, was die Person dazu gesagt hat. Bis zum 9. November gab es fünf solcher Morgenrufe als Test.
Beim Verbinden folgt sie festen Regeln. Seit dem 11. November gilt: Verlangt ein Anrufer ausdrücklich eine Person, verbindet sie ohne Rückfrage, sofern die Person erreichbar ist und die Regeln es zulassen. Schlägt sie die Verbindung selbst vor, fragt sie vorher. Nach einem Ja sagt sie einen kurzen Satz wie "Gern, einen Moment." und stellt die Verbindung her. An externe Anrufer gibt sie jedoch nie Informationen darüber weiter, wer im Büro, im Haus oder im Homeoffice ist, weil solche Angaben Betrügern helfen könnten.
Wenn niemand erreichbar ist, nimmt Sophia eine Nachricht auf. Diese geht als Mail an die gewünschte Person oder das Support-Team. Die Mail enthält eine Zusammenfassung, den Wortlaut und den Gesprächsverlauf sowie den Tonmitschnitt. Seit dem 9. November 2026 entsteht zudem direkt ein Rückruf-Ticket im Auftragssystem; im echten Betrieb ist das noch nicht bestätigt. Erkannten Kunden kann Sophia zudem ein Zeitfenster für den Rückruf anbieten, was im echten Betrieb jedoch noch nicht bestätigt wurde.
Es gibt Dinge, die Sophia nicht kann. Sie gibt keine Ticketinhalte heraus und erledigt keine Vorgänge direkt am Telefon. Zudem nennt sie keine Ticketnummern und spricht nur Deutsch. Fremdsprachige Sätze gelten als nicht verstanden.
Die Technik: ein Rechner, drei KI-Modelle
Die Hardware besteht aus einer Lenovo ThinkStation PGX. Das ist die Lenovo-Ausführung des NVIDIA DGX Spark. Laut Datenblatt besitzt der Rechner einen NVIDIA GB10 Grace Blackwell Superchip mit 20 Prozessorkernen und 128 GB gemeinsamem Arbeitsspeicher für Prozessor und Grafikeinheit. Das Netzteil hat 240 Watt, und das System unterstützt laut Lenovo-Datenblatt KI-Modelle bis 200 Milliarden Parameter. Dieser Rechner ist für Sophia reserviert, daher laufen daneben nur Überwachung und Wartung.
Der Weg eines Satzes ist technisch unterteilt. Zunächst nimmt ein eigenes Programm, die Anrufsteuerung, das Gespräch an. Dann kommt die Spracherkennung Voxtral Mini Realtime zum Einsatz. Die Spracherkennung wandelt Gesprochenes in Text um. Die Anrufsteuerung holt die nötigen Daten aus dem Auftragssystem und gibt sie an das Sprachmodell Qwen3.6-35B-A3B weiter. Das Sprachmodell ist die KI, die die Antwort formuliert, greift aber selbst auf keine Daten zu. Schließlich macht die Sprachausgabe Qwen3-TTS aus dem Antworttext eine Stimme, konkret die Stimme Julia.
Wir nutzen eine lokale KI, das heißt, sie läuft auf eigener Hardware statt in der Cloud eines Anbieters. Wir setzen drei getrennte Modelle ein, weil jedes spezialisiert ist. Zudem passen alle gleichzeitig in den Speicher, sodass nichts nachgeladen werden muss. Zusammen belegen sie zum Stand vom 9. November rund 80 Gigabyte Speicher. Die Telefonverbindung selbst läuft über eine Cloud-Telefonanlage.
Was wir gemessen haben
Wir haben die Antwortzeit am 4. November 2026 mit simulierten Anrufen gemessen. Dabei zählte die Zeit vom Satzende des Anrufers bis zum ersten Ton von Sophia. Angegaben ist der Wert, unter dem 95 Prozent der Antworten lagen; bei einem Gespräch waren das 16 Antworten. Durch einen Umbau hört die Spracherkennung nun schon mit, während der Anrufer spricht. Dadurch sank die Zeit bei einem Gespräch von 4,68 auf 2,79 Sekunden. Bei mehreren gleichzeitigen Gesprächen dauert es länger. Seitdem haben wir weiter umgebaut, eine neue Messung steht noch aus.
Zudem haben wir verschiedene Sprachmodelle mit Textszenarien verglichen. Wir prüften 608 Antworten je Modell auf Verstöße gegen die Regeln.
| Modell | Antworten mit Regelverstoß | Ergebnis |
|---|---|---|
| Nemotron 3.5 Lightning | 26,3 % | bis 4. November im Einsatz, abgelöst |
| Qwen3.6-35B-A3B | 4,4 % | seit 4. November im Einsatz |
| Qwen3.6-27B | 3,1 % | in simulierten Anrufen zu langsam |
Das Modell Nemotron 3.5 Lightning verstieß in 26,3 Prozent der Antworten gegen Regeln. Qwen3.6-35B-A3B lag bei 4,4 Prozent und Qwen3.6-27B bei 3,1 Prozent. Letzteres war in simulierten Anrufen jedoch zu langsam. Deshalb arbeitet Sophia seit dem 4. November mit Qwen3.6-35B-A3B, weil es stabil lief und genauso schnell war wie das alte Modell.
Was schiefging und was wir daraus gelernt haben
Die meisten Fehler fielen uns in Testanrufen auf. Gemessen und behoben haben wir sie anschließend mit simulierten Gesprächen.
Das kurze Nein: Am 2. November erkannte Sophia in einem Testanruf ein "Nein" als die Ziffer 9. Sie wertete dies als Ja und verband den Anrufer. Der Grund: Im Ton vor der Antwort lief noch der Rest ihrer eigenen Frage mit. Deshalb gilt "neun" nach einer Ja-Nein-Frage seitdem als Nein.
Hänger im Lasttest: Im Lasttest am 4. November mit mehreren gleichzeitigen Gesprächen blieb das Sprachmodell hängen oder fiel aus. Im normalen Betrieb passierte dies nicht. Wir haben daher eine Einstellung der Software geändert. Falls das Modell trotzdem ausfällt, nimmt Sophia die Störung mit festen Sätzen auf.
Aussetzer in der Stimme: Am 9. November meldeten Testanrufer kleine Aussetzer in der Stimme. Die Spracherkennung lief weiter, während Sophia sprach, und bremste so die Sprachausgabe. In der Simulation hatten vorher 16 von 16 Antworten einen Aussetzer. Seitdem ruht die Erkennung, solange der Anrufer nicht spricht, und der Ton startet erst mit einer Sekunde Vorrat. Danach hatten 0 von 16 Antworten einen Aussetzer. Allerdings kommt der erste Ton nun im Median 1,52 statt 1,08 Sekunden nach dem Start der Antwortberechnung.
Zu viel über Anwesenheit: Am 6. November nannte Sophia in Anrufen mit unbekannter oder unterdrückter Nummer, wer im Haus ist, teils sogar falsch. Wir haben ihr diese Angaben für externe Anrufer sofort entzogen. Zudem kontrolliert ein Prüfprogramm jeden Satz vor dem Sprechen. In simulierten Gesprächen am 9. November kamen dennoch 61 Angaben wie "alle Kollegen sind im Haus" in 240 Antworten vor. Seit dem 9. November prüft das Programm auch diese Sätze, woraufhin 0 von 236 Antworten solche Angaben enthielten.
Verlorene Rückrufe: Hier gab es zwei Lücken. Bei echten Anrufen zwischen dem 2. und 5. November liefen Rückrufaufträge über einen Umweg; von 7 Aufträgen ist nur für einen ein Ticket belegt. Seit dem 9. November entsteht das Ticket direkt. Außerdem bekamen Anrufer, die jemanden sprechen wollten und weder verbunden wurden noch eine Nachricht hinterließen, bisher kein Ticket. In einem Test mit simulierten Anrufern am 9. November betraf das 11 von 20 Fällen. Seitdem bekommen solche Anrufer immer ein Ticket, im selben Test danach 0 von 20.
Die Lehre daraus ist klar: Eine Anweisung an die KI allein hielt nicht zuverlässig. Deshalb sichert Programmcode zusätzlich die wichtigsten Schutzregeln ab. Das betrifft die Regeln, wen Sophia verbindet, was Externe über Kollegen hören und was sie zusagt. Alle anderen Sätze formuliert das Sprachmodell weiterhin selbst.
Datenschutz und KI-Verordnung
Die Spracherkennung, die Antwort, die Stimme und die Zusammenfassung entstehen komplett auf dem eigenen Rechner. Nach außen gehen die Telefonverbindung und die Nachrichten an die Postfächer von netzwerkfähig bei Microsoft 365. Das betrifft Mails mit Gesprächsverlauf und Tonmitschnitt sowie Hinweise zu Rückruf-Tickets in Microsoft Teams. Bei einer gezielten Fehlersuche sehen zudem externe KI-Werkzeuge zum Programmieren einzelne Gesprächstexte ein. Sophia schreibt jedes Gespräch als Text mit und zeichnet in der Testphase auch den Ton auf.
Die KI-Verordnung der EU (Verordnung (EU) 2024/1689), Artikel 50 Absatz 1, schreibt vor, dass Menschen erfahren müssen, wenn sie mit einer KI interagieren. Diese Regelung gilt laut Artikel 113 grundsätzlich ab dem 2. August 2026. Deshalb hören externe Anrufer bereits im ersten Satz, dass sie mit einer KI-Assistentin sprechen. Dieser Text stellt keine Rechtsberatung dar. Wir empfehlen, Datenschutzbeauftragte frühzeitig in solche Projekte einzubinden.
Für wen sich eine Telefon-KI auf eigener Hardware lohnt
Eine Telefon-KI auf eigener Hardware ist sinnvoll, wenn Sprache und Kundendaten nicht an einen Cloud-KI-Anbieter gehen sollen. Voraussetzung ist, dass die eigenen Systeme saubere Daten liefern: Wer ist Kunde, wer ist Kollege, wer ist gerade erreichbar.
Die Hardware ist dabei der kleinere Teil des Projekts. Die eigentliche Arbeit steckt in den Regeln, den Messungen und den Tests mit Testanrufen. Eine Telefon-KI ersetzt keine Menschen in kleinen und mittleren Unternehmen. Sie nimmt Anrufe an, wenn niemand frei ist, und schreibt Nachrichten sowie Rückrufwünsche so auf, dass sie nicht verloren gehen.
Bevor kleine und mittelständische Unternehmen ein solches System einführen, sollten sie drei Fragen klären. Wer darf zu wem durchgestellt werden? Woher weiß die KI, wer erreichbar ist? Wo landen Nachrichten und Rückrufwünsche? Wenn diese Prozesse stehen, ist die Technik machbar.
Ob und wo sich KI in eurem Betrieb lohnt, klären wir in unserer KI-Beratung in Köln. Wie unser eigener KI-Server für Texte im Alltag läuft, steht im Erfahrungsbericht eigener KI-Server.
Wir berichten wieder, wenn Sophia die ersten Kundenanrufe aus der Zentrale angenommen hat.
