KI-Telefonassistent im Eigenbau: Was unsere Sophia in den ersten Testwochen gelernt hat

netzwerkfähig testet seit dem 2. November 2026 die eigene KI-Telefonassistentin Sophia auf einem Rechner im Haus. Der Erfahrungsbericht zeigt Technik, Messwerte und Fehler und warum wir die wichtigsten Schutzregeln zusätzlich in Programmcode absichern.

Flacher schwarzer Mini-Rechner auf einem Holzschreibtisch, daneben ein Headset und ein Tischtelefon, im Hintergrund ein Monitor mit einer grünen Tonwelle

Warum wir eine eigene KI-Telefonassistentin gebaut haben

"netzwerkfähig, hier ist Sophia, Ihre KI-Assistentin. Das Gespräch wird aufgezeichnet." So hören es Anrufer mit unbekannter Nummer. Bei diesem System handelt es sich um einen Voice-Agent. Das ist eine KI, die per Sprache Gespräche führt und dabei Anliegen aufnimmt und weiterleitet.

Wir haben Sophia selbst gebaut. Sie läuft auf einem eigenen Rechner in unserem Haus und nicht in der Cloud eines KI-Anbieters. Unter demselben Namen prüft bei netzwerkfähig zudem ein KI-Agent Texte im Auftragssystem, allerdings geht es hier ausschließlich um die Telefonassistentin.

Die Zeitlinie war kurz. Ende Oktober haben wir die Hardware bestellt. Am 1. November 2026 lief der erste Testanruf auf einem anderen Server, bevor Sophia seit dem 2. November auf ihrem eigenen Rechner arbeitet. Aktuell befindet sie sich im Testbetrieb, wobei vor allem Kolleginnen und Kollegen sie anrufen, denn Kundenanrufe leitet die Zentrale noch nicht an sie weiter. Bis zum 9. November zählte das Protokoll 28 eingehende Anrufe über das Telefonnetz, 5 Morgenrufe und 8 simulierte Anrufe.

Wir teilen diese Erfahrungen offen mit euch. Betriebe in Köln und dem Rheinland fragen uns häufig, ob eine Telefon-KI ohne Cloud-KI machbar ist. Deshalb zeigen wir euch, wie wir das Projekt umgesetzt haben.

Was Sophia am Telefon erledigt

Sophia unterscheidet zwischen verschiedenen Anrufern. Unbekannte Anrufer werden förmlich begrüßt, bekannte Kunden begrüßt sie mit Namen, ebenfalls mit dem Hinweis auf KI und Aufzeichnung, während sie Kolleginnen und Kollegen kurz duzt. Bei unbekannten Personen fragt sie zunächst nach dem Anliegen, anschließend nach Name und Firma. Danach fragt sie, ob netzwerkfähig den Anrufer unter der Nummer erreicht, mit der er gerade anruft. Eine diktierte Rufnummer wiederholt sie zur Bestätigung.

Für Kolleginnen und Kollegen bietet sie spezielle Funktionen. Auf Frage nennt sie ihre offenen Vorgänge in Worten, wobei sie maximal fünf nennt und den dringendsten zuerst aufzählt. Ticketnummern nennt sie nie, weil sich niemand eine Nummer am Telefon merken kann. Ein Ticket ist ein Vorgang im Auftragssystem. Seit dem 9. November nennt sie zudem Termine aus dem Support-Kalender für heute und den nächsten Arbeitstag.

Neu ist der Morgenruf. Dabei ruft Sophia Kolleginnen und Kollegen morgens auf dem Handy an. Sie geht die offenen Vorgänge einzeln durch und fasst am Ende zusammen, was die Person dazu gesagt hat. Bis zum 9. November gab es fünf solcher Morgenrufe als Test.

Beim Verbinden folgt sie festen Regeln. Seit dem 11. November gilt: Verlangt ein Anrufer ausdrücklich eine Person, verbindet sie ohne Rückfrage, sofern die Person erreichbar ist und die Regeln es zulassen. Schlägt sie die Verbindung selbst vor, fragt sie vorher. Nach einem Ja sagt sie einen kurzen Satz wie "Gern, einen Moment." und stellt die Verbindung her. An externe Anrufer gibt sie jedoch nie Informationen darüber weiter, wer im Büro, im Haus oder im Homeoffice ist, weil solche Angaben Betrügern helfen könnten.

Wenn niemand erreichbar ist, nimmt Sophia eine Nachricht auf. Diese geht als Mail an die gewünschte Person oder das Support-Team. Die Mail enthält eine Zusammenfassung, den Wortlaut und den Gesprächsverlauf sowie den Tonmitschnitt. Seit dem 9. November 2026 entsteht zudem direkt ein Rückruf-Ticket im Auftragssystem; im echten Betrieb ist das noch nicht bestätigt. Erkannten Kunden kann Sophia zudem ein Zeitfenster für den Rückruf anbieten, was im echten Betrieb jedoch noch nicht bestätigt wurde.

Es gibt Dinge, die Sophia nicht kann. Sie gibt keine Ticketinhalte heraus und erledigt keine Vorgänge direkt am Telefon. Zudem nennt sie keine Ticketnummern und spricht nur Deutsch. Fremdsprachige Sätze gelten als nicht verstanden.

Die Technik: ein Rechner, drei KI-Modelle

Die Hardware besteht aus einer Lenovo ThinkStation PGX. Das ist die Lenovo-Ausführung des NVIDIA DGX Spark. Laut Datenblatt besitzt der Rechner einen NVIDIA GB10 Grace Blackwell Superchip mit 20 Prozessorkernen und 128 GB gemeinsamem Arbeitsspeicher für Prozessor und Grafikeinheit. Das Netzteil hat 240 Watt, und das System unterstützt laut Lenovo-Datenblatt KI-Modelle bis 200 Milliarden Parameter. Dieser Rechner ist für Sophia reserviert, daher laufen daneben nur Überwachung und Wartung.

Der Weg eines Satzes ist technisch unterteilt. Zunächst nimmt ein eigenes Programm, die Anrufsteuerung, das Gespräch an. Dann kommt die Spracherkennung Voxtral Mini Realtime zum Einsatz. Die Spracherkennung wandelt Gesprochenes in Text um. Die Anrufsteuerung holt die nötigen Daten aus dem Auftragssystem und gibt sie an das Sprachmodell Qwen3.6-35B-A3B weiter. Das Sprachmodell ist die KI, die die Antwort formuliert, greift aber selbst auf keine Daten zu. Schließlich macht die Sprachausgabe Qwen3-TTS aus dem Antworttext eine Stimme, konkret die Stimme Julia.

Wir nutzen eine lokale KI, das heißt, sie läuft auf eigener Hardware statt in der Cloud eines Anbieters. Wir setzen drei getrennte Modelle ein, weil jedes spezialisiert ist. Zudem passen alle gleichzeitig in den Speicher, sodass nichts nachgeladen werden muss. Zusammen belegen sie zum Stand vom 9. November rund 80 Gigabyte Speicher. Die Telefonverbindung selbst läuft über eine Cloud-Telefonanlage.

Was wir gemessen haben

Wir haben die Antwortzeit am 4. November 2026 mit simulierten Anrufen gemessen. Dabei zählte die Zeit vom Satzende des Anrufers bis zum ersten Ton von Sophia. Angegaben ist der Wert, unter dem 95 Prozent der Antworten lagen; bei einem Gespräch waren das 16 Antworten. Durch einen Umbau hört die Spracherkennung nun schon mit, während der Anrufer spricht. Dadurch sank die Zeit bei einem Gespräch von 4,68 auf 2,79 Sekunden. Bei mehreren gleichzeitigen Gesprächen dauert es länger. Seitdem haben wir weiter umgebaut, eine neue Messung steht noch aus.

Zudem haben wir verschiedene Sprachmodelle mit Textszenarien verglichen. Wir prüften 608 Antworten je Modell auf Verstöße gegen die Regeln.

Sprachmodelle im Regeltest mit Textszenarien (608 Antworten je Modell, 3. und 4. November 2026)
ModellAntworten mit RegelverstoßErgebnis
Nemotron 3.5 Lightning26,3 %bis 4. November im Einsatz, abgelöst
Qwen3.6-35B-A3B4,4 %seit 4. November im Einsatz
Qwen3.6-27B3,1 %in simulierten Anrufen zu langsam

Das Modell Nemotron 3.5 Lightning verstieß in 26,3 Prozent der Antworten gegen Regeln. Qwen3.6-35B-A3B lag bei 4,4 Prozent und Qwen3.6-27B bei 3,1 Prozent. Letzteres war in simulierten Anrufen jedoch zu langsam. Deshalb arbeitet Sophia seit dem 4. November mit Qwen3.6-35B-A3B, weil es stabil lief und genauso schnell war wie das alte Modell.

Was schiefging und was wir daraus gelernt haben

Die meisten Fehler fielen uns in Testanrufen auf. Gemessen und behoben haben wir sie anschließend mit simulierten Gesprächen.

Das kurze Nein: Am 2. November erkannte Sophia in einem Testanruf ein "Nein" als die Ziffer 9. Sie wertete dies als Ja und verband den Anrufer. Der Grund: Im Ton vor der Antwort lief noch der Rest ihrer eigenen Frage mit. Deshalb gilt "neun" nach einer Ja-Nein-Frage seitdem als Nein.

Hänger im Lasttest: Im Lasttest am 4. November mit mehreren gleichzeitigen Gesprächen blieb das Sprachmodell hängen oder fiel aus. Im normalen Betrieb passierte dies nicht. Wir haben daher eine Einstellung der Software geändert. Falls das Modell trotzdem ausfällt, nimmt Sophia die Störung mit festen Sätzen auf.

Aussetzer in der Stimme: Am 9. November meldeten Testanrufer kleine Aussetzer in der Stimme. Die Spracherkennung lief weiter, während Sophia sprach, und bremste so die Sprachausgabe. In der Simulation hatten vorher 16 von 16 Antworten einen Aussetzer. Seitdem ruht die Erkennung, solange der Anrufer nicht spricht, und der Ton startet erst mit einer Sekunde Vorrat. Danach hatten 0 von 16 Antworten einen Aussetzer. Allerdings kommt der erste Ton nun im Median 1,52 statt 1,08 Sekunden nach dem Start der Antwortberechnung.

Zu viel über Anwesenheit: Am 6. November nannte Sophia in Anrufen mit unbekannter oder unterdrückter Nummer, wer im Haus ist, teils sogar falsch. Wir haben ihr diese Angaben für externe Anrufer sofort entzogen. Zudem kontrolliert ein Prüfprogramm jeden Satz vor dem Sprechen. In simulierten Gesprächen am 9. November kamen dennoch 61 Angaben wie "alle Kollegen sind im Haus" in 240 Antworten vor. Seit dem 9. November prüft das Programm auch diese Sätze, woraufhin 0 von 236 Antworten solche Angaben enthielten.

Verlorene Rückrufe: Hier gab es zwei Lücken. Bei echten Anrufen zwischen dem 2. und 5. November liefen Rückrufaufträge über einen Umweg; von 7 Aufträgen ist nur für einen ein Ticket belegt. Seit dem 9. November entsteht das Ticket direkt. Außerdem bekamen Anrufer, die jemanden sprechen wollten und weder verbunden wurden noch eine Nachricht hinterließen, bisher kein Ticket. In einem Test mit simulierten Anrufern am 9. November betraf das 11 von 20 Fällen. Seitdem bekommen solche Anrufer immer ein Ticket, im selben Test danach 0 von 20.

Die Lehre daraus ist klar: Eine Anweisung an die KI allein hielt nicht zuverlässig. Deshalb sichert Programmcode zusätzlich die wichtigsten Schutzregeln ab. Das betrifft die Regeln, wen Sophia verbindet, was Externe über Kollegen hören und was sie zusagt. Alle anderen Sätze formuliert das Sprachmodell weiterhin selbst.

Datenschutz und KI-Verordnung

Die Spracherkennung, die Antwort, die Stimme und die Zusammenfassung entstehen komplett auf dem eigenen Rechner. Nach außen gehen die Telefonverbindung und die Nachrichten an die Postfächer von netzwerkfähig bei Microsoft 365. Das betrifft Mails mit Gesprächsverlauf und Tonmitschnitt sowie Hinweise zu Rückruf-Tickets in Microsoft Teams. Bei einer gezielten Fehlersuche sehen zudem externe KI-Werkzeuge zum Programmieren einzelne Gesprächstexte ein. Sophia schreibt jedes Gespräch als Text mit und zeichnet in der Testphase auch den Ton auf.

Die KI-Verordnung der EU (Verordnung (EU) 2024/1689), Artikel 50 Absatz 1, schreibt vor, dass Menschen erfahren müssen, wenn sie mit einer KI interagieren. Diese Regelung gilt laut Artikel 113 grundsätzlich ab dem 2. August 2026. Deshalb hören externe Anrufer bereits im ersten Satz, dass sie mit einer KI-Assistentin sprechen. Dieser Text stellt keine Rechtsberatung dar. Wir empfehlen, Datenschutzbeauftragte frühzeitig in solche Projekte einzubinden.

Für wen sich eine Telefon-KI auf eigener Hardware lohnt

Eine Telefon-KI auf eigener Hardware ist sinnvoll, wenn Sprache und Kundendaten nicht an einen Cloud-KI-Anbieter gehen sollen. Voraussetzung ist, dass die eigenen Systeme saubere Daten liefern: Wer ist Kunde, wer ist Kollege, wer ist gerade erreichbar.

Die Hardware ist dabei der kleinere Teil des Projekts. Die eigentliche Arbeit steckt in den Regeln, den Messungen und den Tests mit Testanrufen. Eine Telefon-KI ersetzt keine Menschen in kleinen und mittleren Unternehmen. Sie nimmt Anrufe an, wenn niemand frei ist, und schreibt Nachrichten sowie Rückrufwünsche so auf, dass sie nicht verloren gehen.

Bevor kleine und mittelständische Unternehmen ein solches System einführen, sollten sie drei Fragen klären. Wer darf zu wem durchgestellt werden? Woher weiß die KI, wer erreichbar ist? Wo landen Nachrichten und Rückrufwünsche? Wenn diese Prozesse stehen, ist die Technik machbar.

Ob und wo sich KI in eurem Betrieb lohnt, klären wir in unserer KI-Beratung in Köln. Wie unser eigener KI-Server für Texte im Alltag läuft, steht im Erfahrungsbericht eigener KI-Server.

Wir berichten wieder, wenn Sophia die ersten Kundenanrufe aus der Zentrale angenommen hat.

Häufige Fragen

Was ist ein KI-Telefonassistent?

Ein KI-Telefonassistent ist ein Voice-Agent, also eine KI, die per Sprache Gespräche führt und dabei Anliegen aufnimmt und weiterleitet. netzwerkfähig nutzt für Sophia eine Spracherkennung, die Gesprochenes in Text umwandelt, sowie ein Sprachmodell, welches die Antwort formuliert. Schließlich macht die Sprachausgabe aus diesem Text eine Stimme. netzwerkfähig aus Köln und Langenfeld erprobt Sophia seit dem 2. November 2026 im eigenen Testbetrieb, wobei vor allem Kolleginnen und Kollegen sie anrufen.

Kann ein KI-Telefonassistent ohne Cloud-KI laufen?

Ja, das ist möglich, wenn man eine lokale KI auf eigener Hardware statt in der Cloud eines Anbieters betreibt. netzwerkfähig lässt Sophia auf einem eigenen Rechner im Haus laufen, weshalb Spracherkennung, Antwort und Stimme dort entstehen. Nach außen gehen die Telefonverbindung über eine Cloud-Telefonanlage und Nachrichten an die Postfächer bei Microsoft 365. Bei einer gezielten Fehlersuche sehen außerdem externe KI-Werkzeuge zum Programmieren einzelne Gesprächstexte ein.

Welche Hardware braucht ein lokaler KI-Telefonassistent?

Für Sophia nutzt netzwerkfähig eine Lenovo ThinkStation PGX, welche die Lenovo-Ausführung des NVIDIA DGX Spark ist. Dieser Rechner besitzt einen NVIDIA GB10 Grace Blackwell Superchip mit 20 Prozessorkernen und 128 GB gemeinsamem Arbeitsspeicher. Laut Lenovo verarbeitet das System KI-Modelle mit bis zu 200 Milliarden Parametern. netzwerkfähig aus Köln und Langenfeld hat den Rechner nur für Sophia reserviert.

Wie schnell antwortet ein KI-Telefonassistent am Telefon?

Die Antwortzeit hängt stark von der technischen Umsetzung ab. netzwerkfähig maß am 4. November 2026 mit simulierten Anrufen, dass die Zeit bis zum ersten Ton bei einem Gespräch von 4,68 auf 2,79 Sekunden sank. Angegaben ist der Wert, unter dem 95 Prozent von 16 Antworten lagen. Dies gelang, weil die Spracherkennung nun schon mithört, während der Anrufer spricht. Spätere Korrekturen gegen Aussetzer verschieben den ersten Ton etwas nach hinten; eine neue Messung steht aus.

Was kann ein KI-Telefonassistent nicht?

Ein KI-Telefonassistent hat klare Grenzen bei der Datenherausgabe und Sprache. Sophia gibt zum Beispiel keine Ticketinhalte heraus und nennt keine Ticketnummern, weil sich am Telefon niemand eine Nummer merken kann. Zudem erledigt sie keine Vorgänge direkt am Telefon. Da sie nur Deutsch spricht, gelten fremdsprachige Sätze als nicht verstanden. Deshalb bleibt die finale Bearbeitung von Tickets in der Hand der Menschen bei netzwerkfähig.

Muss ein KI-Telefonassistent sagen, dass er eine KI ist?

Ja, laut Artikel 50 Absatz 1 der EU-KI-Verordnung müssen Menschen erfahren, dass sie mit einer KI interagieren. Diese Regel gilt grundsätzlich seit dem 2. August 2026, außer der Umstand ist offensichtlich. Deshalb begrüßt Sophia Anrufer mit unbekannter Nummer wörtlich mit: "netzwerkfähig, hier ist Sophia, Ihre KI-Assistentin. Das Gespräch wird aufgezeichnet." Bekannte Kunden hören denselben Hinweis mit ihrem Namen. Bitte beachtet, dass netzwerkfähig hier keine Rechtsberatung für kleine und mittlere Unternehmen gibt.

Kann ein KI-Telefonassistent Anrufe an Mitarbeiter durchstellen?

Ja, das funktioniert über feste Regeln und die Prüfung der Erreichbarkeit. netzwerkfähig hat Sophia so programmiert, dass sie seit dem 11. November Personen ohne Rückfrage verbindet, wenn Anrufer dies ausdrücklich verlangen und die Person erreichbar ist. Falls Sophia die Verbindung selbst vorschlägt, fragt sie jedoch vorher nach. Um Betrüger abzuwehren, nennt sie externen Anrufern niemals Details darüber, wer gerade im Büro oder im Homeoffice ist.

Lohnt sich ein KI-Telefonassistent für kleine und mittelständische Unternehmen?

Die Technik ist heute machbar, erfordert aber viel Arbeit bei den Regeln und Tests. netzwerkfähig aus Köln hat im Testbetrieb gelernt, dass einfache Anweisungen an die KI nicht zuverlässig hielten. Daher sichern wir wichtige Schutzregeln zusätzlich durch Programmcode ab. Zudem benötigen kleine und mittlere Unternehmen saubere Daten in ihrem Auftragssystem, damit die KI korrekt zwischen Kunden und Kollegen unterscheiden kann.

Passende Artikel

Habt ihr diese 4 wichtigen Punkte in den letzten 6 Monaten einmal überprüft? Falls nein, sprecht uns an, wir entwerfen mit euch einen Plan und setzen ihn auch um, wenn gewünscht.

  • Sicherheitsprüfung eurer Firewall und Server-Infrastruktur
  • Kontrolle alter Benutzerkonten und Zugriffsrechte
  • Prüfung von Zugriffsrechten auf eure Unternehmensdaten
  • Test einer vollständigen Datenwiederherstellung (Notfallprobe)
Jetzt anfragen

Jetzt Kontakt aufnehmen

Interesse geweckt? Ruft uns an oder schreibt uns über das Formular. Wir melden uns in der Regel noch am selben Werktag.

Telefon

0221 677 864 12

Büroanschrift

netzwerkfähig H & F GmbH
Karl-Benz-Straße 9
40764 Langenfeld

Datenschutzerklärung öffnen

Spamschutz aktiv – die Prüfung läuft automatisch im Hintergrund.

AnrufenMo–Fr 7–17 Uhr Anfrage sendenAntwort am selben Werktag