Lokale KI für Unternehmen

Bei einem lokalen Modell verlassen Ihre Daten das Haus nicht. Es gibt keine Übermittlung in Drittländer, und Sie entscheiden selbst, welches Modell in welcher Version läuft und wann es aktualisiert wird.

Dazu kommt das Fachwissen: Mit Ihren eigenen Unterlagen kann ein lokales Modell in einem engen Fachgebiet bessere Antworten geben als ein großes Allzweckmodell. Und es kennt den aktuellen Stand, während das Wissen großer Modelle zu einem festen Stichtag ihres Trainings endet.

Lokale Modelle sind deutlich kleiner als die großen Modelle der bekannten Anbieter, die ein Vielfaches an Parametern haben und sehr lange Dokumente auf einmal verarbeiten. Im allgemeinen Vergleich sind die großen Modelle überlegen, das sagen wir offen.

Offene Modelle werden aber mit jeder Generation leistungsfähiger. Für klar umrissene Aufgaben mit eigenem Fachwissen reichen sie heute oft aus, und dort spielen sie ihre Stärken aus.

In den meisten Fällen reicht Retrieval-Augmented Generation (RAG): Das Modell sucht vor jeder Antwort in Ihren Dokumenten, Wikis und Handbüchern und stützt sich auf das, was es dort findet. Neues Wissen ist sofort verfügbar, ohne das Modell neu zu trainieren.

Fine-Tuning, also das gezielte Nachtrainieren eines Modells mit eigenen Daten, lohnt sich vor allem dort, wo es auf kurze Antwortzeiten ankommt: Ein kleines, spezialisiertes Modell antwortet schneller als ein großes Allzweckmodell. Bei lokaler KI können Sie ein Modell jederzeit selbst auf einen neuen Wissensstand nachtrainieren.

Spracherkennung und Sprachsynthese, also die Umwandlung von gesprochener Sprache in Text und zurück, laufen lokal bereits auf einfacher Hardware gut. Das ist die Grundlage für einen KI-Telefonassistenten, dessen Sprachverarbeitung im Haus bleibt.

Weitere typische Einsatzfälle sind die Suche in internen Dokumenten und KI-Mitarbeiter, die wiederkehrende Abläufe mit Ihrem Fachwissen übernehmen.

Welche Hardware Sie brauchen, hängt von der Modellgröße und der Zahl gleichzeitiger Anfragen ab: Für Spracherkennung oder ein kleines Modell genügt ein einzelner Rechner, größere Modelle brauchen einen Server mit leistungsfähiger Grafikkarte. Wir legen die Hardware nach Ihrem Anwendungsfall aus, nicht umgekehrt.

Als Laufzeitumgebung für offene Modelle setzen wir llama.cpp ein. Es läuft auf gewöhnlicher Hardware, auch ohne große Grafikkarte, und lässt sich ohne Cloud-Anbindung betreiben.

Lokale KI im Eigenbetrieb ist aufwendig und kostet Hardware, Strom und Betreuung. Oft geht es Unternehmen aber vor allem darum, dass die Daten in Deutschland bleiben. Das lässt sich auch mit Betreibern umsetzen, die ihren Sitz und ihre Rechenzentren in Deutschland haben.

Wir vergleichen beide Wege mit Ihnen und empfehlen den, der zu Ihren Anforderungen, Ihrem Budget und Ihren Daten passt.

Ein Modell in Betrieb zu nehmen ist der Anfang. Wir übernehmen auf Wunsch Monitoring, Updates und die laufende Bewertung der Antworten, damit die Qualität nicht unbemerkt nachlässt.

Den Datenschutzbeauftragten stellen wir aus dem eigenen Team, TÜV-SÜD-zertifiziert. Datenschutz ist damit von Anfang an Teil der Lösung.