Generative KI & LLMs sicher einsetzen – flexibel, unabhängig und passend zu Ihrem Use Case
Sie entscheiden, wo Ihre KI läuft. Wir unterstützen Sie bei Auswahl, Betrieb und Management der passenden Modelle.
LLM-agnostisch. Kontinuierlich evaluiert. Auf Wunsch vollständig gemanagt.
IntraFind ist LLM-agnostisch. Sie können geeignete Modelle On-Premises betreiben, von IntraFind gehostete Modelle nutzen oder externe Cloud-LLMs integrieren.
Dabei unterstützen wir nicht nur bei der erstmaligen Auswahl: Wir evaluieren kontinuierlich neue generative LLMs und Embedding-Modelle, bewerten relevante Modell-Releases und begleiten auf Wunsch den gesamten Modell-Lifecycle.
Das passende LLM für Ihren Use Case
Die Frage ist aus unserer Sicht nicht:
„Welches ist das beste LLM?“ Sondern:
„Welches Modell funktioniert für Ihren konkreten Anwendungsfall am besten?“
Es gibt nicht das eine beste LLM für jedes Unternehmen. Entscheidend ist, welches Modell für Ihren konkreten Anwendungsfall, Ihre Daten, Ihre Infrastruktur und Ihre Sicherheitsanforderungen geeignet ist.
Im IntraFind LLM Evaluation Framework bewerten wir generative LLMs und Embedding-Modelle kontinuierlich und unter reproduzierbaren Bedingungen. Dafür nutzen wir unter anderem ein definiertes Golden-Standard-Dokumentenset und betrachten Kriterien wie Qualität, Performance, Ressourcenbedarf, Kontextverarbeitung und Eignung für Enterprise-RAG-Anwendungen.
Aus diesen Evaluierungen leiten wir konkrete Modellempfehlungen ab und begleiten auf Wunsch den gesamten Lifecycle – von Auswahl und GPU-Sizing über Integration und Betrieb bis zum späteren Modellwechsel.
Je nach Modell und Anwendung bewerten wir unter anderem:
- Performance, Latenz und Durchsatz
- Kontextlänge und Kontextverarbeitung
- benötigte GPU- und Infrastrukturressourcen
- Retrieval- und RAG-Qualität
- Qualität von Embeddings und semantischer Suche
- Eignung für unterschiedliche Dokumenttypen und Sprachen
- Betriebsfähigkeit in On-Premises-Umgebungen
So entsteht nicht nur ein allgemeiner Modellvergleich. Wir bewerten, welches Modell sich für welchen Einsatzzweck eignet.
Die Wahl des richtigen LLMs - lassen Sie sich von uns beraten
Evaluieren → Empfehlen → Dimensionieren → Integrieren → Betreiben → Aktualisieren → Wechseln
Auf Wunsch begleiten wir den gesamten Modell-Lifecycle – von Auswahl und GPU-Sizing über Installation und Integration bis zu Updates und einem späteren Modellwechsel.
LLM-agnostisch statt an einen Anbieter gebunden
Deshalb ist die IntraFind Enterprise AI Platform grundsätzlich LLM-agnostisch ausgelegt.
Generative Modelle und Embedding-Modelle können entsprechend Ihren Anforderungen ausgewählt und bei Bedarf ausgetauscht werden.
Das ermöglicht Ihnen, technologische Entwicklungen zu nutzen, ohne Ihre gesamte KI-Anwendung neu entwickeln zu müssen.
Drei Wege, LLMs im Unternehmen zu betreiben
IntraFind unterstützt unterschiedliche Betriebsmodelle.
1. LLMs On-Premises betreiben
Für Organisationen mit besonders hohen Anforderungen an Datenschutz, Datenhoheit und Kontrolle können geeignete generative und Embedding-Modelle vollständig in der eigenen Infrastruktur betrieben werden.
Gemeinsam mit Ihnen wählen wir geeignete Modelle aus und unterstützen bei der Dimensionierung der benötigten GPU-Infrastruktur.
Auf Wunsch übernehmen wir anschließend Installation, Konfiguration und Aktualisierung.
Ihre Vorteile:
• Verarbeitung innerhalb Ihrer eigenen Infrastruktur
• maximale Kontrolle über Daten und Systeme
• keine notwendige Übertragung von Inhalten an externe LLM-Anbieter
• freie Auswahl geeigneter Modelle
• Wechsel auf neue Modellgenerationen möglich
• Beratung bei GPU-Auswahl und Sizing
• Unterstützung bei Installation und Updates
• generative LLMs und Embedding-Modelle aus einer Hand betrachtet
Ideal für:
Organisationen mit sensiblen Daten, hohen Sicherheitsanforderungen oder klaren Vorgaben zur Data Residency.
2. Von IntraFind gehostete LLMs – Managed Service
Wenn Sie zunächst keine eigene GPU-Infrastruktur aufbauen möchten, können Sie von IntraFind betriebene LLMs nutzen. Der Betrieb kann auf entsprechend vereinbarter, in Deutschland gehosteter Infrastruktur erfolgen.
Dabei kann sichergestellt werden, dass:
• Ihre Unternehmensinhalte nicht für das Training zukünftiger Modellgenerationen verwendet werden
• kein inhaltliches Tracking Ihrer Anfragen für eigene Zwecke erfolgt
• die verarbeiteten Inhalte nicht dauerhaft für eigene Zwecke gespeichert werden
• die Verarbeitung auf vereinbarter Infrastruktur in Deutschland erfolgt
• Modelle entsprechend Ihren Anforderungen ausgewählt werden
• IntraFind den technischen Betrieb und das Modellmanagement übernimmt
Damit können Sie generative KI nutzen, ohne zunächst selbst die komplette dafür benötigte KI-Infrastruktur aufbauen und betreiben zu müssen.
Ein Managed Service kann außerdem sinnvoll sein, wenn Sie schnell mit einem KI-Projekt starten möchten, langfristig aber einen Betrieb in Ihrer eigenen Infrastruktur planen.
3. Externe Cloud-LLMs und LLM-APIs
Wenn Ihre organisatorischen, regulatorischen und datenschutzrechtlichen Anforderungen dies zulassen, können auch externe Cloud-LLMs und Anbieter-APIs integriert werden.
Je nach Einsatzszenario können beispielsweise kommerzielle oder frei verfügbare Modelle verschiedener Anbieter genutzt werden.
Entscheidend sind dabei Ihre Anforderungen:
• Wo dürfen Daten verarbeitet werden?
• Welche Data-Residency-Vorgaben bestehen?
• Welche Daten dürfen Ihre eigene Infrastruktur verlassen?
• Welche Anbieter sind in Ihrer Organisation freigegeben?
• Welche vertraglichen Anforderungen bestehen?
• Welche Sicherheits- und Datenschutzanforderungen gelten?
• Welche generativen Funktionen sollen über die Cloud genutzt werden?
Auf dieser Grundlage stimmen wir gemeinsam mit Ihnen ab, welche Dienste und Modelle für Ihren Einsatz geeignet sind.
Auch hybride Szenarien sind möglich
Besonders sensible Anwendungen können beispielsweise mit einem On-Premises-Modell betrieben werden, während für andere Aufgaben ein freigegebenes Cloud-Modell eingesetzt wird. Auch unterschiedliche Modelle können parallel für verschiedene Use Cases genutzt werden.
Gute Enterprise AI braucht mehr als ein leistungsfähiges LLM
Bei Unternehmens-KI liegt der Fokus häufig auf dem generativen Sprachmodell. Für RAG-Anwendungen sind jedoch auch Embedding-Modelle, Suche und Retrieval entscheidend.
Embedding-Modelle bilden Inhalte und Suchanfragen mathematisch ab und beeinflussen damit, welche Informationen überhaupt als relevanter Kontext für eine generierte Antwort gefunden werden.
IntraFind betrachtet deshalb das Zusammenspiel von:
Enterprise Search + Retrieval + Embeddings + generativem LLM
iFinder erschließt Unternehmensinformationen, berücksichtigt vorhandene Zugriffsberechtigungen und stellt der generativen KI relevanten Kontext aus den angebundenen Informationsquellen bereit. Quellen und Fundstellen können dabei nachvollziehbar gemacht werden.
💡FAQ: Was sind LLMs, generative KI und RAG?
Large Language Models – kurz LLMs – sind große KI-Sprachmodelle, die auf Machine Learning basieren und Sprache verarbeiten und erzeugen können.
Sie können beispielsweise:
- Fragen beantworten
- Texte zusammenfassen
- Inhalte erklären
- Texte übersetzen
- Informationen strukturieren
- neue Texte formulieren
- Inhalte analysieren
- natürlichsprachliche Dialoge führen
Im Unternehmenskontext können LLMs insbesondere dann einen großen Mehrwert bieten, wenn sie gezielt mit relevanten und vertrauenswürdigen Informationen aus der eigenen Organisation kombiniert werden.
Als generative KI oder GenAI bezeichnet man KI-Systeme, die auf Basis von Trainingsdaten und einer Nutzereingabe neue Inhalte erzeugen können.
Dazu gehören beispielsweise:
- Texte
- Zusammenfassungen
- Antworten
- Bilder
- Software-Code
- strukturierte Informationen
Im Kontext von Enterprise Search wird generative KI unter anderem verwendet, um aus relevanten Such- und Rechercheergebnissen natürlichsprachliche Antworten oder Zusammenfassungen zu erzeugen.
Retrieval-Augmented Generation – kurz RAG – verbindet Informationssuche mit generativer KI.
Anstatt sich bei einer Antwort ausschließlich auf das Wissen des Sprachmodells zu verlassen, werden zunächst relevante Informationen aus definierten Datenquellen gesucht.
Diese Informationen werden dem LLM als Kontext zur Verfügung gestellt.
Vereinfacht dargestellt:
Frage → Suche nach relevanten Informationen → Berechtigungsprüfung → Übergabe des relevanten Kontexts an das LLM → generierte Antwort
Dadurch kann das Sprachmodell Antworten auf Basis Ihrer eigenen, aktuellen Unternehmensinformationen formulieren.
Für Enterprise-Anwendungen ist deshalb nicht allein die Leistungsfähigkeit des LLMs entscheidend.
Ebenso wichtig sind:
- Qualität der Informationserschließung
- Qualität der Suche
- Embedding-Modelle
- Retrieval-Qualität
- Berechtigungsprüfung
- Kontextauswahl
- Quelleninformationen
Genau hier treffen die langjährige Enterprise-Search-Kompetenz von IntraFind und moderne generative KI aufeinander.
Praxisbeispiel: Generative KI in einer deutschen Bundesbehörde
In einem weiteren Projekt wurde generative KI eingesetzt, um Mitarbeitenden über einen Intranet-Chatbot organisatorische Fragen in natürlicher Sprache zu beantworten.
Lesen Sie weiter >>
Die Antworten sollen ebenfalls in natürlicher Sprache erfolgen.
Entscheidend dabei:
Die Antworten sollen auf den freigegebenen internen Informationen der Organisation basieren.
Kann eine Frage auf Basis der verfügbaren Informationen nicht beantwortet werden, soll dies transparent kommuniziert werden, anstatt eine vermeintlich plausible Antwort zu erzeugen.
Das System ist für mehrere Tausend Anfragen pro Tag ausgelegt.
So entsteht ein KI-Assistent, der die technologische Stärke generativer KI mit den kontrollierten Informationsbeständen und Berechtigungsstrukturen der Organisation verbindet.
Solche Anwendungsszenarien lassen sich nicht nur in der öffentlichen Verwaltung realisieren, sondern beispielsweise auch in Industrieunternehmen, Finanzorganisationen oder anderen wissensintensiven Organisationen.
Der vorgestellte Use Case lässt sich selbstverständlich für jede Branche abbilden, ob Industrie, Finanzsektor oder öffentliche Verwaltung.
💡 Häufige Fragen zu LLMs im Unternehmen
Nein. Die IntraFind Enterprise AI Platform ist grundsätzlich LLM-agnostisch ausgelegt.
Abhängig von Einsatzgebiet, Infrastruktur und organisatorischen Vorgaben können unterschiedliche generative LLMs und Embedding-Modelle eingesetzt werden.
IntraFind gibt auf Basis der eigenen Evaluierungen Empfehlungen ab – die Entscheidung über das eingesetzte Modell liegt bei Ihnen. Wenn Ihre Organisation bereits bestimmte Modelle, Hersteller oder Cloud-Anbieter vorgibt, berücksichtigen wir diese Anforderungen.
Ein pauschal „bestes LLM“ gibt es aus unserer Sicht nicht.
Die Eignung eines Modells hängt unter anderem vom konkreten Use Case, der Sprache, der erforderlichen Qualität, der verfügbaren Hardware, dem benötigten Durchsatz und den Sicherheitsanforderungen ab.
Deshalb vergleichen wir Modelle nicht nur anhand allgemeiner Benchmarks, sondern im Hinblick auf konkrete Anwendungsszenarien.
IntraFind evaluiert relevante Modelle kontinuierlich innerhalb eines systematischen Evaluation Frameworks.
Dafür verwenden wir unter anderem definierte Golden-Standard-Dokumente und vergleichen qualitative Ergebnisse sowie technische Performance-KPIs.
Daraus leiten wir konkrete Modellempfehlungen für unterschiedliche Anwendungsszenarien ab.
Auf Wunsch müssen Sie neue Modelle und Modellversionen nicht selbst laufend verfolgen:
IntraFind übernimmt die kontinuierliche Beobachtung und technische Bewertung relevanter Entwicklungen und kann Sie proaktiv informieren, wenn ein neues Modell oder eine neue Modellversion für Ihre Anwendung relevant wird.
Nein.
Ein neueres Modell ist nicht automatisch das bessere Modell für Ihren konkreten Einsatz.
Wir bewerten zunächst, ob ein Wechsel beispielsweise hinsichtlich Qualität, Performance, Ressourcenbedarf oder Funktionalität einen tatsächlichen Vorteil bietet.
Ein Modellwechsel erfolgt abgestimmt entsprechend Ihrem Betriebs- und Service-Modell.
Ja.
Gerade deshalb setzen wir auf eine LLM-agnostische Architektur.
Neue Modelle können integriert und bestehende Modelle ausgetauscht werden, ohne dass die komplette KI-Anwendung grundsätzlich neu entwickelt werden muss.
Ja.
Geeignete generative und Embedding-Modelle können auf Ihrer eigenen GPU-Infrastruktur betrieben werden.
IntraFind unterstützt Sie bei der Auswahl geeigneter Modelle, beim Sizing der Infrastruktur sowie auf Wunsch bei Installation, Konfiguration und Aktualisierung.
In diesem Fall kann ein von IntraFind gehostetes Modell als Managed Service eine geeignete Lösung sein.
Dies kann dauerhaft oder als Übergangsphase genutzt werden, während Sie beispielsweise eine eigene On-Premises-Infrastruktur aufbauen.
Der Betrieb kann auf entsprechend vereinbarter, in Deutschland gehosteter Infrastruktur erfolgen. Das ist insbesondere für Organisationen relevant, die konkrete Anforderungen an Data Residency und Datenverarbeitung haben
Beim IntraFind Managed Service werden verarbeitete Unternehmensinhalte nicht verwendet, um zukünftige Modellgenerationen zu trainieren. Ebenso erfolgt kein inhaltliches Tracking von Prompts oder Anfragen für eigene Zwecke.
Verarbeitete Dokumente, Prompts und Inhalte werden außerdem nicht dauerhaft für eigene Zwecke gespeichert. Die Verarbeitung dient der Bereitstellung der vereinbarten Funktionalität.
Die konkreten technischen und organisatorischen Rahmenbedingungen richten sich nach dem jeweils vereinbarten Betriebs- und Service-Modell.
Ja.
Wenn dies zu Ihren Datenschutz-, Sicherheits-, Compliance- und Data-Residency-Anforderungen passt, können auch externe LLM-APIs und Cloud-Modelle integriert werden.
Ja.
Hybride Architekturen können sogar sinnvoll sein.
Besonders sensible Anwendungen können beispielsweise mit einem On-Premises-Modell verarbeitet werden, während für andere Aufgaben freigegebene Cloud-Modelle eingesetzt werden.
Nein.
Wir evaluieren und betreuen auch Embedding-Modelle.
Diese spielen bei semantischer Suche, Retrieval und RAG eine wichtige Rolle und können erheblichen Einfluss auf die Gesamtqualität einer KI-Anwendung haben.
Beide erfüllen unterschiedliche Aufgaben.
Das Embedding-Modell beeinflusst unter anderem, welche Informationen semantisch als relevant erkannt werden.
Das generative LLM verarbeitet anschließend den bereitgestellten Kontext und formuliert daraus beispielsweise eine Antwort oder Zusammenfassung.
Für gute Enterprise-RAG-Anwendungen betrachten wir deshalb das Zusammenspiel des gesamten Systems.
Sie möchten generative KI für Ihre eigenen Daten einsetzen?
Wir betrachten gemeinsam mit Ihnen:
Besprechen Sie Ihren Use Case mit uns
Ob On-Premises, IntraFind Managed Service, externe Cloud oder eine hybride Kombination:
Sie bestimmen, wo Ihre generative KI betrieben werden soll.
- Wir evaluieren kontinuierlich geeignete generative LLMs und Embedding-Modelle, empfehlen Modelle passend zu Ihren Anwendungsfällen und begleiten auf Wunsch den gesamten Lifecycle – von der ersten Auswahl über Dimensionierung und Betrieb bis zum nächsten sinnvollen Modellwechsel.
- Ihre Ansprechpartner:
Franz Kögl, Vorstand Breno Faria, Product Lead AI
