Generative KI & LLMs sicher einsetzen – flexibel, unabhängig und passend zu Ihrem Use Case
Sie entscheiden, wo Ihre KI läuft. Wir unterstützen Sie bei Auswahl, Betrieb und Management der passenden Modelle.
LLM-agnostisch. Kontinuierlich evaluiert. Auf Wunsch vollständig gemanagt.
IntraFind ist LLM-agnostisch. Sie können geeignete Modelle On-Premises betreiben, von IntraFind gehostete Modelle nutzen oder externe Cloud-LLMs integrieren.
Dabei unterstützen wir nicht nur bei der erstmaligen Auswahl: Wir evaluieren kontinuierlich neue generative LLMs und Embedding-Modelle, bewerten relevante Modell-Releases und begleiten auf Wunsch den gesamten Modell-Lifecycle.
Das passende LLM für Ihren Use Case
Die Frage ist aus unserer Sicht nicht:
„Welches ist das beste LLM?“ Sondern:
„Welches Modell funktioniert für Ihren konkreten Anwendungsfall am besten?“
Es gibt nicht das eine beste LLM für jedes Unternehmen. Entscheidend ist, welches Modell für Ihren konkreten Anwendungsfall, Ihre Daten, Ihre Infrastruktur und Ihre Sicherheitsanforderungen geeignet ist.
Im IntraFind LLM Evaluation Framework bewerten wir generative LLMs und Embedding-Modelle kontinuierlich und unter reproduzierbaren Bedingungen. Dafür nutzen wir unter anderem ein definiertes Golden-Standard-Dokumentenset und betrachten Kriterien wie Qualität, Performance, Ressourcenbedarf, Kontextverarbeitung und Eignung für Enterprise-RAG-Anwendungen.
Aus diesen Evaluierungen leiten wir konkrete Modellempfehlungen ab und begleiten auf Wunsch den gesamten Lifecycle – von Auswahl und GPU-Sizing über Integration und Betrieb bis zum späteren Modellwechsel.
Je nach Modell und Anwendung bewerten wir unter anderem:
- Performance, Latenz und Durchsatz
- Kontextlänge und Kontextverarbeitung
- benötigte GPU- und Infrastrukturressourcen
- Retrieval- und RAG-Qualität
- Qualität von Embeddings und semantischer Suche
- Eignung für unterschiedliche Dokumenttypen und Sprachen
- Betriebsfähigkeit in On-Premises-Umgebungen
So entsteht nicht nur ein allgemeiner Modellvergleich. Wir bewerten, welches Modell sich für welchen Einsatzzweck eignet.
Die Wahl des richtigen LLMs - lassen Sie sich von uns beraten
Aus diesen Evaluierungen leiten wir konkrete Modellempfehlungen ab. Dabei berücksichtigen wir Ihren Use Case, Ihre Daten, verfügbare GPU-Ressourcen, Performance-Anforderungen, Sicherheitsvorgaben und bereits gesetzte Modelle oder Anbieter.
Evaluieren → Empfehlen → Dimensionieren → Integrieren → Betreiben → Aktualisieren → Wechseln
Auf Wunsch begleiten wir den gesamten Modell-Lifecycle – von Auswahl und GPU-Sizing über Installation und Integration bis zu Updates und einem späteren Modellwechsel.
LLM-agnostisch statt an einen Anbieter gebunden
Ein LLM sollte kein langfristiger technologischer Lock-in sein.
Deshalb ist die IntraFind Enterprise AI Platform grundsätzlich LLM-agnostisch ausgelegt.
Generative Modelle und Embedding-Modelle können entsprechend Ihren Anforderungen ausgewählt und bei Bedarf ausgetauscht werden.
Das ermöglicht Ihnen, technologische Entwicklungen zu nutzen, ohne Ihre gesamte KI-Anwendung neu entwickeln zu müssen.
Drei Wege, LLMs im Unternehmen zu betreiben
IntraFind unterstützt unterschiedliche Betriebsmodelle.
1. LLMs On-Premises betreiben
Für Organisationen mit besonders hohen Anforderungen an Datenschutz, Datenhoheit und Kontrolle können geeignete generative und Embedding-Modelle vollständig in der eigenen Infrastruktur betrieben werden.
Gemeinsam mit Ihnen wählen wir geeignete Modelle aus und unterstützen bei der Dimensionierung der benötigten GPU-Infrastruktur.
Auf Wunsch übernehmen wir anschließend Installation, Konfiguration und Aktualisierung.
Ihre Vorteile:
• Verarbeitung innerhalb Ihrer eigenen Infrastruktur
• maximale Kontrolle über Daten und Systeme
• keine notwendige Übertragung von Inhalten an externe LLM-Anbieter
• freie Auswahl geeigneter Modelle
• Wechsel auf neue Modellgenerationen möglich
• Beratung bei GPU-Auswahl und Sizing
• Unterstützung bei Installation und Updates
• generative LLMs und Embedding-Modelle aus einer Hand betrachtet
Ideal für:
Organisationen mit sensiblen Daten, hohen Sicherheitsanforderungen oder klaren Vorgaben zur Data Residency.
2. Von IntraFind gehostete LLMs – Managed Service
Wenn Sie zunächst keine eigene GPU-Infrastruktur aufbauen möchten, können Sie von IntraFind betriebene LLMs nutzen. Der Betrieb kann auf entsprechend vereinbarter, in Deutschland gehosteter Infrastruktur erfolgen.
Dabei kann sichergestellt werden, dass:
• Ihre Unternehmensinhalte nicht für das Training zukünftiger Modellgenerationen verwendet werden
• kein inhaltliches Tracking Ihrer Anfragen für eigene Zwecke erfolgt
• die verarbeiteten Inhalte nicht dauerhaft für eigene Zwecke gespeichert werden
• die Verarbeitung auf vereinbarter Infrastruktur in Deutschland erfolgt
• Modelle entsprechend Ihren Anforderungen ausgewählt werden
• IntraFind den technischen Betrieb und das Modellmanagement übernimmt
Damit können Sie generative KI nutzen, ohne zunächst selbst die komplette dafür benötigte KI-Infrastruktur aufbauen und betreiben zu müssen.
Ein Managed Service kann außerdem sinnvoll sein, wenn Sie schnell mit einem KI-Projekt starten möchten, langfristig aber einen Betrieb in Ihrer eigenen Infrastruktur planen.
3. Externe Cloud-LLMs und LLM-APIs
Wenn Ihre organisatorischen, regulatorischen und datenschutzrechtlichen Anforderungen dies zulassen, können auch externe Cloud-LLMs und Anbieter-APIs integriert werden.
Je nach Einsatzszenario können beispielsweise kommerzielle oder frei verfügbare Modelle verschiedener Anbieter genutzt werden.
Entscheidend sind dabei Ihre Anforderungen:
• Wo dürfen Daten verarbeitet werden?
• Welche Data-Residency-Vorgaben bestehen?
• Welche Daten dürfen Ihre eigene Infrastruktur verlassen?
• Welche Anbieter sind in Ihrer Organisation freigegeben?
• Welche vertraglichen Anforderungen bestehen?
• Welche Sicherheits- und Datenschutzanforderungen gelten?
• Welche generativen Funktionen sollen über die Cloud genutzt werden?
Auf dieser Grundlage stimmen wir gemeinsam mit Ihnen ab, welche Dienste und Modelle für Ihren Einsatz geeignet sind.
Auch hybride Szenarien sind möglich
Besonders sensible Anwendungen können beispielsweise mit einem On-Premises-Modell betrieben werden, während für andere Aufgaben ein freigegebenes Cloud-Modell eingesetzt wird. Auch unterschiedliche Modelle können parallel für verschiedene Use Cases genutzt werden.
In einem neuen Projekt kommt generative KI ins Spiel, um in Form eines Intranet-Chatbots die Beantwortung organisatorischer Fragen der Mitarbeitenden zu erleichtern – schnell, präzise und rund um die Uhr verfügbar.
Die Antworten des Chatbots dürfen ausschließlich auf Daten aus dem Intranet basieren. Sollte er eine Frage nicht anhand der Intranet-Daten beantworten können, wird das klar kommuniziert und keine Antworten erfunden (kein Halluzinieren).
Das technologische Know-how von IntraFind, die inhaltliche Expertise der Bundesbehörde sowie eine partnerschaftliche Zusammenarbeit trugen essenziell zum Projekterfolg bei.
Der vorgestellte Use Case lässt sich selbstverständlich für jede Branche abbilden, ob Industrie, Finanzsektor oder öffentliche Verwaltung.
Sie haben einen eigenen, speziellen Use Case?
Realisieren Sie mit uns KI Innovationen - behalten Sie dabei stets die Kontrolle über Ihre Daten
- Eine unverbindliche Einschätzung, welche Lösung für Ihren Case und zu Ihrer Organisation passt
- Besprechung wichtiger Rahmenbedingungen, die beim Einsatz von KI in Ihrer Organisation beachtet werden müssen (z.B. Datensicherheit und Datenschutz)
- Sie gehen keinerlei Verpflichtungen ein, wir beleuchten Ihren Use Case und beraten Sie
- Ihre Ansprechpartner:
Franz Kögl, Vorstand Breno Faria, Product Lead AI
