Größere Modelle wie GPT-4.5/o3, Gemini 2.0 oder Claude 3 bieten zwar beeindruckende Möglichkeiten, doch sie sind nicht immer nötig. Gerade für Chatbot-Anwendungen in Kombination mit Suchsoftware sind kleinere Modelle oft ausreichend. Denn das entsprechende Wissen, um Fragen zu beantworten, erhält das Modell in diesem Fall von der Suchsoftware. Groß ist also nicht zwingend besser - kleinere Modelle können abhängig vom Use Case vergleichbare Ergebnisse mit hoher Qualität liefern, sind dabei aber schneller und kosteneffizienter.
Möchte man dagegen das externe Wissen eines LLMs mitnutzen, benötigt man große Modelle, mit denen komplexere Anwendungsfälle, wie z.B. Codegenerierung für Entwickler, möglich sind.
Es gibt beindruckende Vision Language Modelle, die beispielsweise ohne OCR (Optical Character Recognition = optische Zeichen- bzw. Texterkennung) Text aus Bilddateien verarbeiten können. Diese Modelle, aber auch LLMs, sind oft in Sprachen wie Englisch oder Chinesisch trainiert. Wer ein Modell für deutschsprachige Inhalte benötigt, sollte daher prüfen, ob das gewählte LLM ausreichend gut mit deutschen Texten umgehen kann: Erkennt das Vision-Modell beispielsweise Umlaute (ÄÖÜ) oder kann das Text-Modell deutsche Grammatik, Satzbau etc. gut verarbeiten? Auch hier gilt es, das Modell passend zum Anwendungsfall zu evaluieren.
Ein weiteres Kriterium bei der Wahl eines Modells ist die Kontextlänge. So sind manche Modelle in der Lage, große Mengen an Informationen auf einmal zu verarbeiten (z.B. Millionen von Token). Hier kommt es ebenfalls auf den Use Case an. Gerade bei der Zusammenfassung langer Dokumente ist beispielsweise eine große Kontextlänge sinnvoll. Für andere Szenarien ist dagegen ein kleineres Modell ausreichend. So werden bei klassischen Suchanfragen die relevanten Inhalte vorab gezielt extrahiert und an das Modell zur Beantwortung weitergegeben, so dass es nicht ganze Dokumente verarbeiten muss. Dies spart nicht nur Rechenleistung, sondern reduziert auch Kosten. Das bedeutet: Ein Modell mit hoher Kontextlänge ist nicht immer die effizienteste Wahl.
Open Source-Modelle wie Llama 3, Mistral Small oder OpenEuroLLM sind anpassungsfähig, nachvollziehbar und bieten Unternehmen die Möglichkeit, LLMs auf eigener Hardware (On-Premises) zu betreiben und so Datenschutzrisiken zu minimieren. Das sind universelle Modelle mit einem ausgewogenen Mix aus Sprachfähigkeit, Geschwindigkeit und Kosteneffizienz.
Proprietäre Modelle erfordern keine eigene Hardware, da sie in der Cloud betrieben werden. Obwohl die kostenpflichtigen Versionen der Modelle die Nutzerdaten nicht zum Training verwenden, bevorzugen manche Organisationen dennoch On-Prem-Lösungen, um volle Kontrolle über ihre Daten zu behalten.
Damit sind wir auch gleich bei der Frage, das Modell selbst auf eigener Hardware zu betreiben oder eine Cloud-Lösung (Software as a Service = SaaS) zu nutzen. Cloud-Modelle wie GPT-4o sind sehr leistungsfähig, erfordern jedoch eine sorgfältige Kostenkontrolle, da die Abrechnung nach Token-Verbrauch erfolgt. Je nach Nutzung kann das teuer werden.
Eine eigene LLM-Infrastruktur anzuschaffen, kann sich für Organisationen lohnen, die langfristig Unabhängigkeit und Datenschutz wahren wollen. Alternativ lassen sich Modelle wie GPT-4o über Microsoft Azure sicher hosten, ohne eigene Hardware anzuschaffen. Die token-basierten Kosten sind auch hier zu berücksichtigen.
Ein Beispiel: So teilt GPT-4o den Text in Token ein. (Quelle: https://platform.openai.com/tokenizer)
DeepSeek ist ein Open Source-Modell aus China, das durch seine innovative Architektur und effiziente Rechenleistung zuletzt für Aufsehen gesorgt hat. Es zeigt, dass auch kleinere Modelle mit geringerem Rechenaufwand leistungsfähig sein können. Es ist geeignet zur Lösung komplexer Aufgaben, beschreibt als sogenanntes Reasoning-Modell auch seine „Gedankenschritte“, verbraucht dadurch aber mehr Token. Bei der frei verfügbaren Version gibt es Datenschutzbedenken, da Nutzerdaten für das Training verwendet werden können. Bei einem selbst gehosteten Betrieb wäre die Kontrolle über die Daten gewährleistet. Reasoning-Modelle sind „schlussfolgernde“ KI-Modelle und darauf ausgelegt, logische Denkprozesse nachzuahmen. Sie reflektieren über Aufgabenstellungen, analysieren Probleme schrittweise und liefern logisch begründete Antworten.
Als Anbieter von Enterprise Search-Software mit KI-Assistent verfolgen wir die Entwicklung neuer Modelle mit Spannung. Wir testen diese Modelle, evaluieren neutral ihre Stärken und Schwächen und wissen, was für welchen Use Case und für welche IT-Infrastruktur am besten geeignet. Wir helfen Ihnen, das richtige Modell für Ihren Anwendungsfall zu finden – ob Standardmodell oder „Bring your own model“.
