Bild
Frau mit Brille

Erfahren Sie mehr über generative KI mit iFinder Enterprise Search

Sie beschäftigen sich mit den Möglichkeiten generativer KI, haben aktuelle Projekte oder Uses Cases zu Large Language Models wie GPT und möchten erfahren, wie sich diese mit dem iFinder abbilden lassen?

Wir beantworten Ihre Fragen und beleuchten mit Ihnen die neuen KI-Einsatzmöglichkeiten für Ihren ganz individuellen Fall und Ihre Branche.
Sprechen Sie uns an

Wir beantworten Ihre Webinar-Fragen

Oft gestellte Fragen zum iFinder, LLMs und KI

👉 Wie geht der iFinder mit unterschiedlichen Informationen um? Beispiel könnte sein auf einer Confluence Seite steht Elterngeld beträgt 220 Euro und auf einer anderen 250 Euro.

Es kann in so einem Szenario eines von beidem geschehen:
1) die Antwort ist partiell und verweist nur auf eine der Angaben, oder
2) die Antwort spricht die widersprüchliche Datenlage an. Das System ist so konzipiert und gebaut, dass die Antworten möglichst nützlich und korrekt sind, und wir würden selbstverständlich das Verhalten in 2) dem in 1) vorziehen. Das kann man jedoch, wie in jedem KI-System, nicht **garantieren**.
Man kann es allerdings begünstigen. Auf der einen Seite indem dieses Verhalten belohnt wird (durch gutes Prompting) und auf der anderen indem für eine saubere Datenlage gesorgt wird. Wenn in einer Datenquelle zwei gleichberechtigte Datenpunkte widersprüchlich sind, dann ist die Datenquelle auch optimierungsbedürftig, denn auch ein Mensch würde die Frage nicht beantworten können. Eine saubere, hochqualitative Datenbasis ist fundamental wichtig für gute Ergebnisse in der Fragenbeantwortung.

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
👉 Kann der iFinder auch Daten indirekt interpretieren: "Das Kindergeld im 2022 betrug 240 Euro, im Jahr danach 250 Euro"?

Ja, aber nur in Grenzen. Je expliziter die Information vorhanden ist, desto zuverlässiger wird sie in der Antwort zu finden sein. Einfache, typische Formulierungen wie im Beispiel
funktionieren in den meisten Fällen wie erwartet.

Komplexere, und damit seltener im Trainingsset des LLM enthaltene Formulierungen oder z.B. Rückwärtsbezüge senken die Wahrscheinlichkeit einer korrekten Antwort.
Das ist ein schönes Beispiel, dass ein LLM kein Allzweck-Wundermittel ist, sondern ggf. über ergänzende Informationen (wie z.B. einen Knowledge Graph)
abgesichert werden kann.

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
👉 Wann und wie können wir Chatbots mit iFinder nutzen?

Die neue Version des iFinder wird generative Question Answering Funktionen bringen und ist Ende Q2 2024 verfügbar.

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
👉 Funktioniert das alles auch immer noch On-Premise?

Ja, natürlich! Alle Funktionen des iFinder, inklusive der AI Funktionen werden weiterhin on-premises verfügbar sein. Für GenAI bedarf es aber GPU-Hardware bei Ihnen. Ergänzend werden wir für unsere Kunden ein abgesichertes as a Service GPU-Angebot liefern, sollte keine on-premises GPU selbst beschaffbar sein.

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
👉 Kosten die Module Aufpreis?

Die Generative KI für den Textassistent und für das Question Answering wird als Erweiterungsmodul des iFinder in die Preisliste kommen.

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
👉 Wie hoch ist der Aufwand zum Training?

Es ist kein Training erforderlich.

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
👉 Können die Tools nicht nur Fundstellen in Datenquellen benennen, sondern die Inhalte der einzelnen Fundstellen auch aufbereitet präsentieren?

Ja. Die Dokumente werden bei der Indizierung in Passagen segmentiert (und vektorisiert). Damit haben wir die Möglichkeit, passende Passagen als Quellenbezug
in der Antwort zu verlinken und somit zugänglich zu machen.

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
👉 Gibt es Suchmöglichkeit nach Dateinamen und nach Inhalten von Dateien auf shared drives?

Sie können bereits heute mit dem iFinder diesen Use-Case abdecken. Die im Vortrag vorgestellten neuartigen Verfahren der Generativen KI für die Erzeugung natürlichsprachlicher Antworten, hängen maßgeblich von der Qualität der Daten ab, auf Grundlage dessen die Antworten berechnet werden können. Ungefilterte Daten aus einem Share sind üblicherweise nicht sehr homogen und enthalten mitunter obsoletes. Es ist also ratsam den Anwendungsfall konkret zu betrachten.
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
👉 In unseren Dokumenten befinden sich viele Aufzählungen (Bullet Points), keine ganzen Sätze. Kleine Bullet-Listen sind in einemvisuellen Kontext zueinander angeordnet, also typische PowerPoint. Gibt es zur Dialogfähigkeit mit solchen PPT-Dokumenten schon
Erfahrungen?

Ausformulierte Texte sind meist kontextfrei verständlich und vollständig als fragmentarische. Wenn jedoch die Information auch ohne externes Wissen klar ist, dann ist sie auch in Form von Spiegelstrichen verwendbar. Um die abschließend mit dem konkreten Textinput bewerten zu können, sollte dies getestet werden.
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
👉 Wie unterscheidet sich ein LLM von herkömmlichen KI-Modellen und anderen Sprachmodellen?

Der Unterschied zwischen LLMs und "traditionellen" KI-Modellen liegt in der Art und Weise, wie sie trainiert werden und in der Art der Aufgaben, die sie ausführen können. Traditionelle KI-Modelle sind oft für spezifische Aufgaben konzipiert, wie z.B. Textklassifikation oder Entitätenextraktion. Sie werden in der Regel auf spezifischen, annotierten Datensätzen trainiert und sind auf die spezifische Aufgabe beschränkt, für die sie trainiert wurden.

LLMs hingegen können eine breite Palette von Aufgaben im Bereich der natürlichen Sprachverarbeitung (NLP) ausführen, einschließlich (aber nicht beschränkt auf) Textgenerierung, Textklassifizierung, Sentimentanalyse, maschinelles Übersetzen und vieles mehr.

LLMs werden auf gigantischen Datensätzen trainiert, die Milliarden von Wörtern oder Texten umfassen können. Sie benötigen große Mengen an Daten und erhebliche Rechenressourcen für das Training. In der Regel erfordert die Arbeit mit solchen Modellen spezialisierte Hardware und Software sowie erhebliches technisches Know-how. Durch die Größe der Modelle und Trainingsdaten ist die Qualität der Ausgaben sehr hoch und, gerade bei der Generierung von Texten, oft von durch Menschen erzeugter Information nicht unterscheidbar.

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
👉 Welche Anwendungsbereiche gibt es für Large Language Model (LLM)?

LLMs sind vielfältig einsetzbar. Unter anderem können LLMs in folgenden Fällen unterstützen:

> LLMs können verwendet werden, um große Textmengen zu analysieren, Themen zu erkennen und lange Texte und Artikel zusammenzufassen.
> LLMs können als Grundlage für interaktive Chatbots und virtuelle Assistenten dienen, die menschenähnliche Konversationen führen können.
> LLMs können als Grundlage für intelligente Frage-Antwort-Systeme dienen, die komplexe Fragen beantworten und Lösungen zu spezifischen Problemen bieten können.

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
👉 Welche Vorteile bietet die Kombination von LLMs und Suchmaschine?

Die Lieferung von Falschinformationen (Halluzinieren) ist ein bekanntes Risiko beim Einsatz von LLMs.

Ist das LLM in eine Suchmaschine wie den iFinder integriert, minimiert sich dieses Risiko. Die Zusammenfassungen und Antworten basieren auf den Fakten aus den Trefferlisten, die von der Suchmaschine ermittelt und nicht vom Sprachmodell erzeugt werden. Die Trefferlisten sind zudem rechtegeprüft, wodurch die Zusammenfassungen und Antworten nur Informationen enthalten, für die der jeweilige Nutzer auch berechtigt ist. Somit ist auch Datenschutzverstößen vorgebeugt.

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
👉 LLMs als SaaS oder On-Premises?

Die Entscheidung, ob ein LLM auf eigenen Servern im eigenen Haus betrieben (On-Premises) oder als Cloud-Lösung als SaaS (Software-as-a-Service) gemietet wird, hängt von verschiedenen Faktoren ab.

Für eine On-Premises-Lösung spricht die Kontrolle, die Sie als Unternehmen oder Behörde über die gesamte Infrastruktur und Daten haben. Alle Daten und Prozesse werden intern verwaltet, um potenzielle Sicherheitsbedenken zu minimieren und Compliance-Anforderungen zu erfüllen.

Für eine SaaS-Lösung spricht, dass Sie die Hardwareinfrastruktur für den Betrieb der LLMs nicht selbst aufbauen müssen.

Mit dem iFinder können wir Ihre Daten sowohl On-Premises als auch in der Cloud mit LLMs verarbeiten.

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Zeit und Ressourcen sparen mit KI-Sprachmodellen

Große KI-Sprachmodelle erleichtern den Umgang mit großen Dokumentenmengen, verbessern die Suche, fassen relevanten Text zusammen und liefern valide Antworten auf Ihre Fragen

Kurz erklärt: Large Language Models I LLMs I KI-Sprachmodelle I generative KI I Retrieval Augmented Generation (RAG)

Large Language Models (Abkürzung: LLMs) sind große Sprachmodelle, die auf Künstlicher Intelligenz und Machine Learning basieren. Sie verstehen längere Texte und sind in der Lage eine prägnante und zusammenfassende Version mit den Kernaussagen des Originaltextes zu erstellen. Basierend auf den relevanten Suchergebnissen in der Trefferliste liefern LLMs Antworten in natürlicher Sprache.

Als generative KI (auch GenAI genannt) bezeichnet man KI-basierte Systeme, die unter Verwendung von Machine Learning und großer Mengen an Trainingsdaten neue Inhalte erzeugen, z.B. Texte, Bilder, Videos oder Code. Generative KI wird im Kontext von Suche vorrangig für die Erzeugung von Antworten auf Basis von Suchtreffern genutzt sowie für deren Anreicherung.

Wichtig für die Verarbeitung natürlichlicher Sprache (Natural Language Processing) ist der Begriff Retrieval Augmented Generation (RAG). Retrieval Augmented Generation kombiniert die Stärken von Suche und LLMs. Unter Nutzung von vorhandenen Informationen ist das Modell in der Lage, den Kontext von Nutzeranfragen besser zu verstehen und präzisere Antworten zu generieren.

Unsere Enterprise Search Software iFinder integriert LLMs.

Mit einer Kombination aus Suche und Sprachmodellen können Organisationen Datensilos auflösen, das volle Potenzial ihrer Daten ausschöpfen, die effektive Wissenssuche erleichtern und ihre Produktivität steigern. Dabei kann der iFinder sowohl On-Premises-LLMs als auch SaaS Modelle integrieren - wir wählen das für Ihren Use Case passendste LLM aus.
Beispiel Use Case: Erfahren Sie mehr über den Einsatz von KI in einer deutschen Bundesbehörde

Der vorgestellte Use Case lässt sich selbstverständlich für jede Branche abbilden, ob Industrie, Finanzsektor oder öffentliche Verwaltung.

Beispiel Use Case: Zusammenfassung von Dokumenten in einer Bundesbehörde
Behördenarbeit erfordert oft die Auseinandersetzung mit umfangreichen Dokumenten und Berichten. Die Fähigkeit, diese Dokumente schnell und effektiv zu rezipieren, kann die Effizienz der Arbeit enorm steigern.

Unser Anwendungsfall stellt sich der Aufgabe "Zusammenfassung von Dokumenten" und nutzt KI, um Texte automatisch auf die wichtigsten Kernaussagen zu verdichten.
Bild
Suchfeld Laptop
Die Herausforderung:
Im Mittelpunkt dieses Anwendungsfalls steht die Auswahl eines geeigneten Generativen Large Language Modells für die Zusammenfassung. Dieses Modell wird darauf trainiert, lange Texte zu analysieren und daraus eine informative Zusammenfassung zu erstellen.

Dabei gilt es, das optimale Gleichgewicht zwischen Informationsdichte und Verständlichkeit zu finden.
Bild
Zwei Kollegen im Gespräch
Die Lösung:
Für die Auswahl des optimalen LLMs zur Textzusammenfassung ist nicht nur technisches Know-how, sondern auch die inhaltliche Expertise der Bundesbehörde unerlässlich, um eine größtmögliche Effektivität der KI-gesteuerten Modelle zu erzielen.

Daher ist es entscheidend, dass die Zusammenfassungen von den Experten und Expertinnen der Bundesbehörde beurteilt und validiert werden.
Bild
Kollegen geben High-Five

Sie haben einen eigenen, speziellen Use Case?

Bild
Icon Lupe

Sie möchten KI Tools wie LLMs für Sprachverarbeitung einsetzen?

Bild
Icon Kontakt

Kontaktieren Sie uns über das Formular mit den groben Eckdaten Ihres Use Case

Bild
Icon Glühbirne

Wir beleuchten Ihren Use Case und beraten Sie unverbindlich

 

Realisieren Sie mit uns KI Innovationen - behalten Sie dabei stets die Kontrolle über Ihre Daten

Was können Sie erwarten?

  • Eine unverbindliche, prägnante Einschätzung, welche Lösung für Ihren Case und zu Ihrer Organisation passt
  • Erklärungen von Vorteilen und Punkten, die beachtet werden müssen (z.B. Datensicherheit und Datenschutz)
  • Sie gehen keinerlei Verpflichtungen ein, wir beleuchten Ihren Use Case und beraten Sie
  • Ihre Ansprechpartner:

    Franz Kögl, Vorstand                    Breno Faria, Product Lead AI         

Ihre Ansprechpartner

Ich stimme zu, dass meine Angaben aus dem Kontaktformular zur Beantwortung meiner Anfrage erhoben und verarbeitet werden.
Die Einwilligung kann jederzeit widerrufen werden.

Detaillierte Informationen können Sie unserer Datenschutzerklärung entnehmen.