AnythingLLM bietet eine Oberfläche für Chats auf Grundlage Ihrer Daten und Dokumente, kann sich mit vielen LLMs verbinden und hält Ihre Daten unter Ihrer Kontrolle.

AnythingLLM ist eines der populärsten Projekte in der Nische der KI-Assistenten, die auf dem eigenen Rechner laufen statt auf einem Server in der Cloud. AnythingLLM verspricht, Ihre Dokumente zu laden, sie angepasst in ein Sprachmodell zu füttern und Antworten zu erhalten, die auf ihrem Inhalt beruhen. Es stammt von Mintplex Labs, einem überschaubaren amerikanischen Unternehmen. AnythingLLM selbst ist kein LLM, sondern dient als Brücke. Es verwandelt Ihre Dokumente in Kontext, den ein separates LLM während eines Chats nutzen kann. Sie laden Dateien hoch, das System verarbeitet und speichert sie, und das LLM beantwortet Fragen dazu. Diese Retrieval-Augmented Generation (RAG) ist eine Technik, die der Textgenerierung des KI-Modells eine gezielte Dokumentensuche zur Seite stellt, sodass sich die Antworten auf Ihre Dateien stützen und nicht nur auf das Gedächtnis des Modells.

Das Herzstück von AnythingLLM ist die Art und Weise, wie es etwa ein unübersichtliches PDF in etwas verwandelt, das ein Modell präzise abfragen kann. Der Mechanismus gliedert sich in zwei Phasen, Aufnahme und Abfrage. In der Aufnahmephase extrahiert eine Komponente namens Document Collector den Text aus den hochgeladenen Dateien und zerteilt ihn in Fragmente, Chunks genannt. Sie sind etwa tausend Zeichen lang und überlappen sich, um den roten Faden nicht zu verlieren. Ein Embedding-Modell wandelt jedes Fragment in einen numerischen Vektor um. Es übersetzt also die Bedeutung eines Textes in eine Zahlenfolge. Die Vektoren landen in einer Vektordatenbank. Ein Vektor-Cache verhindert, dass die Arbeit bei jedem Start von vorne beginnt. Von diesem Moment an steht das Dokument für alle Chats desselben Workspaces zur Verfügung. […]

Fachartikel für Chip