LLMs erfordern beträchtliche Rechenressourcen für Training und Inferenz, was sich in höheren Betriebskosten niederschlagen kann, insbesondere bei der Verarbeitung umfangreicher Dokumente.
Für die Implementierung von Extraktionsmodellen mit LLMs ist spezialisiertes Personal erforderlich, das ebenfalls in die Gesamtkosten der resultierenden Dokumentenverarbeitungslösung eingerechnet werden muss.
Aufgrund dieser Zusammenhänge sind die Gesamtkosten von LLMs schwer zu planen.

Die Verarbeitung großer Mengen von Dokumenten mit einem LLM erfordert viel Zeit und Rechenressourcen. Je nachdem, wie viel Rechenleistung verwendet wird (mit den erforderlichen GPUs ist es für LLMs teuer), kann eine einzige LLM-Extraktion 15 Sekunden dauern. Im Durchschnitt kann ein Gruppenversicherungsdokument etwa 50 Extraktionen enthalten. Dann sind 50 Extraktionen x 15 Sekunden = 12,5 Minuten. Das ist eine lange Wartezeit für die Verarbeitung eines Dokuments.

Für einige Aufgaben der Dokumentenverarbeitung, insbesondere solche, die eine einfache Extraktion von Basistext erfordern, könnte die Verwendung eines LLM ein Overkill sein. Der Einsatz eines so leistungsstarken Modells für einfache Aufgaben kann unnötige Komplexität in das System bringen und die Rechenkosten erhöhen.

LLMs erfinden manchmal Inhalte: Sie geben Antworten, die zwar plausibel erscheinen, aber keine faktische Grundlage haben, so dass sie schwer als falsch zu erkennen sind. Dieses Phänomen wird gemeinhin als Halluzination bezeichnet.

Den LLMs fehlt es aus mehreren Gründen an Transparenz:

• Blackbox-Charakter: Die Trainingsdaten werden meist nicht offengelegt, so dass es für die Nutzer schwierig ist, zu verstehen, wie sie zu bestimmten Schlussfolgerungen oder Ergebnissen kommen. Die komplizierten Schichten der neuronalen Netze, die in LLMs involviert sind, verschleiern den Entscheidungsprozess.
• Mangelnde Erklärbarkeit: Die Modelle liefern keine Erklärungen für ihre Vorhersagen oder Entscheidungen. Das macht es schwierig, mögliche Verzerrungen und Fehler zu erkennen und zu verstehen.

Vortrainierte LLM-Modelle sind sehr allgemein und müssen auf einem nachgelagerten Datensatz trainiert werden, um bestimmte Anwendungsfälle zu lösen. Sie generieren Text auf Basis von gelernten Mustern aus großen Datenmengen, aber sie können Ergebnisse produzieren, die schwer zu interpretieren oder zu kontrollieren sind. Die Benutzer haben keine Möglichkeit, das Innenleben von LLMs zu inspizieren oder zu verändern, was die Möglichkeiten zur Anpassung oder Behebung von Problemen einschränkt.

Die fehlende Kontrolle über den von LLMs generierten Text kann Bedenken hinsichtlich der Einhaltung von Vorschriften, der Genauigkeit und der Verantwortlichkeit aufwerfen. Der Einsatz von LLMs in Dokumentenverarbeitungs-Workflows kann zu Problemen mit dem Datenschutz und der Sicherheit führen, insbesondere im Hinblick auf die Offenlegung von Daten oder den möglichen Missbrauch von Informationen. Lokale Einsätze von LLMs sind eine sicherere, aber auch teurere Option.

Das Training eines produktiven Extraktionsmodells für komplexe Aufgaben wie Versicherungspolicen unter Verwendung von LLMs erfordert in der Regel Fachwissen in den Bereichen KI, maschinelles Lernen und Datenwissenschaft.

In Anbetracht der Komplexität der Aufgabe, der Notwendigkeit einer umfangreichen Datenvorbereitung und des Modelltrainings sowie des iterativen Charakters des Prozesses kann die Implementierung eines zuverlässigen Anwendungsfalls der Datenextraktion für Versicherungspolicen unter Verwendung eines LLM sehr lange dauern. Je größer das Modell und je mehr Feinabstimmung für Ihre spezielle Aufgabe erforderlich ist, desto länger dauert das Training. Die Vorverarbeitung und Bereinigung von Daten kann zeitaufwändig sein, insbesondere bei unstrukturierten Textdaten wie Versicherungspolicen. Dieser Schritt ist entscheidend, um die Qualität der Trainingsdaten und die Leistung des Modells zu gewährleisten. Auch die Verfügbarkeit und Geschwindigkeit der erforderlichen Grafikprozessoren kann sich auf die Trainingszeit auswirken.