Alle Notizen
Selbsthosting schlägt die API in Bezug auf die Kosten pro Token nur über einem Auslastungsschwellenwert, den fast niemand erreicht. Darunter zahlen Sie für untätige Silizium-Chips…
Feinabstimmung kodiert Verhalten; Abruf liefert Fakten. Wenn man fragt, was besser ist, stellt man die falsche Frage — man sollte fragen, wie oft das zugrunde liegende Wissen sich…
Jeder mehrinstanzenfähige RAG entdeckt letztendlich das Gleiche: Das Filtern von Ergebnissen nach dem Abruf ist keine Isolation. Der Filter muss die Suche einschränken, nicht dere…
Veröffentlichte Benchmark-Tabellen vergleichen die Trefferquote auf öffentlichen Datensätzen, was nicht Ihrem Datensatz, Ihren Filtern oder Ihrer Abfrageverteilung entspricht. Vie…
Das Risiko besteht nicht darin, dass das Modell etwas Falsches sagt. Es besteht darin, dass der Agent etwas Falsches tut – mit Berechtigungen, in einem System, das kein Undo biete…
Zwei Jahre lang lautete der Rat, bessere Prompts zu schreiben. Diese Empfehlung hat irgendwann aufgehört zu funktionieren, als das Modell zuverlässig gut darin wurde, Anweisungen…
Das Demo funktioniert mit einer Handvoll sauberer PDFs, das Publikum ist beeindruckt, und dann trifft die echte Dokumentensammlung ein: Scans, zusammengeführte Zellen, zehn Jahre…
Das Demo läuft gut. Die Benutzer sind zufrieden. Dann fragt die Rechtsabteilung, wohin die Daten gegangen sind, die Sicherheitsabteilung, wer was sehen kann, und die Finanzabteilu…
Teams, die messen, neigen dazu, die einfachen Fälle zu messen, weil dort bereits jemand die Antwort kennt. Die Fragen, die Ihnen Geld kosten werden, sind die, die niemand berücksi…
Die Qualität der Informationsabrufung ist ein hinreichend gelöstes Problem. Berechtigungen sind der Grund, warum Unternehmens-RAG-Projekte scheitern: nicht weil sie schwierig sind…
"Selbsthosting ist günstiger" stimmt nur oberhalb einer bestimmten Auslastung. Unterhalb davon zahlen Sie für eine idle GPU und die Aufmerksamkeit eines Ingenieurs – und genau die…
Eine RAG-Anfrage erscheint langsam, lange bevor sie tatsächlich langsam ist. Zu wissen, welche der fünf Phasen dafür verantwortlich ist, macht den Unterschied zwischen einer gezie…
Routing ist die kostengünstigste Steuerung in einem LLM-System und wird fast immer als Letztes implementiert, nach achtzehn Monaten, in denen man Premium-Preise für Fragen zahlt,…
Jedes Team, das einen Agenten in der Produktion ausführt, baut letztendlich das Gleiche: eine Sammlung von Szenarien, die nicht regressiv sein dürfen. Die einzige Frage ist, ob Si…
Der Titel klingt nach Forschung. Die Arbeit besteht hauptsächlich aus Datenverarbeitung, Sicherheitsfragebögen und der Überzeugung eines Abteilungsleiters, dass der Pilot ihn nich…
Hier ist noch nichts. Der nächste Crawl füllt das auf.