Kontext-Engineering ist das neue Prompt-Engineering
Zwei Jahre lang lautete der Rat, bessere Prompts zu schreiben. Diese Empfehlung hat irgendwann aufgehört zu funktionieren, als das Modell zuverlässig gut darin wurde, Anweisungen zu befolgen. Was es immer noch nicht kann, ist die Ableitung von Informationen,…
Was sich geändert hat
Die Prompt-Engineering hat die Anfrage optimiert. Die Context-Engineering optimiert, was sich im Raum befindet, wenn die Anfrage eintrifft. Sobald Modelle Anweisungen zuverlässig befolgen konnten, hörten die verbleibenden Fehler auf, sich auf die Formulierung zu beziehen, und begannen, sich auf das Fehlen von Informationen zu beziehen: die relevante Datei wurde nicht geladen, die Tool-Ausgabe wurde abgeschnitten, die Entscheidung von vor zwanzig Runden war nicht mehr im Fenster.
Warum es für Deployment-Teams wichtig ist
Der Kontext ist ein Budget mit einer harten Decke, und es ist das einzige Budget im Stack, das versehentlich aufgewendet wird. Niemand schreibt Code, der Tokens leckt, mit Absicht; sie schreiben Code, der ein weiteres Tool-Ergebnis anhängt, und dann noch eines, bis die nützliche Hälfte des Fensters verdrängt wurde. Die Fehler, die dies produziert, sind die schlimmste Art: keine Fehler, sondern Antworten, die stillschweigend schlechter wurden.
Was dagegen unternommen werden kann
Beginnen Sie damit, zu messen. Protokollieren Sie die Tokens pro Anfrage mit einer Aufschlüsselung nach Quelle: System-Prompt, abgerufene Chunks, Tool-Ausgabe, Historie. Die meisten Teams entdecken, dass eine Kategorie dominiert und dass sie falsch geraten haben, welche. Dann wenden Sie die drei Hebel in der richtigen Reihenfolge an. Zuerst stoppen Sie das Senden dessen, was nicht benötigt wird – sandboxen Sie die verbose Tool-Ausgabe und geben Sie Referenzen anstelle von Inhalten zurück. Zweitens komprimieren Sie das, was gesendet werden muss – fassen Sie alte Runden zusammen, entfernen Sie überlappende Chunks. Drittens sollten Sie erst dann in Betracht ziehen, für ein längeres Fenster zu bezahlen, was der teuerste und wenigste effektive der drei Hebel ist.
Der Teil, den Teams überspringen
Speichern Sie den Speicher außerhalb des Fensters. Eine Sitzung, die mit dem Kontext stirbt, ist eine Sitzung, die der Benutzer von Hand neu aufbauen muss. Schreiben Sie einen dauerhaften Zustand in einen Speicher, den der Agent abfragen kann, und übergeben Sie dem Modell einen Zeiger anstelle der Nutzlast. Es ist dieselbe Idee wie die Paginierung, und es ist das, was einen Demo von etwas unterscheidet, das ein Kollege zweimal verwenden wird.