Kontextfenster verstehen: Warum mehr nicht automatisch besser ist
Eine Million Token klingen nach dem Ende aller Grenzen. In der Praxis entscheidet nicht die Größe des Fensters, sondern was darin steht.
Das Kontextfenster ist der Arbeitsspeicher eines Sprachmodells: alles, was es in einem Durchgang gleichzeitig sehen kann. Frage, Systemanweisung, angehängte Dokumente, bisheriger Gesprächsverlauf – alles zählt mit.
Warum große Fenster trotzdem enttäuschen
Modelle bewerten nicht jede Stelle im Kontext gleich stark. Informationen am Anfang und am Ende werden zuverlässiger genutzt als solche in der Mitte – ein Effekt, der in der Forschung als „lost in the middle“ beschrieben wird. Wer zweihundert Seiten hineinkippt und auf ein Detail aus Seite 96 hofft, arbeitet gegen diese Eigenschaft an.
Was stattdessen hilft
- Vorher suchen statt alles anhängen: relevante Passagen gezielt auswählen.
- Anweisungen ans Ende stellen, wenn viel Material davor liegt.
- Lange Verläufe zusammenfassen, statt sie vollständig mitzuschleppen.
- Struktur mitgeben – Überschriften und Quellenangaben helfen dem Modell beim Zuordnen.
Dazu kommt der schlichte ökonomische Punkt: Kontext kostet Geld und Zeit. Ein Prompt, der konstant 300.000 Token mitschickt, ist bei gleicher Qualität um ein Vielfaches teurer und langsamer als einer, der 8.000 gezielt ausgewählte schickt.
Die richtige Frage
Nicht „passt es rein?“, sondern „muss es rein?“. Große Fenster sind ein Komfortgewinn für Fälle, in denen Auswahl schwerfällt – sie ersetzen sie nicht.
Autor
Recherche, Einordnung und Faktencheck für alles, was auf kiprozess.com erscheint.
Weiterlesen
KI-Governance: Was Teams jetzt dokumentieren sollten
Zwischen Compliance-Theater und Ignorieren liegt eine kurze Liste von Dingen, die jedes Team ohnehin wissen sollte. Ein pragmatischer Mindestumfang.
Ein kleines RAG-System bauen: Was man dafür wirklich braucht
Ein RAG-System klingt nach großer Infrastruktur. Für ein kleines Projekt reichen vier Bausteine: Dokumente, ein Embedding-Modell, eine Vektordatenbank und ein Sprachmodell. So setzt man es konzeptionell zusammen, mit Google Gemini und ChromaDB.
Agenten im Mittelstand: Was nach dem Pilotprojekt wirklich passiert
Fast jedes Unternehmen hat inzwischen einen KI-Piloten laufen. Nur wenige schaffen den Schritt in den Regelbetrieb. Woran das liegt – und was die Ausnahmen anders machen.