KI-Einstellungen entschlüsselt: Temperatur, Token, Top-P & mehr (Glossar 2026)

Wer sich schon etwas mit KI-Tools beschäftigt hat – besonders auf der API-Seite –, ist sicher über Begriffe wie Temperatur, Top-P, Token, Kontextfenster, RLHF und viele weitere gestolpert. Die meisten Dokumentationen erklären sie so, als würde man sie bereits halb kennen. Dieses Glossar ist die Version, die ich mir damals gewünscht hätte: klare Definitionen in verständlicher Sprache, warum jeder Begriff wichtig ist, und wann man ihn in der Praxis tatsächlich anfasst.

Es ist in fünf Bereiche unterteilt – wähl den Abschnitt, den du brauchst, oder lies es von vorne bis hinten als Einführung.

• 1. Token & Kontext — was KI tatsächlich liest und schreibt
• 2. Die Sampling-Regler — Temperatur, Top-P, Top-K und mehr
• 3. Wie Modelle denken — Architektur und Inferenz
• 4. Training & Alignment — wie ein Modell nützlich wird
• 5. Modelle im Einsatz — RAG, Agenten, Tools, Streaming

1. Token & Kontext

Bevor wir zu den Einstellungen kommen, brauchen wir das Vokabular dafür, was das Modell eigentlich verarbeitet und produziert.

Token

Die grundlegende Einheit, die ein Sprachmodell liest und schreibt. Ein Token ist meist ein Stück aus einigen Zeichen – manchmal ein ganzes kurzes Wort („Katze"), manchmal ein Fragment („-ung", „-tion"), manchmal ein einzelnes Zeichen oder sogar ein Byte. Als Faustregel gilt für Englisch: 1 Token ≈ 4 Zeichen ≈ ¾ eines Wortes, also entsprechen 1.000 Token ungefähr 750 Wörtern. Die Preisgestaltung erfolgt fast immer pro Token (Eingabe und Ausgabe werden getrennt berechnet).

Tokenizer

Die Funktion, die Text in Token umwandelt, bevor das Modell ihn verarbeitet. Verschiedene Modellfamilien nutzen unterschiedliche Tokenizer – deshalb kann derselbe Absatz auf verschiedenen Plattformen leicht unterschiedliche Token-Zahlen erzeugen.

Kontextfenster (auch: Kontextlänge)

Die maximale Anzahl von Token, die das Modell gleichzeitig „im Kopf" behalten kann – einschließlich deines Prompts, etwaiger Systemanweisungen, des bisherigen Gesprächsverlaufs und der Antwort, die es gerade generiert. Moderne Frontier-Modelle bieten Kontextfenster von 200.000 bis 1 Million Token; ältere oder günstigere Modelle liegen bei 8.000 bis 32.000. Überschreitest du das Limit, wird der älteste Inhalt verworfen oder der Aufruf schlägt fehl.

Eingabe-Token vs. Ausgabe-Token

Eingabe-Token sind das, was du sendest (Prompt, Systemnachricht, Verlauf, angehängte Dokumente). Ausgabe-Token sind das, was das Modell zurückgeneriert. Ausgabe-Token sind in der Regel 3- bis 5-mal teurer als Eingabe-Token, weil das Generieren aufwendiger ist als das Lesen.

Maximale Token (max_output_tokens)

Ein anfragespezifisches Limit dafür, wie viele Token das Modell generieren darf, bevor es stoppt. Damit lassen sich Kosten und Latenz kontrollieren. Viele APIs haben als Standard einige tausend Token; erhöhe den Wert für lange Ausgaben, reduziere ihn, um Antworten kurz zu halten.

2. Die Sampling-Regler

Wenn ein Modell das nächste Token auswählt, hat es tatsächlich eine Wahrscheinlichkeitsverteilung über alle möglichen nächsten Token. Die Sampling-Regler beeinflussen, wie aus dieser Verteilung eine einzelne Wahl wird. Das sind die Stellschrauben, an denen die meisten Leute über die API drehen.

Temperatur

Steuert die allgemeine Zufälligkeit. Niedrige Temperatur (0–0,3) lässt das Modell fast immer das wahrscheinlichste nächste Token wählen – deterministisch, repetitiv, „sicher". Hohe Temperatur (1,0+) flacht die Wahrscheinlichkeitsverteilung ab, sodass weniger wahrscheinliche Token in Frage kommen – kreativer, überraschender, fehleranfälliger. Ein guter Standardwert für die meisten Chat-Anwendungen ist 0,7. Für Code, Mathematik oder Faktenextraktion auf 0,0–0,2 senken. Für kreatives Schreiben oder Brainstorming auf 1,0+ anheben.

Top-P (Nucleus-Sampling)

Anstatt alle Token zu berücksichtigen, legt Top-P fest: „Betrachte nur die kleinste Menge von Token, deren kumulierte Wahrscheinlichkeit mindestens P beträgt." Bei Top-P = 0,9 sampelt das Modell also aus den Token, die zusammen 90 % der Wahrscheinlichkeitsmasse abdecken – und ignoriert den langen Schwanz. Das ist eine intelligentere, dynamischere Alternative zu Top-K. Üblicher Standardwert: 0,9 oder 1,0 (deaktiviert).

Top-K

Es werden nur die K wahrscheinlichsten nächsten Token betrachtet und dann unter diesen gesampelt. Top-K = 1 entspricht dem Greedy-Decoding (immer das einzelne wahrscheinlichste Token wählen); Top-K = 40 behält die 40 besten Kandidaten. Moderne APIs (OpenAI, Anthropic) setzen Top-K oft nicht direkt ein, weil sich Top-P besser verhält – bei Open-Source-Modellen ist es jedoch Standard.

Frequency Penalty (Häufigkeitsstrafe)

Bestraft Token, die in der Antwort bereits vorgekommen sind, proportional zu ihrer bisherigen Häufigkeit. Hilfreich, um wörtliche Wiederholungen zu reduzieren. Wertebereich typischerweise −2,0 bis +2,0; Standard: 0.

Presence Penalty (Präsenzstrafe)

Ähnlich der Frequency Penalty, aber binär: Bestraft Token, die überhaupt vorgekommen sind, unabhängig von der Häufigkeit. Drängt das Modell dazu, neue Themen oder Wörter einzuführen. Gleicher Wertebereich, gleicher Standard.

Stop-Sequenzen

Zeichenfolgen, die das Modell zwingen, die Generierung zu beenden, sobald es sie produziert. Nützlich für strukturierte Ausgaben („stopp, wenn du ### generierst") oder um Antworten in einem bestimmten Format zu halten.

Seed

Ein ganzzahliger Wert, der den Zufallszahlengenerator fixiert. Gleicher Prompt + gleicher Seed + gleiche Modellversion erzeugen in der Regel dieselbe Ausgabe – entscheidend für Reproduzierbarkeit, Evaluierungen und Debugging. Hinweis: Die meisten Anbieter bezeichnen das als „Best-Effort" – perfekter Determinismus ist über die Infrastruktur hinweg nicht garantiert.

Schnellvergleich: Temperatur vs. Top-P vs. Top-K

Häufiger Fehler: Alle drei gleichzeitig anzupassen. Wähle einen – in der Regel die Temperatur für Kreativitätskontrolle oder Top-P für Diversitätssteuerung – und lass die anderen auf den Standardwerten. Kombinierst du mehrere Strafen noch mit niedriger Temperatur, entstehen die meisten Fälle von „seltsamer Ausgabe".

3. Wie Modelle denken

Man muss kein ML-Ingenieur sein, um KI-Tools zu nutzen – aber einige Architektur-Begriffe tauchen in Produktvergleichen ständig auf.

Parameter

Die Zahlen im Inneren des Modells, die beim Training angepasst werden. Ein „70B-Modell" hat 70 Milliarden davon. Mehr bedeutet in der Regel klüger und teurer, aber der Zusammenhang ist weniger linear geworden, da sich die Architekturen verbessert haben – ein gut trainiertes kleineres Modell kann ein größeres, aber älteres übertreffen.

Embedding

Ein Vektor (eine Liste von Zahlen), der die Bedeutung eines Textstücks in einem hochdimensionalen Raum darstellt. Texte mit ähnlicher Bedeutung liegen nah beieinander. Embeddings treiben semantische Suche, RAG, Deduplizierung, Klassifizierung und Empfehlungen an. Sie unterscheiden sich von Chat-Modellen – Embedding-Modelle sind kleiner und spezialisiert.

Attention (Aufmerksamkeit)

Der Mechanismus, der es einem Modell ermöglicht, beim Generieren jedes neuen Tokens zu entscheiden, welche früheren Token es am stärksten „beachten" soll. Das ist die Kerninnovation von Transformern. Man kommt damit selten direkt in Berührung, aber es erklärt, warum Kontextfenster so wichtig sind.

Transformer

Die neuronale Netzwerkarchitektur hinter praktisch jedem modernen großen Sprachmodell seit 2017. Wenn jemand von einem „LLM" spricht, meint er damit fast immer einen Transformer.

Mixture of Experts (MoE)

Eine Architektur, bei der das Modell in viele „Experten"-Teilnetzwerke aufgeteilt ist und bei jedem Token nur ein Bruchteil davon aktiviert wird. So kann ein Modell beispielsweise 400 Milliarden Parameter insgesamt haben, aber nur 30 Milliarden pro Token nutzen – und damit das Wissen eines großen Modells bei der Geschwindigkeit eines kleinen erreichen. Mehrere Frontier-Modelle nutzen MoE im Hintergrund.

Reasoning-Modell

Ein Modell, das darauf trainiert ist, vor seiner endgültigen Antwort zusätzliche Rechenleistung für das „Denken" aufzuwenden – also interne Denk-Schritte zu generieren. Das verbessert die Leistung bei Mathematik, Code und komplexen Schlussfolgerungen erheblich, erhöht aber Latenz und Token-Kosten. Reasoning-Modelle sind 2026 die dominierende Kategorie im Frontier-Bereich.

Chain-of-Thought (CoT, Gedankenkette)

Entweder eine Prompting-Technik („Denke Schritt für Schritt") oder ein eingebautes Verhalten von Reasoning-Modellen, bei dem das Modell vor seiner endgültigen Antwort Zwischenschritte generiert. Die Denkschritte werden dem Nutzer manchmal verborgen; bei Reasoning-Modellen bezahlt man in der Regel trotzdem als Ausgabe-Token dafür.

Quantisierung

Die numerische Präzision der Modellparameter wird reduziert (z. B. von 16-Bit-Floats auf 4-Bit-Integer), um das Modell zu verkleinern und zu beschleunigen – in der Regel mit einem kleinen Qualitätsverlust. Im Open-Source-Bereich weit verbreitet; bei geschlossenen API-Modellen weniger sichtbar.

4. Training & Alignment

Wie aus einem riesigen Haufen Text ein Modell wird, das höflich auf deine Fragen antwortet.

Pretraining (Vortraining)

Die erste und teuerste Trainingsphase, in der das Modell allgemeines Sprach- und Weltwissen erwirbt, indem es über enorme Textmengen das nächste Token vorhersagt. Hier entsteht der größte Teil der „Intelligenz".

Fine-Tuning (Feinabstimmung)

Eine zweite Trainingsphase, die ein vortrainiertes Modell mithilfe eines viel kleineren Datensatzes auf eine engere Aufgabe oder einen bestimmten Stil anpasst. Wird für Domänenspezialisierung (Medizin, Recht, Programmierung) oder zur Anpassung von Ton und Verhalten an eine spezifische Marke eingesetzt.

RLHF (Reinforcement Learning from Human Feedback)

Die Alignment-Technik, die rohe Sprachmodelle in nützliche Assistenten verwandelt hat. Menschen bewerten Modellausgaben; ein Belohnungsmodell wird auf diesen Bewertungen trainiert; dann wird das Sprachmodell mit Reinforcement Learning darauf feinabgestimmt, Ausgaben zu produzieren, die das Belohnungsmodell bevorzugt. RLHF sorgt dafür, dass ChatGPT und Claude schädliche Anfragen ablehnen, Anweisungen höflich befolgen und beim Thema bleiben. RLAIF (mit KI-Feedback) ist eine verwandte Technik, die inzwischen im großen Maßstab eingesetzt wird.

System-Prompt

Die übergeordnete Anweisung, die die Rolle, den Ton, die Einschränkungen und die Persönlichkeit des Modells für ein gesamtes Gespräch festlegt. Von den meisten Anbietern mit höherer Priorität als Nutzernachrichten behandelt. Hier teilst du dem Modell mit, was es ist, bevor es eine konkrete Aufgabe erhält.

Halluzination

Wenn das Modell eine selbstsicher klingende Antwort produziert, die sachlich falsch oder erfunden ist. Verursacht durch eine Kombination aus Lücken in den Trainingsdaten, der Neigung des Modells, plausibel klingende Texte zu generieren statt sie zu verifizieren, und übermäßig selbstsicherer Formulierungen. Gegenmaßnahmen: niedrigere Temperatur, RAG (echte Quellen bereitstellen), explizite Anweisungen wie „Sag, wenn du es nicht weißt", und alles Wichtige manuell prüfen.

Prompt Engineering

Die Praxis, Prompts so zu formulieren, dass sie zuverlässig die gewünschte Ausgabe erzeugen. Dazu gehören Techniken wie Rollenzuweisungen („Du bist ein..."), Few-Shot-Beispiele, Chain-of-Thought-Trigger und Anweisungen zur strukturierten Ausgabe. Da Modelle immer besser darin geworden sind, Anweisungen zu befolgen, hat sich Prompt Engineering von obskuren Tricks hin zu klarem Schreiben verschoben.

5. Modelle im Einsatz

Die Begriffe, die in Produkt- und Entwicklungsgesprächen auftauchen – nicht im Training.

Inferenz

Der Vorgang, ein trainiertes Modell auszuführen – d. h. für eine gegebene Eingabe eine Ausgabe zu generieren. Unterscheidet sich vom Training. Inferenzkosten bilden die Grundlage der API-Preisgestaltung; Inferenzlatenz ist das, was Nutzer spüren.

RAG (Retrieval-Augmented Generation)

Bevor das Modell antwortet, werden relevante Dokumente aus einer separaten Wissensbasis abgerufen (in der Regel per Embedding-Ähnlichkeitssuche) und als Kontext in den Prompt eingefügt. RAG ermöglicht es einem kleinen oder generischen Modell, präzise Antworten über deine privaten Dokumente, aktuelle Ereignisse oder alles außerhalb seiner Trainingsdaten zu geben. Das dominierende Muster für „KI, die über meine eigenen Inhalte Bescheid weiß".

Tool-Nutzung / Function Calling

Das Modell darf als Teil seiner Antwort externe Funktionen oder APIs aufrufen – z. B. „Wetter abfragen", „Datenbank abfragen", „E-Mail versenden". Das Modell gibt eine strukturierte Anfrage aus, dein Code führt sie aus, du gibst das Ergebnis zurück. Das ist es, was einen LLM von einem reinen Gesprächspartner zu einem handlungsfähigen System macht.

Agent

Eine Schleife, in der ein Modell Tools nutzt und über mehrere Schritte eigene Entscheidungen trifft, um ein Ziel zu erreichen – beispielsweise im Web surfen, Dateien bearbeiten oder einen mehrstufigen Workflow ausführen. Moderne Agenten sind im Wesentlichen „Reasoning-Modell + Tools + Iterationsschleife". Ein unscharf definierter Begriff, der von einem Kundensupport-Bot bis hin zu einem autonomen Programmierassistenten alles umfassen kann.

Multimodal

Ein Modell, das mehr als nur Text verarbeitet – am häufigsten Bilder und Text gemeinsam (Vision), zunehmend auch Audio und Video. „Multimodal" bezieht sich in der Regel auf ein einzelnes Modell, das mehrere Modalitäten nativ versteht – nicht auf eine Pipeline aus separaten Modellen.

Vision (oder VLM – Vision-Language Model)

Ein spezifischer Fall von multimodal: Das Modell kann Bilder zusammen mit Text als Eingabe verarbeiten. Einsatzgebiete: OCR, Diagrammverständnis, Screenshot-Debugging, Dokumentenanalyse und überall dort, wo „Zeigen statt Erzählen" wichtig ist.

Streaming

Das Modell sendet seine Antwort Token für Token, während es generiert, anstatt auf den Abschluss der gesamten Antwort zu warten. Entscheidend für die Chat-UX – Nutzer sehen die Antwort entstehen, anstatt auf einen Ladeindikator zu starren. Auf den meisten APIs als Server-Sent Events implementiert.

Time to First Token (TTFT)

Die Zeit vom Absenden einer Anfrage bis zum Empfang des ersten Tokens der Antwort. Die Latenz, die Nutzer tatsächlich wahrnehmen. Reasoning-Modelle haben eine höhere TTFT, weil sie erst denken, bevor sie sprechen; Nicht-Reasoning-Modelle streamen das erste Token in Bruchteilen einer Sekunde.

Token pro Sekunde

Der Durchsatz, sobald die Generierung begonnen hat. Ein modernes, schnelles Modell kann 80–200+ Token pro Sekunde produzieren; Reasoning-Modelle laufen oft langsamer, weil sie (kostenpflichtige) versteckte Denk-Token generieren.

Der kürzestmögliche Spickzettel

Falls du nichts anderes behältst:

• Token = ¾ eines Wortes. Preisberechnung pro Token.
• Kontextfenster = wie viel Text das Modell gleichzeitig sehen kann.
• Temperatur = Kreativitätsregler. Niedrig für Fakten/Code, hoch für Ideen.
• Top-P = eine intelligentere, moderne Alternative zu Top-K. Lass es auf dem Standardwert, es sei denn, du hast einen guten Grund.
• System-Prompt = die Persönlichkeit und die Regeln für das gesamte Gespräch.
• RAG = wie du ein Modell mit deinen eigenen Inhalten vertraut machst.
• Reasoning-Modell = langsamer, teurer, bei schwierigen Problemen deutlich klüger.
• Halluzination = eine selbstsichere, falsche Antwort. Immer nachprüfen.

Das ist das meiste, was dir im Alltag begegnen wird. Der Rest dieses Glossars ist für die Momente, in dem einer dieser Begriffe in einer Dokumentation, einem Tweet oder einer Model-Card auftaucht und du einen schnellen Anhaltspunkt brauchst.