を無料で受け取る
AIツール、特にAPIを触ったことがあれば、temperature、top-p、トークン、コンテキストウィンドウ、RLHFといった用語に一度はぶつかったことがあるはずです。多くのドキュメントは「ある程度知っている前提」で書かれていますが、この用語集は私が最初から手元に置いておきたかった一冊です。平易な言葉での定義、各用語が重要な理由、そして実際にどんな場面で使うのかをまとめています。
内容は5つのカテゴリに整理されています。必要なセクションだけ読んでもよし、入門書として最初から通読してもOKです。
- 1. トークンとコンテキスト — AIが実際に読み書きするもの
- 2. サンプリングの調整 — temperature、top-p、top-kなど
- 3. モデルの思考プロセス — アーキテクチャと推論
- 4. 学習とアライメント — モデルが使えるようになるまで
- 5. モデルを実際に活用する — RAG、エージェント、ツール、ストリーミング
1. トークンとコンテキスト
設定の話をする前に、モデルが実際に消費・生成しているものを理解するための基本用語を押さえておきましょう。
トークン
言語モデルが読み書きする基本単位です。トークンは通常、数文字のかたまりで、短い単語まるごと（"cat"）の場合もあれば、語の断片（"ing"、"tion"）、1文字、あるいは1バイトになる場合もあります。英語を目安にすると、1トークン ≈ 4文字 ≈ 単語の¾で、1,000トークンは約750語に相当します。料金はほぼ常にトークン単位で課金され、入力と出力は別々に計算されます。
トークナイザー
モデルがテキストを受け取る前に、テキストをトークンに変換する関数です。モデルのファミリーごとにトークナイザーが異なるため、同じ文章でもプラットフォームによってトークン数が微妙に異なることがあります。
コンテキストウィンドウ（コンテキスト長とも呼ばれる）
モデルが一度に「頭の中」に保持できるトークンの最大数です。プロンプト、システム指示、それまでの会話、そして生成中のレスポンスが含まれます。最新のフロンティアモデルは200K〜1Mトークンのウィンドウを持ちますが、旧来または低コストのモデルは8K〜32Kが一般的です。超過すると、古いコンテンツが切り捨てられるか、リクエスト自体が失敗します。
入力トークンと出力トークン
入力トークンとは、あなたが送信するもの（プロンプト、システムメッセージ、会話履歴、添付ドキュメント）です。出力トークンとは、モデルが生成して返すものです。生成は読み込みより処理が重いため、出力トークンは通常、入力トークンより3〜5倍高価です。
最大トークン数（max_output_tokens）
1回のリクエストでモデルが生成できるトークン数の上限です。コストとレイテンシーを制御するために設定します。多くのAPIはデフォルトで数千トークンですが、長い出力が必要な場合は増やし、応答を短くしたい場合は減らします。
2. サンプリングの調整
モデルが次のトークンを選ぶとき、実際にはすべての次トークン候補に対する確率分布を持っています。サンプリングの各パラメータは、その分布から1つの選択を決定する方法を制御します。APIを触る多くの人が操作するレバーがこれです。
Temperature
全体的なランダム性を制御します。低いtemperature（0〜0.3）では、モデルはほぼ毎回最も確率の高い次トークンを選びます——決定論的で、繰り返しが多く、「安全」な出力になります。高いtemperature（1.0以上）では確率分布が平坦になり、確率の低いトークンも選ばれやすくなります——より創造的で意外性があり、エラーも増えます。ほとんどのチャット用途には0.7がよいデフォルトです。コードや数学、事実の抽出には0.0〜0.2に下げ、創作やブレインストーミングには1.0以上に上げましょう。
Top-P（ニュークリアスサンプリング）
すべてのトークンを考慮する代わりに、top-pは「累積確率がP以上になる最小のトークンセットだけを考慮する」という方法です。たとえばtop-p = 0.9の場合、確率の合計が90%をカバーするトークンだけからサンプリングし、ロングテールの部分は無視します。top-kよりも賢く動的な代替手段です。一般的なデフォルトは0.9または1.0（無効）です。
Top-K
確率の高い上位Kトークンのみを対象にサンプリングします。top-k = 1は貪欲デコーディング（常に最も確率の高いトークンを選択）で、top-k = 40なら上位40の候補を保持します。top-pの方が挙動がよいことが多いため、現代のAPI（OpenAI、Anthropicなど）では直接top-kを公開していないことが多いですが、オープンソースモデルでは標準的です。
Frequency penalty（頻度ペナルティ）
これまでの応答ですでに生成されたトークンに対して、登場回数に比例したペナルティを与えます。同じ表現の繰り返しを減らすのに便利です。値の範囲は通常 -2.0 〜 +2.0 で、デフォルトは0です。
Presence penalty（存在ペナルティ）
frequency penaltyに似ていますが、こちらは二値的です。出現回数に関係なく、一度でも登場したトークンにペナルティを与えます。モデルが新しいトピックや語彙を導入するよう促します。値の範囲とデフォルトはfrequency penaltyと同じです。
Stop sequences（ストップシーケンス）
モデルがこの文字列を生成した時点で、強制的に生成を停止させる文字列です。構造化された出力（「###を生成したら停止」）や、応答を特定のフォーマット内に収めたい場合に便利です。
Seed（シード）
乱数生成器を固定する整数値です。同じプロンプト＋同じシード＋同じモデルバージョンなら、通常は同じ出力が得られます。再現性の確保、評価、デバッグに欠かせません。ただし、多くのプロバイダーは「ベストエフォート」として扱っており、インフラをまたいだ完全な決定論は保証されていません。
クイック比較：temperature vs top-p vs top-k
3つのサンプリングパラメータを横並びで比較
| パラメータ | 役割 | 一般的な範囲 | 高くすると | 低くすると |
|---|---|---|---|---|
| Temperature | 確率曲線全体をシャープにしたり平坦にしたりする | 0.0 〜 2.0（デフォルト約0.7） | より創造的・よりランダム | より決定論的・より繰り返しが多い |
| Top-P | 確率の合計がP%をカバーするトークンのみを保持する | 0.0 〜 1.0（デフォルト0.9〜1.0） | 語彙の多様性が増す | より絞り込まれた安全な出力 |
| Top-K | 最も確率の高いKトークンのみを保持する | 1 〜 ∞（現代のAPIでは無効が多い） | 多様性が増す | より絞り込まれる；K=1 = 貪欲デコーディング |
よくある失敗：3つを同時に調整してしまうことです。1つだけ選びましょう——創造性の制御にはtemperature、語彙の多様性にはtop-pが一般的です。低いtemperatureにペナルティを重ねるのが、「奇妙な出力」の報告の多くの原因です。
3. モデルの思考プロセス
AIツールを使うためにMLエンジニアである必要はありませんが、製品比較でよく出てくるアーキテクチャ用語をいくつか知っておくと役立ちます。
パラメータ
学習中に調整される、モデルの内部の数値です。「70Bモデル」は700億個のパラメータを持ちます。一般的に大きいほど賢くコストも高くなりますが、アーキテクチャの進化によりその関係は線形ではなくなっています——よく訓練された小さいモデルが、より大きいがやや古いモデルを上回ることもあります。
埋め込み（Embedding）
テキストの意味を高次元空間に表現するベクトル（数値のリスト）です。意味が近いテキストは近くに集まります。セマンティック検索、RAG、重複排除、分類、レコメンデーションを支える技術です。チャットモデルとは異なり、埋め込みモデルは小型で特化しています。
アテンション（Attention）
新しいトークンを生成する際に、それまでのどのトークンを「重点的に見る」かをモデルが決定する仕組みです。トランスフォーマーの中核となる革新であり、直接触ることはほぼありませんが、コンテキストウィンドウが重要な理由がここにあります。
トランスフォーマー（Transformer）
2017年以降、事実上すべての現代的な大規模言語モデルの基盤となっているニューラルネットワークアーキテクチャです。「LLM」と言えば、ほぼ常にトランスフォーマーを指します。
Mixture of Experts（MoE）
モデルを多数の「エキスパート」サブネットワークに分割し、各トークンに対してそのうちの一部だけを起動するアーキテクチャです。たとえば総パラメータ数400Bのモデルでも、1トークンあたり30Bしか使わないため、大モデルの知識を小モデルの速さで実現できます。複数のフロンティアモデルがMoEを内部で採用しています。
推論モデル（Reasoning model）
最終的な回答を出す前に「考える」——つまり内部的な推論ステップを生成するために追加の計算を費やすよう学習されたモデルです。数学、コーディング、複雑な推論タスクでのパフォーマンスが大幅に向上しますが、レイテンシーとトークンコストが増加します。2026年現在、フロンティアモデルの主流カテゴリです。
Chain-of-Thought（CoT、思考の連鎖）
プロンプトのテクニック（「ステップバイステップで考えてください」）として使われる場合と、推論モデルの内蔵動作として使われる場合があります。モデルが最終回答の前に中間的な推論ステップを生成する手法です。推論ステップはユーザーから隠されることがありますが、推論モデルでは通常、それらは出力トークンとして課金されます。
量子化（Quantization）
モデルのパラメータの数値精度を下げる手法です（例：16ビット浮動小数点から4ビット整数へ）。モデルを小さくして高速化しますが、通常わずかな品質低下を伴います。オープンソースの世界では広く普及していますが、クローズドAPIモデルを使う際にはあまり意識することはありません。
4. 学習とアライメント
膨大なテキストの山が、丁寧に質問に答えるモデルになるまでの過程です。
事前学習（Pretraining）
学習の最初で最もコストのかかるステージです。膨大な量のテキストから次のトークンを予測することで、モデルが汎用的な言語知識と世界知識を身につけます。「知性」の大部分はここで生まれます。
ファインチューニング（Fine-tuning）
事前学習済みモデルを、はるかに小さいデータセットを使って特定のタスクやスタイルに適応させる、第2の学習ステージです。専門領域への特化（医療、法律、コーディング）や、特定ブランドのトーンや振る舞いへの調整に使われます。
RLHF（人間のフィードバックによる強化学習）
生のモデルを使えるアシスタントに変えたアライメント手法です。人間がモデルの出力を評価し、その評価を基に報酬モデルを学習させ、さらに言語モデルを強化学習でファインチューニングして報酬モデルが好む出力を生成させます。RLHFこそが、ChatGPTやClaudeが有害なリクエストを断り、丁寧に指示に従い、話題にとどまれる理由です。AIフィードバックを使うRLAIFも現在大規模に活用されている関連手法です。
システムプロンプト
会話全体を通じてモデルの役割、トーン、制約、ペルソナを設定するトップレベルの指示です。多くのプロバイダーでユーザーメッセージよりも高い優先度で扱われます。具体的なタスクに入る前に、モデルが「何者であるか」を定義する場所です。
ハルシネーション（幻覚）
モデルが事実と異なる、あるいは作り上げた内容を自信ありげに答えてしまう現象です。学習データのギャップ、正確さよりもそれらしい文章を生成しようとするモデルの傾向、そして過度に自信に満ちた言い回しが原因です。対策としては、temperatureを下げる、RAGを使う（実際のソースを与える）、「わからない場合はわからないと言う」という明示的な指示を加える、重要な情報は必ず確認する、などがあります。
プロンプトエンジニアリング
望み通りの出力を安定して得られるプロンプトを書く技術です。役割設定（「あなたは…です」）、few-shotの例示、chain-of-thoughtのトリガー、構造化された出力指示などが含まれます。モデルが指示に従う能力が向上するにつれ、プロンプトエンジニアリングは秘伝のテクニックから明確な文章作成へと変化しています。
5. モデルを実際に活用する
学習ではなく、製品やエンジニアリングの議論でよく出てくる用語です。
推論（Inference）
学習済みモデルを実行する行為——つまり、与えられた入力に対して出力を生成することです。学習とは別物です。APIの料金は推論コストに基づいており、ユーザーが感じる遅延は推論のレイテンシーです。
RAG（検索拡張生成）
回答する前に、別のナレッジベースから関連ドキュメントを取得し（通常は埋め込みの類似性検索を使用）、コンテキストとしてプロンプトに追加する手法です。RAGを使うことで、小さい汎用モデルでも独自のドキュメントや最新情報、学習データ外の内容に正確に回答できるようになります。「自分のデータを知っているAI」を実現する定番パターンです。
ツール使用 / ファンクションコーリング
モデルが応答の一部として外部の関数やAPIを呼び出せるようにする仕組みです——例：「天気を調べる」「データベースを検索する」「メールを送る」。モデルが構造化されたリクエストを出力し、あなたのコードがそれを実行して結果を返します。これがLLMを「話すだけ」でなく「行動できる」存在に変えるものです。
エージェント（Agent）
モデルがツールを使い、目標を達成するために複数のステップにわたって自律的に判断を下すループです。例えば、ウェブを閲覧したり、ファイルを編集したり、マルチステップのワークフローを実行したりします。現代のエージェントは本質的に「推論モデル＋ツール＋反復ループ」です。カスタマーサポートボットから自律型コーディングアシスタントまで、幅広い意味で使われる曖昧な言葉です。
マルチモーダル
テキスト以外のものも扱えるモデルです——最も一般的なのはテキストと画像の組み合わせ（視覚）で、音声や動画にも対応が広がっています。「マルチモーダル」は通常、複数のモダリティをネイティブに理解する単一モデルを指し、別々のモデルを組み合わせたパイプラインではありません。
ビジョン（VLM：ビジョン言語モデル）
マルチモーダルの具体的なケースで、テキストと並んで画像を入力として受け取れるモデルです。OCR、図の理解、スクリーンショットのデバッグ、文書分析など、「見せた方が早い」場面で使われます。
ストリーミング
モデルが回答全体の生成完了を待たずに、生成しながらトークン単位で応答を送信する方式です。チャットのUXにとって重要で、ユーザーはスピナーを眺めるのではなく、応答が展開されるのをリアルタイムで見られます。多くのAPIではサーバー送信イベント（SSE）として実装されています。
初回トークンまでの時間（TTFT）
リクエストを送信してから最初のトークンを受け取るまでの時間です。ユーザーが実際に感じるレイテンシーです。推論モデルは話す前に「考える」ため、TTFTが高くなります。非推論モデルは最初のトークンを数分の一秒で返します。
毎秒トークン数（Tokens per second）
生成が始まってからのスループットです。高速な現代モデルは毎秒80〜200トークン以上を生成することもありますが、推論モデルは隠れた推論トークンを生成（かつ課金）するため、多くの場合低速になります。
最短チートシート
これだけは覚えておいてください：
- トークン = 単語の¾。料金はトークン単位。
- コンテキストウィンドウ = モデルが一度に見られるテキストの量。
- Temperature = 創造性のダイヤル。事実やコードには低く、アイデア出しには高く。
- Top-P = top-kよりも賢い現代的な代替手段。理由がなければデフォルトのままにしておく。
- システムプロンプト = 会話全体のペルソナとルール。
- RAG = モデルに自分のプライベートな情報を知らせる方法。
- 推論モデル = 低速で高コストだが、難しい問題では圧倒的に賢い。
- ハルシネーション = 自信に満ちた誤答。必ず確認する。
これが日常で出会うほとんどの用語をカバーしています。それ以外の用語がドキュメント、ツイート、モデルカードに出てきたとき、この用語集がすぐに確認できる拠り所となります。
