AI 설정 완전 해설: 온도, 토큰, Top-P 그 이상 (2026 용어 사전)

AI 도구를 써본 적 있다면 — 특히 API 쪽을 다뤄봤다면 — 온도(temperature), top-p, 토큰(tokens), 컨텍스트 윈도우(context window), RLHF 같은 용어를 한 번쯤 마주쳤을 것입니다. 대부분의 공식 문서는 독자가 이미 어느 정도 알고 있다는 전제 하에 설명합니다. 이 용어 사전은 제가 처음 시작할 때 있었으면 좋았을 그 버전입니다. 쉬운 말로 된 정의, 각 용어가 왜 중요한지, 실제로 언제 건드리게 되는지를 담았습니다.

다섯 가지 주제로 나뉘어 있습니다 — 필요한 섹션으로 바로 건너뛰어도 좋고, 처음부터 끝까지 입문서로 읽어도 됩니다.

• 1. 토큰 & 컨텍스트 — AI가 실제로 읽고 쓰는 것
• 2. 샘플링 다이얼 — 온도, top-p, top-k 등
• 3. 모델이 생각하는 방식 — 아키텍처와 추론
• 4. 학습 & 정렬 — 모델이 유용해지는 과정
• 5. 모델 실전 활용 — RAG, 에이전트, 도구, 스트리밍

1. 토큰 & 컨텍스트

설정 이야기를 하기 전에, 모델이 실제로 무엇을 소비하고 생산하는지 기본 개념부터 잡아야 합니다.

토큰(Token)

언어 모델이 읽고 쓰는 기본 단위입니다. 토큰은 보통 몇 글자짜리 덩어리인데, 짧은 단어 전체("cat")일 수도 있고, 일부 조각("ing", "tion")일 수도 있으며, 단일 문자나 바이트일 때도 있습니다. 영어 기준 대략적인 규칙은 토큰 1개 ≈ 4글자 ≈ 단어 ¾개이므로, 1,000토큰은 약 750단어에 해당합니다. 가격은 거의 항상 토큰 단위로 청구됩니다(입력과 출력 별도).

토크나이저(Tokenizer)

모델이 텍스트를 보기 전에 텍스트를 토큰으로 변환하는 함수입니다. 모델 계열마다 토크나이저가 다르기 때문에, 같은 문단이라도 플랫폼에 따라 토큰 수가 조금씩 다를 수 있습니다.

컨텍스트 윈도우(Context window, 컨텍스트 길이라고도 함)

모델이 한 번에 "머릿속에" 담을 수 있는 최대 토큰 수입니다. 여기에는 프롬프트, 시스템 지시사항, 이전 대화 내용, 그리고 현재 생성 중인 응답까지 모두 포함됩니다. 최신 프론티어 모델들은 20만~100만 토큰의 윈도우를 제공하며, 구형 또는 저렴한 모델은 8,000~32,000토큰입니다. 초과하면 가장 오래된 내용이 잘리거나 호출이 실패합니다.

입력 토큰 vs 출력 토큰

입력 토큰은 여러분이 전송하는 것(프롬프트, 시스템 메시지, 대화 기록, 첨부 문서)이고, 출력 토큰은 모델이 생성해 돌려주는 것입니다. 생성이 읽기보다 어렵기 때문에 출력 토큰은 보통 입력 토큰보다 3~5배 비쌉니다.

최대 토큰(max_output_tokens)

모델이 한 번의 요청에서 생성할 수 있는 토큰 수의 상한선입니다. 비용과 응답 속도를 제어하기 위해 설정합니다. 많은 API가 기본값으로 수천 토큰을 설정해 두는데, 긴 출력이 필요하면 높이고 짧게 유지하고 싶으면 낮추면 됩니다.

2. 샘플링 다이얼

모델이 다음 토큰을 고를 때, 실제로는 가능한 모든 다음 토큰에 대한 확률 분포를 갖고 있습니다. 샘플링 다이얼은 그 분포에서 하나의 선택을 어떻게 뽑아낼지를 결정합니다. 이것이 대부분의 사람들이 API를 통해 직접 건드리는 조절 레버입니다.

온도(Temperature)

전반적인 무작위성을 제어합니다. 낮은 온도(0~0.3)는 모델이 거의 항상 가장 가능성 높은 다음 토큰을 선택하게 만듭니다 — 결정론적이고 반복적이며 "안전"합니다. 높은 온도(1.0 이상)는 확률 분포를 평탄하게 만들어 가능성이 낮은 토큰도 선택될 수 있게 합니다 — 더 창의적이고 예상치 못한 결과가 나오지만 오류도 늘어납니다. 일반적인 대화 용도에는 0.7이 좋은 시작점입니다. 코드, 수학, 사실 추출에는 0.0~0.2로 낮추세요. 창의적 글쓰기나 아이디어 발상에는 1.0 이상으로 올려보세요.

Top-P (핵심 샘플링, Nucleus Sampling)

모든 토큰을 고려하는 대신, top-p는 "누적 확률이 P 이상이 되는 가장 작은 토큰 집합만 고려한다"고 말합니다. 예를 들어 top-p = 0.9이면, 확률 총합이 90%를 커버하는 토큰들 중에서만 샘플링하며 확률이 낮은 꼬리 부분은 무시합니다. top-k보다 더 스마트하고 동적인 대안입니다. 일반적인 기본값은 0.9 또는 1.0(비활성화)입니다.

Top-K

가장 가능성 높은 K개의 다음 토큰만 고려하고 그 중에서 샘플링합니다. top-k = 1은 탐욕적 디코딩(가장 가능성 높은 토큰을 항상 선택)이고, top-k = 40은 상위 40개 후보를 유지합니다. 최신 API(OpenAI, Anthropic)는 top-p가 더 잘 작동하는 경향이 있어 top-k를 직접 노출하지 않는 경우가 많지만, 오픈소스 모델에서는 표준적으로 사용됩니다.

빈도 패널티(Frequency penalty)

지금까지 응답에서 이미 생성된 토큰을, 등장 횟수에 비례하여 페널티를 줍니다. 글자 그대로의 반복을 줄이는 데 유용합니다. 범위는 일반적으로 -2.0에서 +2.0이며 기본값은 0입니다.

존재 패널티(Presence penalty)

빈도 패널티와 비슷하지만 이진 방식입니다. 등장 횟수에 관계없이 한 번이라도 나온 토큰에 페널티를 줍니다. 모델이 새로운 주제나 단어를 도입하도록 유도합니다. 범위와 기본값은 동일합니다.

중지 시퀀스(Stop sequences)

모델이 특정 문자열을 생성할 때 강제로 생성을 멈추게 하는 트리거입니다. 구조화된 출력("###을 생성하면 멈춰라")이나 특정 형식 내에서 응답을 유지하는 데 유용합니다.

시드(Seed)

난수 생성기를 고정하는 정수 값입니다. 같은 프롬프트 + 같은 시드 + 같은 모델 버전은 보통 같은 출력을 냅니다. 재현성, 평가, 디버깅에 매우 중요합니다. 다만 대부분의 제공업체는 이를 "최선의 노력" 방식으로 설명합니다 — 인프라 전체에 걸쳐 완벽한 결정론은 보장되지 않습니다.

빠른 비교: 온도 vs top-p vs top-k

흔한 실수: 세 가지를 동시에 조절하는 것입니다. 하나만 고르세요 — 창의성 조절에는 주로 온도, 다양성 조절에는 top-p를 사용하고 나머지는 기본값으로 두세요. 낮은 온도 위에 페널티까지 쌓으면 "이상한 출력"이 나온다는 보고의 대부분이 여기서 비롯됩니다.

3. 모델이 생각하는 방식

AI 도구를 사용하기 위해 머신러닝 엔지니어일 필요는 없지만, 제품 비교에서 자주 등장하는 몇 가지 아키텍처 용어는 알아두면 좋습니다.

파라미터(Parameters)

학습 과정에서 조정되는 모델 내부의 숫자들입니다. "70B 모델"이라고 하면 700억 개의 파라미터를 가진다는 뜻입니다. 일반적으로 클수록 똑똑하고 비싸지만, 아키텍처가 발전하면서 그 관계가 점점 단순하지 않게 되었습니다 — 잘 학습된 소형 모델이 더 크지만 오래된 모델을 능가하기도 합니다.

임베딩(Embedding)

고차원 공간에서 텍스트 조각의 의미를 나타내는 벡터(숫자 목록)입니다. 의미가 비슷한 텍스트는 가까이 위치하게 됩니다. 임베딩은 시맨틱 검색, RAG, 중복 제거, 분류, 추천에 활용됩니다. 채팅 모델과는 다르며 — 임베딩 모델은 더 작고 특화되어 있습니다.

어텐션(Attention)

모델이 새 토큰을 생성할 때 이전 토큰들 중 어느 것을 "주목"할지 결정하는 메커니즘입니다. 트랜스포머의 핵심 혁신입니다. 직접 건드릴 일은 거의 없지만, 컨텍스트 윈도우가 그토록 중요한 이유가 바로 여기에 있습니다.

트랜스포머(Transformer)

2017년 이후 사실상 모든 현대 대형 언어 모델의 기반이 되는 신경망 아키텍처입니다. "LLM"이라고 하면 거의 항상 트랜스포머를 의미합니다.

전문가 혼합(Mixture of Experts, MoE)

모델을 여러 "전문가" 서브네트워크로 분할하고, 각 토큰마다 그 중 일부만 활성화하는 아키텍처입니다. 예를 들어 총 4,000억 개의 파라미터를 가지지만 토큰당 300억 개만 사용하므로, 대형 모델의 지식을 소형 모델의 속도로 얻을 수 있습니다. 여러 프론티어 모델들이 내부적으로 MoE를 사용합니다.

추론 모델(Reasoning model)

최종 답변을 내놓기 전에 내부적으로 추론 단계를 생성하며 "생각"하는 데 추가 연산을 쓰도록 학습된 모델입니다. 수학, 코딩, 복잡한 추론 과제에서 성능이 극적으로 향상되지만 지연 시간과 토큰 비용이 증가합니다. 추론 모델은 2026년 프론티어 계층의 주류 카테고리입니다.

연쇄적 사고(Chain-of-Thought, CoT)

프롬프트 기법("단계적으로 생각해")이거나 추론 모델의 내장 동작으로, 최종 답변 전에 중간 추론 단계를 생성하는 방식입니다. 추론 단계가 사용자에게 숨겨질 때도 있지만, 추론 모델에서는 보통 출력 토큰으로 과금됩니다.

양자화(Quantization)

모델 파라미터의 수치 정밀도를 낮춰(예: 16비트 부동소수점에서 4비트 정수로) 크기와 속도를 개선하는 기술로, 보통 약간의 품질 손실이 있습니다. 오픈소스 세계에서 활발히 사용되며, 클로즈드 API 모델을 사용할 때는 잘 보이지 않습니다.

4. 학습 & 정렬

거대한 텍스트 더미가 어떻게 정중하게 질문에 답하는 모델이 되는지 알아봅니다.

사전 학습(Pretraining)

학습의 첫 번째이자 가장 비용이 많이 드는 단계로, 모델이 방대한 양의 텍스트에서 다음 토큰을 예측하며 일반적인 언어와 세계 지식을 습득합니다. 모델 "지능"의 대부분이 여기서 나옵니다.

파인튜닝(Fine-tuning)

사전 학습된 모델을 훨씬 작은 데이터셋을 사용해 더 좁은 특정 과제나 스타일에 맞게 조정하는 두 번째 학습 단계입니다. 도메인 특화(의료, 법률, 코딩)나 특정 브랜드의 어조와 행동에 맞추는 데 사용됩니다.

RLHF (인간 피드백을 통한 강화 학습)

원시 언어 모델을 유용한 어시스턴트로 바꾼 정렬 기술입니다. 인간이 모델 출력을 평가하고, 그 평가로 보상 모델을 학습시킨 다음, 보상 모델이 선호하는 출력을 내도록 언어 모델을 강화 학습으로 파인튜닝합니다. RLHF 덕분에 ChatGPT와 Claude가 해로운 요청을 거부하고, 지시를 정중하게 따르며, 주제에 집중합니다. AI 피드백을 사용하는 RLAIF도 현재 대규모로 활용되는 관련 기술입니다.

시스템 프롬프트(System prompt)

전체 대화에 걸쳐 모델의 역할, 어조, 제약, 페르소나를 설정하는 최상위 지시사항입니다. 대부분의 제공업체에서 사용자 메시지보다 높은 우선순위로 처리됩니다. 특정 과제가 시작되기 전에 모델이 무엇인지를 여기서 정의합니다.

환각(Hallucination)

모델이 사실과 다르거나 지어낸 답변을 자신 있게 내놓는 현상입니다. 학습 데이터의 공백, 사실을 검증하기보다 그럴듯한 텍스트를 생성하려는 모델의 경향, 지나친 자신감 어조가 복합적으로 작용합니다. 완화 방법: 온도 낮추기, RAG(실제 출처 제공), "모르면 모른다고 말해"라는 명시적 지시, 중요한 내용은 반드시 검증하기.

프롬프트 엔지니어링(Prompt engineering)

원하는 출력을 안정적으로 얻는 프롬프트를 작성하는 기술입니다. 역할 설정("당신은 ...입니다"), 퓨샷 예시, 연쇄적 사고 유도, 구조화된 출력 지시 등이 포함됩니다. 모델이 지시를 더 잘 따르게 되면서, 프롬프트 엔지니어링은 불가사의한 트릭에서 명확한 글쓰기로 그 본질이 바뀌었습니다.

5. 모델 실전 활용

학습이 아닌 제품 및 엔지니어링 논의에서 자주 듣게 되는 용어들입니다.

추론(Inference)

학습된 모델을 실제로 실행하는 행위, 즉 주어진 입력에 대해 출력을 생성하는 것입니다. 학습과는 구별됩니다. API 가격은 추론 비용을 기반으로 하며, 사용자가 체감하는 것은 추론 지연 시간입니다.

RAG (검색 증강 생성, Retrieval-Augmented Generation)

답변하기 전에 별도의 지식 베이스(주로 임베딩 유사도 검색을 통해)에서 관련 문서를 가져와 프롬프트에 컨텍스트로 추가합니다. RAG를 사용하면 작은 범용 모델도 여러분의 개인 문서, 최신 사건, 학습 데이터 밖의 내용에 대해 정확하게 답변할 수 있습니다. "내 자료를 아는 AI"를 만드는 가장 지배적인 패턴입니다.

도구 사용 / 함수 호출(Tool use / function calling)

모델이 응답의 일부로 외부 함수나 API를 호출하게 하는 것입니다 — 예: "날씨 조회", "데이터베이스 쿼리", "이메일 전송". 모델이 구조화된 요청을 보내면 여러분의 코드가 실행하고 결과를 다시 전달합니다. 이것이 LLM을 말만 하는 것이 아닌 실제로 행동할 수 있는 것으로 바꾸는 기술입니다.

에이전트(Agent)

모델이 도구를 사용하고 여러 단계에 걸쳐 스스로 결정을 내려 목표를 달성하는 루프입니다 — 예: 웹 탐색, 파일 편집, 다단계 워크플로 실행. 현대의 에이전트는 본질적으로 "추론 모델 + 도구 + 반복 루프"입니다. 고객 지원 봇부터 자율 코딩 어시스턴트까지 모든 것을 의미하는 다소 모호한 용어입니다.

멀티모달(Multimodal)

텍스트 이상을 처리하는 모델 — 가장 흔하게는 이미지와 텍스트(비전), 점점 오디오와 비디오도 포함합니다. "멀티모달"은 보통 별도 모델들의 파이프라인이 아닌, 여러 모달리티를 네이티브로 이해하는 단일 모델을 가리킵니다.

비전 (또는 VLM — 비전-언어 모델)

멀티모달의 특정 케이스: 모델이 텍스트와 함께 이미지를 입력으로 받을 수 있습니다. OCR, 다이어그램 이해, 스크린샷 디버깅, 문서 분석, "말로 설명하기보다 보여주기"가 중요한 모든 상황에 사용됩니다.

스트리밍(Streaming)

전체 답변이 완성될 때까지 기다리지 않고 모델이 생성하는 대로 토큰을 하나씩 전송합니다. 사용자가 로딩 스피너를 멍하니 바라보지 않고 응답이 펼쳐지는 것을 볼 수 있어 채팅 UX에 필수적입니다. 대부분의 API에서 서버-전송 이벤트(server-sent events)로 구현됩니다.

첫 토큰까지의 시간(Time to first token, TTFT)

요청을 보낸 후 응답의 첫 번째 토큰을 받기까지 걸리는 시간입니다. 사용자가 실제로 체감하는 지연 시간입니다. 추론 모델은 말하기 전에 생각하기 때문에 TTFT가 높고, 비추론 모델은 첫 토큰을 수 초 내에 스트리밍합니다.

초당 토큰 수(Tokens per second)

생성이 시작된 후의 처리량입니다. 빠른 최신 모델은 초당 80~200개 이상의 토큰을 생성할 수 있으며, 추론 모델은 숨겨진 추론 토큰을 생성(하고 비용을 지불)하기 때문에 더 느린 경우가 많습니다.

가장 짧은 치트시트

하나도 기억나지 않는다면:

• 토큰(Token) = 단어 ¾개. 가격은 토큰 단위.
• 컨텍스트 윈도우(Context window) = 모델이 한 번에 볼 수 있는 텍스트의 양.
• 온도(Temperature) = 창의성 다이얼. 사실/코드에는 낮게, 아이디어에는 높게.
• Top-P = top-k보다 스마트하고 현대적인 대안. 이유가 없다면 기본값 그대로.
• 시스템 프롬프트(System prompt) = 전체 대화의 페르소나와 규칙.
• RAG = 모델이 내 개인 자료를 알게 만드는 방법.
• 추론 모델(Reasoning model) = 느리고 비싸지만 어려운 문제에서 훨씬 똑똑함.
• 환각(Hallucination) = 자신 있게 틀린 답. 항상 검증하세요.

이것이 일상적으로 마주치는 용어의 대부분입니다. 나머지 용어들은 문서, 트윗, 모델 카드에서 등장할 때 빠르게 참조할 수 있도록 이 용어 사전에 담겨 있습니다.