온도, temperature · 샘플링 온도

AI는 다음 토큰 후보마다 확률을 매긴 뒤 제비뽑기하듯 하나를 골라요. 온도는 이 확률표를 얼마나 평평하게 만들지 정하는 숫자예요. 온도를 낮추면 1등 후보가 거의 늘 뽑히고, 올리면 아래쪽 후보도 자주 뽑혀요.

그래서 온도가 낮으면 답이 무난하고 비슷비슷해지고, 높으면 다양해지는 대신 엉뚱한 말도 늘어요. 번역이나 요약에는 낮게, 아이디어 모으기에는 높게 쓰는 경우가 많아요. 온도는 AI를 더 똑똑하게 만드는 게 아니라 얼마나 모험할지만 바꿔요.

온도를 0으로 맞추면 답이 늘 똑같을 것 같지만, 꼭 그렇지는 않아요. 큰 모델은 온도가 0이어도 같은 질문에 다른 답을 낼 수 있다는 실험 결과도 있어요.