LLM output configuration
Prompt Engineering 스터디
https://drive.google.com/file/d/1AbaBYbEa_EbPelsT40-vj64L-2IwUJHy/view
✅ 누구나 할 수 있는 프롬프트 작성
프롬프트 엔지니어링(Prompt Engineering)은 인공지능에게 어떻게 질문하느냐에 따라 더 좋은 결과를 얻을 수 있도록 질문을 잘 설계하는 것을 말해요.
데이터 과학자나 머신러닝 엔지니어가 아니어도 누구나 할 수 있습니다!
� LLM(대형언어모델)은 어떻게 작동할까?
LLM은 다음에 올 단어(토큰)를 예측하는 모델이에요.
입력된 문장을 바탕으로, 가장 그럴듯한 다음 단어를 예측하고, 그것을 반복해서 이어 붙여 문장을 완성해요.
✏️ 프롬프트 엔지니어링이란?
좋은 결과를 얻기 위해 프롬프트를 잘 설계하는 과정을 말합니다.
예를 들어, 요약, 번역, 질문답변, 코드 생성 등 다양한 작업을 LLM에게 시킬 수 있어요.
효과적인 프롬프트를 위해서는:
어떤 모델을 쓸지 선택하고
그 모델의 설정값(예: 출력 길이, 랜덤 정도 등)을 적절히 조정해야 해요.
⚙️ 주요 설정값들
1. 출력 길이 (Output Length)
출력할 단어 수 (토큰 수)를 정하는 설정
길게 하면 비용, 속도, 전력 소비가 늘어남
너무 짧으면 말이 안 되는 문장으로 끝날 수 있음
2. 랜덤성 설정 (Sampling Controls)
LLM은 다음 단어를 확률적으로 예측하기 때문에, 어떤 방식으로 선택하느냐가 중요해요.
� Temperature (온도)
낮을수록 정해진 답처럼 안정적인 결과 (예: 0~0.2)
높을수록 창의적이지만 비논리적인 결과도 나올 수 있음 (예: 0.9 이상)
� Top-K
확률이 높은 상위 K개의 단어 중에서 하나를 선택
K=1이면 가장 가능성 높은 단어만 선택 → 정답처럼 동작
� Top-P (누클리어스 샘플링)
확률 누적합이 P 이하가 되는 단어들 중에서 선택
P=1이면 거의 모든 단어가 대상 / P=0이면 한 단어만 선택됨
⚠️ 주의할 점
설정값이 너무 높으면 이상하거나 반복되는 문장(loop)이 생성될 수 있어요.
LLM이 "쓸데없는 말만 반복하는 버그"에 빠질 수도 있으니 주의해야 해요.
