파인튜닝·인컨텍스트 학습·지속 학습의 차이는?

쉽게 이해하면

작업 예시를 책상 위에 놓고 따라 하게 하는 것과, 반복 훈련으로 수행 방식을 바꾸는 것을 구분하면 이해하기 쉽습니다. 전자는 인컨텍스트 학습, 후자는 파인튜닝의 차이를 설명하는 비유입니다. 실제 모델의 학습 과정은 이보다 복잡합니다.

예를 들어 보고서 예시 두 개를 질문에 함께 넣어 형식을 맞추게 할 수 있습니다. 반면 많은 학습 예시로 일관된 출력 형식을 익히도록 모델을 조정하는 방법도 있습니다. 자주 바뀌는 규정의 원문을 전달하는 문제는 별도의 검색·갱신 구성으로 해결할 수도 있습니다.

알아둘 점

파인튜닝

특정 과제의 형식·행동·도메인 적응 등을 위해 사용할 수 있습니다. 학습 데이터와 평가 세트가 필요하며, 새로운 규정을 넣었다는 사실만으로 모든 질문에서 정확하게 재현된다고 보장할 수 없습니다.

인컨텍스트 학습

현재 입력에 제공한 예시가 수행 방식에 영향을 줍니다. 보통의 추론 요청에서 이 예시를 주었다고 모델 가중치가 영구적으로 갱신되는 것은 아닙니다. 다음 대화에서도 같은 정보가 필요하면 다시 제공하거나 별도 기억 구성을 사용할 수 있습니다.

지속 학습

새로운 과제를 배울 때 기존 능력을 잃는 문제 등을 다루는 연구·개발 영역입니다. 서비스가 계속 대화를 저장한다는 설명과 동일하지 않습니다. 사용자가 말할 때마다 모델이 자동으로 안전하게 재학습된다고 해석하면 안 됩니다.

선택 기준

문제가 최신 지식 제공인지, 반복되는 출력 행동인지, 사용자별 연속성인지 먼저 구분합니다. 하나의 방식으로 모든 문제를 해결하려 하기보다 대표 업무로 효과와 유지 비용을 검증합니다.

비슷한 용어와의 차이

파인튜닝

추가 학습으로 모델 가중치 조정

인컨텍스트 학습

현재 입력의 예시·설명을 이용해 수행

지속 학습

새 데이터·과제에 적응하며 기존 능력 유지

외부 메모리

정보를 별도 보존하고 필요할 때 제공