컨텍스트란?

쉽게 이해하면

동료에게 “이 요청 승인해도 될까요?”라고만 묻는 상황을 생각해 보세요. 요청 금액, 적용 규정, 예외 승인 여부를 함께 알려주면 판단에 필요한 배경이 생깁니다. AI에 정보를 전달하는 경우에도 무엇이 질문의 배경인지가 중요합니다.

예를 들어 고객에게 보낼 답변을 작성한다면 문의 내용만으로는 부족할 수 있습니다. 해당 고객의 계약 조건과 현재 적용되는 지원 정책을 함께 주어야 업무 상황에 맞는 답변을 만들 수 있습니다. 이 예시는 컨텍스트의 역할을 설명하기 위한 가상 상황입니다.

알아둘 점

저장과 전달은 다름

문서가 드라이브에 있거나 대화 기록이 저장되어 있다는 사실만으로 모델이 모두 읽는 것은 아닙니다. 어떤 정보를 검색하고 어떤 범위를 입력에 넣는지 서비스 구성에 따라 달라집니다.

양보다 적합성

자료를 많이 넣으면 관련 없는 내용이나 서로 충돌하는 규칙이 섞일 수 있습니다. 질문과 관계있는 정보, 유효한 날짜, 출처를 구별해 전달하는 것이 필요합니다.

지시와 자료 구분

참고 문서 안의 문장을 모두 실행 지시로 취급하면 문제가 생길 수 있습니다. 시스템의 지시사항과 외부에서 가져온 자료의 역할을 구분하는 설계가 중요합니다.

비슷한 용어와의 차이

컨텍스트

현재 모델에 제공되는 내용

컨텍스트 윈도

그 내용을 담을 수 있는 범위

장기 기억

다음 요청에도 활용하도록 보존한 정보