회사 문서 검색 품질을 바꾸는 문서 분할 기준

핵심 정리

• 임베딩은 텍스트·이미지 같은 대상을 모델이 처리할 수 있는 벡터, 즉 숫자의 묶음으로 표현하는 방법입니다.

• 문단 경계만 사용한 분할과 제목·조항·예외를 묶은 분할을 같은 질문으로 비교합니다.

• 분할 길이를 특정 숫자로 고정하면 모든 문서에서 최적이라는 보장은 없습니다.

검색 결과에 딱 필요한 문장이 나왔는데 예외 조건은 다음 조각에 남아 있을 수 있습니다. 문서를 자를 때 길이만 맞추면 생기는 문제입니다. 독자가 한 덩어리로 읽어야 이해되는 범위를 먼저 살펴보세요.

개념부터 확인하려면 임베딩이란?에서 뜻과 관련 용어를 살펴보세요.

분할 크기 하나로 품질을 판단하지 마세요

Azure AI Search 문서는 고정 길이뿐 아니라 문서 구조 등에 따른 분할 접근을 설명합니다. 모델 입력 제한을 지키는 일과 검색에 적합한 단위를 만드는 일은 함께 검토해야 합니다. 모든 문서에 통하는 최적 토큰 수가 있다고 전제하지 마세요.

규칙과 예외가 함께 전달되는지 보세요

가상의 규정에서 신청 조건은 앞 문단, 제외 대상은 다음 페이지에 있다고 합시다. 첫 조각만 검색되면 문장 자체는 맞아도 적용은 틀릴 수 있습니다. 제목·적용 대상·주석을 함께 보존하거나 관련 조각을 함께 가져오는 구성을 시험하고, 중복된 내용이 입력을 과도하게 차지하지 않는지도 확인합니다.

표와 절차는 추출 결과부터 읽어 보세요

PDF의 표가 줄 단위 텍스트로 바뀌면서 가격과 상품명이 어긋날 수 있습니다. 원문의 행·열·단위가 검색 조각에서도 대응되는지 확인하세요. 절차 문서는 단계 번호만 남고 선행 조건이 사라지지 않는지 봅니다. 전처리에서 의미가 깨진 문제는 임베딩 모델 변경만으로 해결된다고 가정하면 안 됩니다.

작은 비교 실험으로 분할 기준을 선택하세요

같은 원문과 질문으로 두 분할 방식을 비교하세요. 필요한 조항의 포함 여부, 예외 누락, 출처 위치, 입력 길이를 기록합니다. Anthropic이 설명하는 조각별 맥락 보완도 하나의 비교 후보가 될 수 있지만, 공급사의 실험 성과를 우리 문서의 예상 성과로 옮겨 쓰지 않습니다.

업무 예시로 적용해 보기

지원 규정에서 기본 환불 조건은 한 문단에, 기업 계약 예외는 다음 문단에 있습니다. 글자 수만으로 자르면 두 조건이 서로 다른 조각에 놓일 수 있습니다.

문단 경계만 사용한 분할과 제목·조항·예외를 묶은 분할을 같은 질문으로 비교합니다. 필요한 예외가 검색 조각에 남는지 확인하고, 조각에 원문 위치와 버전을 유지하세요.

실패하기 쉬운 조건과 확인 방법

분할 길이를 특정 숫자로 고정하면 모든 문서에서 최적이라는 보장은 없습니다. 짧게 자를수록 빠뜨리는 조건과 길게 묶을수록 섞이는 내용을 함께 살펴야 합니다.

업무에 적용할 점검표

자주 묻는 질문

겹침을 크게 주면 해결되나요?

경계 누락을 줄일 수 있지만 중복과 비용이 늘 수 있습니다. 실제 질문으로 확인하세요.

관련 AI 용어

• 임베딩이란?

• 벡터 검색이란?

• RAG(검색 증강 생성)란?

출처와 작성 정보

Microsoft: Document chunking

Anthropic: Contextual Retrieval

TENCONIC 편집 · 구조 검토 2026-10-28. 공식 문서는 개념과 구현 예의 근거이며 제품별 기능은 다를 수 있습니다. 업무 예시와 점검 절차는 편집 제안으로, 실제 고객 성과나 제공 기능을 뜻하지 않습니다.