AI 평가·PoC란?

쉽게 이해하면

새 업무 도구를 살 때 대표적인 업무를 직접 해 보는 과정과 비슷합니다. 쉬운 예제 하나만 성공하는지 보는 대신 흔한 질문과 어려운 예외를 함께 넣어야 합니다. 기존 방식과 비교할 기준도 미리 정하면 결과를 해석하기 쉽습니다.

가상의 사내 규정 AI 평가라면 정상 질문, 예외 조항, 규정 개정, 권한 없는 자료 요청을 포함할 수 있습니다. 기억 기능은 새 대화에서 다시 묻기, 잘못된 기억 정정하기, 삭제 후 재질문하기 등을 추가로 확인할 수 있습니다. 이 목록은 텐코닉의 편집 제안이며 공인된 단일 평가 표준은 아닙니다.

알아둘 점

질문과 기대 결과

무엇이 올바른 답인지 원문과 업무 담당자의 기준으로 정합니다. 답을 알 수 없는 질문에서는 확인이 필요하다고 말하는 것도 올바른 결과일 수 있습니다. 평가용 질문이 학습·개발에 과도하게 노출되지 않도록 분리합니다.

단계를 나누어 측정

검색에서 필요한 조항을 찾았는지, 모델이 근거를 정확히 사용했는지, 외부 작업이 올바르게 실행되었는지를 나눕니다. 최종 답변 점수 하나만 보면 개선해야 할 부분을 찾기 어렵습니다.

구매 가치와 운영 조건

정확성 외에도 처리 시간, 사람의 수정·검토 부담, 사용량과 비용, 권한 위반 여부를 확인합니다. 데모 환경과 실제 문서·연동 환경의 차이도 기록해야 합니다.

반복 검증

모델·검색·프롬프트·문서가 바뀌면 이전에 되던 질문이 틀릴 수 있습니다. 핵심 질문 묶음을 유지해 변경 전후를 비교하고, 실패 사례를 추가합니다. 좋은 평가 점수가 모든 미래 질문의 성공을 보장하지는 않습니다.

비슷한 용어와의 차이

시연

가능한 동작을 보여주는 예시

평가

정해진 조건과 기준으로 결과를 측정

PoC

제한된 실제 조건에서 적용 가능성 검증

운영 검증

지속적인 변경·실패·비용을 포함해 확인