AI 업무자동화발행 2026.10.19

기존 시스템과 연결하는 AI 자동화는 어떻게 시험하나요?

바로 답변

연결한 자동화는 '잘 되는지'가 아니라 '틀렸을 때 멈추는지'를 시험합니다. 대표·경계·실패 사례를 섞어 시험 입력을 만들고 각 건의 기대 결과를 실행 전에 적은 뒤 결과와 대조합니다. 중단 조건과 재시도 횟수, 사람에게 넘기는 기준은 시험을 시작하기 전에 숫자로 정해 둡니다.

핵심 요약

  • 기대 결과를 먼저 적지 않으면 결과를 보고 기준을 맞추게 되어 시험이 아니라 설명이 됩니다.
  • 시험 입력에는 틀린 자료와 빠진 자료를 반드시 섞습니다. 정상 입력만으로는 멈춤 동작을 확인할 수 없습니다.
  • 쓰기가 들어가는 자동화는 읽기 시험과 분리하고, 되돌리는 절차를 한 번 실행해 본 뒤 운영 데이터로 넘어갑니다.
  • 실제 고객 자료를 시험에 쓰려면 수집 목적 범위 안인지부터 확인하고, 애매하면 식별 항목을 바꾼 복제본을 씁니다.
  • 자동화 계정은 사람 계정과 분리해 최소 권한만 주고, 시험용 계정은 종료 시 말소 기록을 남깁니다.
대표·경계·실패 세 묶음으로 시험 입력을 만들고 기대 결과를 먼저 적은 뒤, 읽기 시험과 쓰기 시험을 나누고 중단·재시도·이관 기준을 숫자로 정해 틀린 입력에서 멈추는지로 합격을 판정하는 흐름도

연결 시험은 무엇을 확인하는 일인가요?

자동화가 기존 시스템과 연결되면 확인할 것이 둘로 늘어납니다. 판단이 맞는지, 그리고 판단이 틀렸을 때 시스템에 무엇이 남는지입니다.

읽기만 하는 자동화는 틀려도 사람이 다시 보면 됩니다. 등록·변경·발송처럼 쓰기가 들어가면 잘못된 값이 다음 업무로 번지므로, 시험의 목적은 '잘 되는지'보다 '틀렸을 때 멈추는지'로 옮겨 갑니다.

그래서 읽기 시험과 쓰기 시험을 나눠서 합니다. 쓰기 시험은 되돌릴 수 있는 환경에서 먼저 하고, 되돌리는 절차까지 한 번 실행해 본 뒤 운영 데이터로 넘어갑니다.

시험 입력은 어떻게 고르나요?

지난 기간의 실제 건에서 무작위로 뽑으면 대부분 정상 건이 되어 멈춤 동작이 한 번도 시험되지 않습니다. 세 묶음으로 나눠 일부러 섞습니다.

  1. 대표 사례: 가장 흔한 형태 20건 내외. 자동 처리가 기대되는 구간입니다.
  2. 경계 사례: 금액이 0원이거나, 날짜 순서가 뒤집혔거나, 필수 항목이 비어 있는 건 10건 내외.
  3. 실패 사례: 과거에 사람이 틀렸거나 반려된 건 10건 내외. 자동화가 같은 함정에 빠지는지 봅니다.

각 건의 기대 결과는 실행 전에 적습니다. 결과를 본 뒤에 기준을 맞추면 시험이 아니라 설명이 됩니다.

실제 고객 자료를 시험에 써도 되나요?

개인정보 보호법 제18조제1항은 개인정보를 수집할 때 밝힌 범위를 초과해 이용하는 것을 금지합니다. 따라서 그 업무를 처리하기 위한 시험인지, 별도의 용도인지부터 따져야 합니다.

범위를 벗어난다고 판단되면 가명정보로 바꾸면 된다고 생각하기 쉽지만, 같은 법 제28조의2제1항은 동의 없는 가명정보 처리를 통계작성·과학적 연구·공익적 기록보존 등의 목적으로 한정합니다. 일반적인 업무 자동화 시험을 여기에 그대로 올려놓기는 어렵습니다.

실무에서는 이름·연락처·계좌 같은 식별 항목을 바꾼 복제본이나 직접 만든 가상 자료를 쓰는 편이 간단하고 분쟁 소지도 적습니다. 자료의 형식과 오류 유형만 실제와 같으면 시험 목적은 충분히 달성됩니다.

계정도 함께 정리합니다. 개인정보의 안전성 확보조치 기준 제5조는 업무 수행에 필요한 최소한의 범위로 권한을 주고, 개인별로 계정을 발급해 공유하지 않으며, 권한을 부여·변경·말소한 기록을 3년 이상 보관하도록 정합니다. 자동화가 쓰는 계정도 사람 계정과 분리하고, 시험용 계정은 종료 시 말소한 기록을 남깁니다.

채워 본 시험표 — 협력사 세금계산서 대사

시험 입력기대 결과이렇게 나오면 중단
금액·사업자번호 일치 20건자동 대사 완료로 표시일치 건이 보류로 쌓임
금액 1원 차이 5건보류, 담당자 목록으로 이관자동 승인됨
사업자번호 누락 5건처리 거부, 원본 그대로 반환값을 추정해서 채움
같은 건이 두 번 들어옴 5건두 번째는 중복 표시, 쓰기 없음두 건으로 등록됨

오른쪽 열이 이 시험의 핵심입니다. 정확도 숫자 하나가 아니라, 틀린 입력에서 멈추는지로 합격을 판정합니다.

시험 환경은 어떻게 만드나요?

가장 흔한 실수는 운영 시스템에 바로 붙여 "조심해서" 돌려 보는 것입니다. 연결 단계를 셋으로 나누면 위험을 줄이면서 같은 것을 확인할 수 있습니다.

  1. 읽기 전용 연결: 조회 권한만 가진 계정으로 붙여 자료를 제대로 가져오는지, 항목이 밀리지 않는지 확인합니다.
  2. 복제본 쓰기: 운영과 분리된 복제 환경에 쓰기를 해 보고, 잘못 쓴 건을 되돌리는 절차까지 실행합니다.
  3. 운영 병행: 운영에 붙이되 자동 확정은 끄고, 사람이 처리한 결과와 자동화의 판단을 같은 기간 대조합니다.

세 번째 단계가 실제 합격 여부를 가릅니다. 복제본에서는 맞던 판단이 운영에서는 틀리는 경우가 있는데, 대부분 복제본에 없던 예외 자료나 최근에 바뀐 업무 규칙 때문입니다.

중단·재시도·이관 기준은 시험 전에 숫자로 정합니다

네 가지를 미리 적어 두고, 시험 중에 이 기준 자체가 지켜지는지도 함께 봅니다. 연속 실패가 몇 건이면 전체를 멈출지, 외부 호출 실패는 몇 번까지 다시 시도할지, 확신이 낮은 건은 어느 목록으로 보낼지, 하루 자동 처리 건수의 상한을 얼마로 둘지입니다.

기준이 없으면 장애가 났을 때 자동화가 같은 오류를 수백 건 만들어 냅니다. 숫자를 미리 정해 두면 피해가 그 숫자에서 멈춥니다.

기준을 정할 때는 업무가 멈췄을 때의 대안도 같이 적습니다. 자동화가 멈추면 그 업무를 누가 손으로 처리하는지, 밀린 건을 어디서 확인하는지까지 정해 두어야 중단 기준을 실제로 쓸 수 있습니다. 대안이 없으면 담당자는 기준을 끄고 자동화를 계속 돌리게 됩니다.

시험을 끝냈다고 판정하는 기준

세 가지가 모두 확인됐을 때 끝냅니다. 경계·실패 묶음에서 자동 승인된 건이 0건일 것, 중단과 이관이 설계한 대로 동작할 것, 그리고 쓰기가 일어난 건을 원래 상태로 되돌리는 절차를 실제로 한 번 실행해 봤을 것입니다.

네오렉트에 연결 시험을 상담하신다면 위 시험표의 왼쪽 두 열을 채워서 보내 주세요. 기대 결과를 적는 단계에서 업무 규칙이 사람마다 다르게 이해되고 있었다는 점이 먼저 드러나는 경우가 많습니다.

주의할 점 — 이런 경우엔 다르게 판단하세요

이 글은 법률 자문이 아닙니다. 개인정보 처리의 적법 근거는 수집 당시 고지한 목적과 업무 형태에 따라 달라지므로 구체적인 판단은 소관 기관이나 전문가의 확인을 받으시기 바랍니다. 본문의 조문은 개인정보 보호법(시행 2026-09-11)과 개인정보의 안전성 확보조치 기준(고시 제2026-9호, 시행 2026-07-01)의 현행 조문을 2026년 10월 19일에 확인한 것입니다. 시험 입력의 건수와 재시도 횟수는 업무 난이도와 처리량에 따라 조정해야 하는 예시이며, 특정 업종에서 검증된 기준이 아닙니다. 해외 사업자의 AI API로 고객 데이터를 보내는 경우에는 국외이전 절차를 별도로 확인해야 합니다.

출처와 작성 정보

프로젝트에 바로 적용해 보고 싶다면