바로 답변
그 업무를 원래 하던 담당자가 검수합니다. 개시 후 2~3주는 전수로 보고, 안정된 뒤에는 무작위 표본과 조건 표본을 함께 보되 사람의 권리나 금액 확정이 걸린 건은 전수를 유지합니다. 오류는 입력 자료 문제, 업무 규칙 차이, 판단 오류, 연동 실패 가운데 하나로 분류해 접수해야 고칠 자리가 드러납니다. 고영향 인공지능에 해당하면 사람의 관리·감독과 그 조치를 확인할 수 있는 문서가 법에 따른 이행 사항이 됩니다.
핵심 요약
- 검수는 업무 규칙을 아는 담당자가 합니다. 대신 담당자의 일이 처리에서 확인과 예외 처리로 바뀐다는 점을 업무 분장에 적습니다.
- 표본 비율은 하나로 고정하지 않고 개시 구간, 안정 구간, 고위험 건으로 나눠 정합니다.
- 오류를 네 가지 유형으로 나눠 접수하면 양식, 규칙 문서, 판단 기준, 연동 설정 가운데 어디를 고칠지가 바로 나옵니다.
- 오류로 들어온 건을 입력과 기대 결과로 보관해 두고 설정을 바꿀 때마다 다시 통과시켜 재발을 확인합니다.
- 「인공지능 기본법」 제34조제1항은 고영향 인공지능에 대한 사람의 관리·감독과 조치 내용을 확인할 수 있는 문서의 작성·보관을 요구합니다.

운영 중 검수는 시험과 무엇이 다른가요?
연결 시험에서는 정해 둔 입력에 기대한 결과가 나오는지를 전수로 봅니다. 운영이 시작되면 입력이 매일 새로 들어오므로 전수 확인은 오래가지 못합니다. 그래서 운영 검수는 '모든 건을 본다'에서 '무엇을 얼마나 볼지 정해 둔다'로 바뀝니다.
정해 둘 것은 세 가지입니다. 누가 보는지, 어느 건을 보는지, 틀린 건을 어디로 보내는지입니다. 이 세 가지가 없으면 검수는 바쁜 주에 가장 먼저 생략됩니다.
검수는 누가 하나요?
그 업무를 원래 하던 담당자가 봅니다. 결과가 틀렸는지 아는 사람은 업무 규칙을 아는 사람이고, 검수 담당을 따로 두면 그 사람이 다시 업무 담당자에게 물어보게 됩니다.
대신 담당자의 일은 '처리'에서 '확인과 예외 처리'로 바뀝니다. 이 변화를 업무 분장에 적지 않으면 담당자는 자동화 결과를 받아 두고 자기 방식으로 한 번 더 처리합니다. 두 번 하는 상태가 생기면 자동화의 효과는 측정되지 않고 부담만 늘어납니다.
표본은 얼마나 보나요?
하나의 비율로 고정하지 말고 구간을 나눕니다. 아래는 가정을 적은 예시이며, 실제 비율은 오류가 났을 때의 영향과 월 처리 건수로 정합니다.
- 개시 후 2~3주 — 전수로 봅니다. 이 기간의 목적은 품질 측정이 아니라 정해 둔 규칙이 실제 자료와 맞는지 보는 것입니다.
- 안정 구간 — 무작위 표본과 조건 표본을 함께 봅니다. 무작위는 전체 품질을, 조건 표본은 금액이 큰 건과 신규 거래처, 자동화가 확신이 낮다고 표시한 건을 봅니다.
- 고위험 건 — 비율을 낮추지 않고 전수를 유지합니다. 사람의 권리나 금액 확정이 걸린 건이 여기에 들어갑니다.
비율보다 중요한 것은 표본에서 오류가 나왔을 때의 처리입니다. 표본 1건이 틀렸다면 그 건만 고치지 말고 같은 조건의 건을 다시 뽑아 봐야 합니다. 한 건의 오류는 대개 혼자 오지 않습니다.
오류는 네 가지로 나눠 봅니다
'자동화가 틀렸다'로 묶으면 대응을 정할 수 없습니다. 오류를 접수할 때 아래 네 칸 중 하나를 고르게 해 두면 고칠 자리가 바로 나옵니다.
| 오류 유형 | 드러나는 모습 | 고치는 자리 |
|---|---|---|
| 입력 자료 문제 | 스캔 품질이 나쁘거나 항목이 비어 있음 | 앞 단계의 양식과 수집 방법 |
| 업무 규칙 차이 | 담당자마다 맞다고 보는 결과가 다름 | 규칙 문서와 기대 결과표 |
| 판단 오류 | 자료는 맞는데 결과가 틀림 | 판단 기준과 모델·프롬프트 설정 |
| 연동 실패 | 결과는 맞는데 저장·전송이 안 됨 | 재시도와 이관 설정 |
네 칸의 비중은 시간이 지나며 바뀝니다. 처음에는 업무 규칙 차이가 가장 많고, 그 비중이 줄어든 뒤에도 입력 자료 문제는 남는 것이 보통입니다. 비중이 어디에 쏠리는지가 다음에 손댈 곳을 알려 줍니다.
분류는 접수하는 사람이 고르게 하되, 애매하면 '판단 오류'로 두지 말고 비워 두게 하십시오. 애매한 건이 모이는 지점이 대개 규칙이 정해지지 않은 자리입니다.
고친 뒤 같은 오류가 다시 나지 않는지 어떻게 보나요?
오류로 들어온 건을 입력과 기대 결과의 형태로 보관해 두고, 규칙이나 설정을 바꿀 때마다 그 묶음을 다시 통과시킵니다. 이 묶음이 없으면 한 가지를 고치면서 다른 것을 되돌리는 변경을 알아차리지 못합니다.
미국 국립표준기술연구소의 인공지능 위험관리 프레임워크 1.0은 운영 후 감시 계획에 이용자 의견의 수집과 평가, 이의 제기와 결과 무효화, 사고 대응과 복구, 변경 관리를 포함하도록 제시하고(Manage 4.1), 사고와 오류를 관련 당사자에게 알리고 추적·대응·복구 과정을 문서로 남기도록 적고 있습니다(Manage 4.3). 의도한 용도와 다른 결과를 내는 시스템을 중지하거나 해제할 책임자를 지정해 두라는 항목도 있습니다(Manage 2.4). 의무가 아닌 권고 문서이므로 그대로 따를 필요는 없지만, 우리 운영 절차에서 빠진 칸을 찾는 목록으로 쓰기에 좋습니다.
사람의 감독을 문서로 남겨야 하는 경우
자동화가 사람의 권리와 의무에 중대한 영향을 주는 판단에 쓰이면 성격이 달라집니다. 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」 제34조제1항은 고영향 인공지능이나 이를 이용한 제품·서비스를 제공하는 사업자에게 위험관리방안의 수립·운영, 설명 방안의 수립·시행, 이용자 보호 방안의 수립·운영, 고영향 인공지능에 대한 사람의 관리·감독, 그리고 조치의 내용을 확인할 수 있는 문서의 작성과 보관을 요구합니다.
이 경우 검수는 운영 편의가 아니라 이행해야 할 사항이 되고, 누가 언제 무엇을 확인했는지가 남는 형태여야 합니다. 우리 자동화가 고영향에 해당하는지 판정하는 순서는 AI 기본법 고지·표시 의무를 다룬 글에 정리해 두었습니다.
이번 달에 정할 한 가지
검수 담당과 표본 기준을 적기 전에, 오류를 받는 창구를 하나로 정하십시오. 담당자가 메신저로 알려 주는 상태에서는 오류 유형도 재발 여부도 쌓이지 않습니다.
네오렉트에 운영 검수를 상담하신다면 지금 돌고 있는 자동화의 월 처리 건수와 최근 오류 다섯 건을 보내 주세요. 다섯 건이 위 표의 어느 칸에 모이는지에 따라 입력 양식부터 고칠지, 규칙 문서부터 고칠지가 갈립니다.
주의할 점 — 이런 경우엔 다르게 판단하세요
이 글은 일반적인 정보 제공이며 법률 자문이 아닙니다. 고영향 인공지능 해당 여부와 그에 따르는 책무의 범위는 사업 내용에 따라 달라지므로 구체적인 판단은 전문가의 검토를 받으시기 바랍니다. 표본 구간과 비율은 설명을 위한 예시이며 측정된 기준이 아닙니다. 인용한 NIST 인공지능 위험관리 프레임워크는 의무가 아닌 권고 문서이고 1.0의 개정이 진행 중이라고 안내되어 있으므로, 인용 내용은 1.0 기준입니다.
출처와 작성 정보
함께 보면 좋은 콘텐츠
- 가이드기존 시스템과 연결하는 AI 자동화는 어떻게 시험하나요? →사내 시스템에 AI 자동화를 연결하려는 담당자가 운영에 올리기 전 어떤 입력으로 무엇을 확인해야 하는지 다룹니다. 시험 입력 구성, 실제 고객 자료 사용 판단, 중단·재시도·이관 기준과 종료 조건을 정리합니다.
- 가이드규칙 자동화·RPA·AI 자동화는 어떻게 다른가요? →세 자동화 방식을 조건이 확정됐는지, 입력이 일정한지, 틀렸을 때 어떻게 드러나는지로 구분합니다. 같은 견적 요청 접수 업무에 세 방식을 넣어 보며 어느 구간에 무엇이 맞는지와 비용이 쌓이는 자리를 보여 드립니다.
- 가이드사내 AI 자동화에도 AI 기본법 고지·표시 의무가 붙나요? →AI 기본법은 2026년 1월 22일부터 시행 중이고, 시행령이 고지·표시 방법과 적용 예외를 정해 두었습니다. 사내 전용인지 외부 제공인지, 어느 영역에 쓰는지로 의무가 갈리는 판정표와 고영향에 해당할 때 준비할 문서를 정리했습니다.