표현의 자신감과 검증된 정확도는 다르다. 사용 목적·자료·검증·책임을 확인한다.
AI는 초안·분류·요약·패턴 탐색에 도움을 줄 수 있지만 누락·환각·편향·정보 노출 위험을 갖는다. 입력의 최신성·대표성·일관성과 데이터 접근 권한을 확인한다. 자동화가 시간을 줄여도 의사결정의 책임이 사라지지는 않는다.
중요 의사결정에는 원본·근거·검토 책임·오류 시 대응을 설계한다. 정확도를 말할 때는 비교 기준과 검증 집합, 오탐·미탐의 영향도 본다. 회사·고객 정보를 허용되지 않은 도구로 보내 결과를 좋게 만드는 방식은 적절한 검증이 아니다.
혼동행렬의 TP·FN·FP·TN으로 정확도·재현율·분류 정밀도의 분모를 구분하고, 미탐 영향과 경보 검토량을 함께 판단한다. 아래 가상 예제는 99% 정확도의 함정과 사람의 검토 여력, 자료·버전·운영 통제를 연결한다. 생성형 AI의 사실 충실성·출처 검증은 분류 지표와 따로 평가한다.
생각을 정리하는 순서
- 1사용 목적·허용 자료를 정한다
- 2출처·품질·오류 영향을 검증한다
- 3사람의 승인·감시·대응을 연결한다
비교해서 이해하기
| 개념 | 설명 | 확인할 점 |
|---|---|---|
| 자료 품질 · Data quality | 정확성·완전성·최신성·일관성·대표성 등 사용 목적에 맞는 자료 상태. | 자료 양이 많다는 것과 다르다. |
| 편향 · Bias | 특정 집단·조건에 체계적으로 치우친 자료나 판단. | 전체 평균 성능이 좋아도 하위 집단 오류를 가릴 수 있다. |
| 오탐·미탐 · False positive / negative | 없는 문제를 있다고 하거나 실제 문제를 놓치는 오류. | 오류의 업무 영향이 서로 다를 수 있다. |
| 출처 추적 · Provenance | 자료와 결과의 출처·가공·버전을 따라갈 수 있는 정보. | 문장에 링크가 있다고 사실을 자동 보장하지 않는다. |
| 사람의 최종 책임 · Human accountability | 중요한 판단의 검토·승인·대응 책임을 사람이 맡기. | AI 사용 표시는 검토를 대신하지 않는다. |
예제로 따라가기
가상 예제: AI가 위험 100건 중 90건을 잘 분류했다고 한다.
정답 기준·표본 대표성과 치명적 위험을 놓친 건수를 확인한다.
경미한 위험 90건은 맞추고 치명적 10건을 모두 놓쳤다면 전체 90%만으로 안전하다고 볼 수 없다.
99% 정확해도, 필요한 위험을 전부 놓칠 수 있어요.
가상 프로젝트에서 AI가 일정·의존성 메모를 보고 긴급 검토 대상을 표시한다고 해 봅시다. 목적은 사람의 검토 순서를 돕는 것입니다. AI의 무경보를 “문제없음”으로 자동 승인하는 권한은 주지 않습니다.
비교의 분모와 기준부터 맞춰요.
별도의 검증 메모 1,000건 중 사전에 합의한 기준으로 긴급 검토 대상이 10건, 아닌 것이 990건이라고 가정합니다. 분야 담당자가 독립 검토·이견 조정으로 기준 레이블을 정했다고 가정하며, 레이블의 오류·모호함과 대상 대표성은 실제로 확인해야 합니다. 세 후보를 같은 자료·같은 기준으로 비교합니다.
검증·선택용 자료와 마지막 평가용 자료를 구분하고, 동일 프로젝트·중복 문서·미래 정보가 경계를 넘어 성능을 부풀리지 않게 점검합니다. 아래 표본 크기와 구성은 설명을 위한 것이며 실제 도입에 충분하다는 뜻은 아닙니다.
B의 혼동행렬 · 기준 레이블과 AI 경보를 교차하기
| 기준 레이블 | AI 경보 있음 | AI 경보 없음 |
|---|---|---|
| 긴급 대상 10건 | TP 8맞게 발견 | FN 2놓친 긴급 대상 |
| 긴급 아님 990건 | FP 42불필요한 경보 | TN 948맞게 무경보 |
정확도 · Accuracy
(TP+TN) ÷ 전체전체에서 맞은 비율. 다수인 비긴급을 잘 맞혀 긴급 누락을 가릴 수 있다.
재현율 · Recall
TP ÷ (TP+FN)기준상 실제 긴급 대상 중 얼마나 발견했나? 누락 위험과 연결한다.
분류 정밀도 · Precision
TP ÷ (TP+FP)경보를 낸 것 중 얼마나 실제 긴급인가? 검토 효율과 연결한다.
이 절의 분류 정밀도는 계측에서 반복 측정의 흩어짐을 말하는 정밀도와 맥락이 다릅니다. 모든 지표는 정한 분류 기준·운영 지점에 의존합니다.
같은 1,000건으로 세 후보를 비교하면
아무 경보도 내지 않는 기준
TP 0 · FN 10 · FP 0 · TN 990
- 정확도
- 99%
- 재현율
- 0%
- 경보 적중률
- 계산 불가 (0/0)
- 경보 건수
- 0건
- 검증셋 미탐
- 10건
- 하루 검토 추정
- 0분
미탐 조건 미충족 · 검토량 조건 충족
더 많은 대상을 경보하는 후보
TP 8 · FN 2 · FP 42 · TN 948
- 정확도
- 95.6%
- 재현율
- 80%
- 경보 적중률
- 16%
- 경보 건수
- 50건
- 검증셋 미탐
- 2건
- 하루 검토 추정
- 200분
미탐 조건 충족 · 검토량 조건 미충족
경보를 더 적게 내는 후보
TP 7 · FN 3 · FP 13 · TN 977
- 정확도
- 98.4%
- 재현율
- 70%
- 경보 적중률
- 35%
- 경보 건수
- 20건
- 검증셋 미탐
- 3건
- 하루 검토 추정
- 80분
미탐 조건 미충족 · 검토량 조건 충족
B의 숫자를 직접 계산해 볼까요?
정확도=(8+948)/1000=95.6%
재현율=8/(8+2)=80% · 경보 적중률=8/(8+42)=16%
오탐률 FPR=42/(42+948)≈4.24%
경보 중 틀린 비율=42/(8+42)=84%
분모가 다르므로 두 비율을 혼동하지 않습니다.
경보 50건 × 건당 검토 4분 = 200분
성능과 검토 여력을 동시에 만족할까요?
사례의 사전 비교 조건: 같은 검증셋에서 미탐 최대 2건, 예상 경보 검토 120분/일 이하입니다. 실제 도입에는 이 두 조건 외에도 사용 목적·위험·표본 불확실성·필수 통제의 검토가 필요합니다.
하루 1,000건이 이 검증셋과 같은 경보 비율을 갖고, 모든 경보를 평균 4분씩 검토한다고 가정하면 B는 200분, C는 80분입니다. 검토 인력·처리시간과 입력 분포가 바뀌면 이 부하 예측도 달라집니다.
B: 미탐 2건 → 조건 충족 · 200분 > 120분 → 여력 초과
C: 80분 ≤ 120분 → 여력 내 · 미탐 3건 > 2건 → 누락 조건 미충족
이 가정에서는 B와 C 모두 곧바로 운영 확대할 후보가 아닙니다. 경보 기준·자료·업무 흐름·검토 역량·비AI 대안을 다시 비교합니다. 결과를 본 뒤 편한 기준으로 바꾸는 대신 결정 이유와 새 검증 계획을 남깁니다.
120분은 사례의 경보 검토 여력이며 모든 운영 업무를 처리할 총 여력이 아닙니다. 무경보 표본의 별도 점검·이의 제기·후속 조치에도 자원이 필요합니다. 사람이 검토한다는 사실만으로 모든 오류가 사라지지는 않습니다.
생성형 AI의 요약·답변은 다른 평가도 필요해요.
원문과 주장의 일치
분류 재현율만으로 요약의 사실 충실성을 평가하지 않습니다. 원문에 없는 날짜·담당자·위험을 덧붙였는지, 중요한 예외를 빠뜨렸는지, 출처가 실제 주장을 뒷받침하는지 대조합니다.
보류와 에스컬레이션
필수 정보가 없거나 자료가 충돌할 때 확인 요청·보류·사람에게 전달하는 동작을 설계합니다. 유창한 “95% 확신” 문장은 검증된 확률이나 승인 근거를 대신하지 않습니다.
시스템 전체와 버전
모델·프롬프트·검색 자료·도구·권한이 함께 결과를 만듭니다. 허용 자료와 버전을 기록하고 변경 후 대표·경계·실패 사례로 다시 평가합니다. 사실성뿐 아니라 정보 접근과 부적절한 실행도 별도 확인합니다.
PM이 운영 판단에 연결할 기록
- 사용 범위와 책임
지원할 판단·금지된 자동 결정·허용 자료·승인권자와 검토자를 합의합니다. 모델 제공자의 점수와 실제 업무 적합성을 구분합니다.
- 평가 계획과 수용 증거
정답 기준·자료 출처·분할·하위 집단·관측 단위·지표·오류 영향·보류 기준을 정합니다. 모형만이 아니라 사람이 쓰는 흐름에서 누락·경보 피로·처리 지연을 관찰합니다.
- 단계적 검증과 대응
기존 판단에 영향을 주지 않는 비교, 제한된 사용 등 목적에 맞는 검증을 선택합니다. 확대 조건·문제 보고·중지·대체 절차와 책임을 실제로 확인합니다.
- 운영 감시와 변경
버전·입력 분포·오류 심각도·검토 대기·이의 제기·사람이 뒤집은 판단을 기록합니다. 품질 저하·사용 범위 이탈 시 중지·재평가·복구 결정을 연결합니다.
비채점 회상·적용 연습
경보 50건 중 진짜가 8건이니 재현율도 16%인가요?
8/50=16%는 경보 적중률입니다. 재현율은 실제 긴급 10건 중 발견 8건이므로 80%입니다. 경보 집단과 기준상 긴급 집단의 분모를 구분합니다.
검토 120분이면 B의 경보 중 30건만 보면 되나요?
50건×4분=200분인데 120분으로 모두 처리할 수는 없습니다. 30건만 보고 나머지를 조용히 미확인 상태로 남기면 검증한 업무 흐름과 달라집니다. 우선순위·대기·지원 여력·미검토 처리·중지 기준을 설계하고 전체 흐름을 검증해야 합니다.
모델이 갱신됐지만 이름이 같으면 평가도 재사용할까요?
모델 버전·설정·검색 자료·도구 등의 변화를 확인하고 영향에 맞게 재평가합니다. 이전 근거를 현재 시스템의 성능 보장으로 자동 승계하지 않습니다.
전체 정확도가 높으면 하위 집단 점검은 생략해도 될까요?
문서 유형·언어·업무 조건 등 실제 영향이 다른 집단의 성능과 오류를 확인합니다. 표본 수·레이블 품질·불확실성을 함께 보고 평균에 가려진 실패를 찾습니다. 작은 하위 집단 수치도 확정 사실처럼 일반화하지 않습니다.
표본과 불확실성 →가설·가드레일 →운영 전환·잔여 책임 →
출처·판본·현재 상태 확인
- Google ML Crash Course · Accuracy, recall, precision
정확도·재현율·분류 정밀도·오탐률의 정의와 불균형 자료·0 분모의 한계 참고. 원문 최초 발행일은 확인되지 않음. 페이지 최종 갱신 2026-01-12 UTC, 2026-10-27 원문 확인. 아래 수치·사례는 창작.
- NIST AI RMF 1.0 · Core
사용 맥락·시험 자료·운영 유사 조건의 검증·감시·사람의 감독·대응을 참고. 2023년 1.0 판의 발췌. 2026-10-27 원문은 개정 작업 진행을 안내하며, 이를 확정 개정판 발행으로 해석하지 않음. 순서가 고정된 일회성 체크리스트가 아님.
- NIST AI 600-1 · Generative AI Profile
환각·사람의 과신·생성 결과의 출처 검증·배포 전과 운영 중 평가 참고. 문서 July 2024·발행 2024-07-26, 소개 페이지 갱신 2026-04-08은 PDF 개정일과 구분. 2026-10-27 소개 페이지와 원문 §2.2·MS-2.5-003 등을 확인.
검토한 July 2024 원문 PDF
90% 정확하지만 치명적 위험을 전부 놓치는 AI 분류기라면?
내 말로 정리하기
AI 요약·AI 예측·AI 승인에서 사람의 책임이 다른 부분을 설명해 보자.
이 수업의 용어
- Data quality
- 정확성·완전성·최신성·일관성·대표성 등 사용 목적에 맞는 자료 상태.
- Bias
- 특정 집단·조건에 체계적으로 치우친 자료나 판단.
- False positive / negative
- 없는 문제를 있다고 하거나 실제 문제를 놓치는 오류.
- Provenance
- 자료와 결과의 출처·가공·버전을 따라갈 수 있는 정보.
- Human accountability
- 중요한 판단의 검토·승인·대응 책임을 사람이 맡기.