아니다. 일관되게 잘못된 결과를 내는 공정도 안정적일 수 있다.
관리 한계는 공정의 관측 변동을 바탕으로 설정하고, 규격 한계는 고객·설계·계약의 허용 조건에서 온다. 공정이 통제 상태인지와 규격에 적합한지는 다른 판단이다. 일반 원인과 특별 원인도 구분해야 한다. 모든 흔들림에 즉시 공정을 바꾸면 오히려 변동을 키울 수 있다.
표본 검사는 전체를 다 보지 않고 판단하므로 표본 설계·규모·대표성과 오류 위험이 중요하다. 속성 표본은 적합·부적합 같은 분류를, 변수 측정은 길이·시간 같은 수치를 다룬다. 정확도와 정밀도, 오차 허용과 관리 경계를 구분한다.
표본에서 관측한 차이에는 불확실성이 있다. 두 비율 차이의 신뢰구간을 통해 가능한 효과 범위를 보고, 표본 모집·무작위 배정·반복 측정·자료 품질과 사업상 필요한 최소 효과를 구분한다. 아래 창작 예제는 제품 실험의 5%p 차이를 표본 크기별로 비교한다.
생각을 정리하는 순서
- 1경계가 자료에서 왔는지 요구에서 왔는지 본다
- 2안정성과 적합성을 나눠 판정한다
- 3원인 유형과 표본의 한계를 확인한다
비교해서 이해하기
| 개념 | 설명 | 확인할 점 |
|---|---|---|
| 규격 한계 · Specification limits | 고객·설계 등이 정한 허용 범위. | 공정에서 계산한 관리 한계와 다르다. |
| 특별 원인 · Special cause | 통상 공정 변동으로 설명하기 어려운 변화 원인. | 적절한 조사와 대응이 필요하다. |
| 일반 원인 · Common cause | 현재 공정 시스템에 내재한 통상 변동. | 개별 작업자만 지적해 해결되지 않을 수 있다. |
| 정확도 · Accuracy | 측정·결과가 참값 또는 목표에 가까운 정도. | 값들이 서로 모여 있는 정밀도와 다르다. |
| 정밀도 · Precision | 반복 측정값이 서로 가까이 모이는 정도. | 모두 같은 방향으로 틀려도 정밀할 수 있다. |
| 표본 추출 · Sampling | 일부를 관측해 전체에 관한 판단을 하는 방법. | 확률·대표성과 판정 오류를 고려한다. |
예제로 따라가기
가상 예제: 목표 응답 2초 이하, 실제 공정은 안정적으로 3초 부근이다.
통계적 안정성이 있어도 고객 규격은 실패한다.
관리 경계를 목표 2초로 억지 이동하는 대신 공정·설계의 원인을 개선한다.
같은 5%p 차이인데, 결론도 같을까요?
표본에서 본 차이는 추정값입니다. 비교 대상을 공정하게 구성했는지와 추정의 불확실성을 함께 봐야 합니다. 여기서는 수업68의 완료율 60%→65%를 유지한 세 가지 창작 표본으로 원리를 비교합니다.
누구를 골랐나요?
모집·표집은 결과를 누구에게 일반화할지와 연결됩니다. 열성 사용자만 모집한 자료를 전체 사용자로 넓히면 선택 편향이 생길 수 있습니다. 큰 표본도 이런 편향을 자동으로 없애지는 않습니다.
어떻게 나눴나요?
무작위 배정은 실험 안에서 A/B를 비교하는 설계입니다. 무작위 표집과 목적이 다릅니다. 팀 구성원이 서로 영향을 주면 개인 대신 팀 단위를 검토하는 등 배정 단위와 분석 단위를 맞춰야 합니다.
무엇을 한 번 셌나요?
같은 사용자의 클릭 100건을 독립 사용자 100명처럼 세지 않습니다. 이 예제는 각 사용자의 7일 내 완료 여부를 한 번만 집계하고 집단 간 독립을 가정합니다. 실제 로그는 중복·누락·노출 상태도 확인합니다.
표본만 바꾸고, 관측률은 같게 둔 학습용 비교
각 집단의 A 완료율=60%, B 완료율=65%, 차이 B−A=+5%p입니다. 아래는 서로 다른 세 가지 가상 연구입니다. 실제로 표본을 늘렸을 때 완료율이 그대로 유지된다는 예측이나 권장 표본 수가 아닙니다.
회색 파선: 차이 0 · 금색 점선: 사전에 정했다고 가정한 실무 기준 +2%p
모든 행은 같은 −10~+20%p 축을 사용합니다. n은 집단당 사용자 수입니다.
집단당 100명
A 60/100명 · B 65/100명
-8.40 ~ +18.40%p0도 포함합니다. 양의 효과가 확정됐다고 읽지 않습니다.
집단당 1,000명
A 600/1,000명 · B 650/1,000명
+0.76 ~ +9.24%p0보다는 높은 구간이지만, 실무 기준 2%p 아래도 포함합니다.
집단당 10,000명
A 6,000/10,000명 · B 6,500/10,000명
+3.66 ~ +6.34%p이 근사 구간 전체가 실무 기준 2%p보다 높습니다. 다른 조건도 검토합니다.
집단당 1,000명 예제를 직접 계산하기
관측 비율 p̂A=600/1000=0.60, p̂B=650/1000=0.65
차이 d=p̂B−p̂A=0.05=5%p
SE=√[0.60×0.40/1000 + 0.65×0.35/1000]
≈ 0.02162 = 2.162%p
근사 95% 구간=d ± 1.95996×SE
≈ 0.05 ± 0.04238
≈ +0.76 ~ +9.24%p
해석을 세 번 나누면, 판단이 명확해져요.
- 방향과 불확실성: 구간이 0을 포함하는지와 가능한 효과 범위를 봅니다. 0을 포함한다고 “차이가 없다”가 증명된 것은 아닙니다.
- 실무적으로 충분한가: 집단당 1,000명 구간은 +0.76~+9.24%p입니다. 이 예제의 최소 실무 기준 +2%p를 확실히 넘겼다고 주장하기 어렵습니다. 2%p는 창작한 사업 판단 기준이며 보편 기준이 아닙니다.
- 출시 조건을 지켰는가: 수업68에서는 오류 사용자율 3.5%가 사전 보류 기준 2%를 넘었습니다. 완료율의 긍정적 차이만으로 확대하지 않습니다. 자료 품질·위험·비용·운영 책임도 함께 봅니다.
95%와 p값을 이렇게 읽지 않아요.
95%의 의미
같은 절차를 같은 조건에서 반복해 구간을 만들 때, 유효한 모형과 방법 아래 그 절차의 구간이 고정된 참 차이를 포함하는 비율이 약 95%라는 뜻입니다. 이번에 계산한 특정 구간 안에 참값이 있을 확률이 95%라고 바로 읽는 빈도주의 해석은 아닙니다. 근사법의 피복률 한계도 남습니다.
p값의 의미
정한 통계 모형·귀무가설 아래 관측만큼 또는 더 극단적인 통계량이 나올 확률을 말합니다. 가설이 참일 확률이나 개선 효과의 크기·경제적 중요도를 뜻하지 않습니다. 여기서는 p값을 계산하지 않습니다.
표본 수와 검정력
표본 계획에는 검출하려는 효과, 오류 허용, 원하는 검정력, 기준 비율, 배정 단위와 이탈 등이 필요합니다. 검정력은 정한 대립 효과가 실제 있을 때 해당 검정이 귀무가설을 기각할 확률입니다. 표본이 크다는 말만으로 실험 계획을 대신하지 않습니다.
오답 진단 · 같은 사람의 요청을 10배로 늘리면 표본도 10배인가요?
독립 사용자 수가 그대로라면 이 예제의 n은 늘지 않습니다. 반복 요청은 같은 사용자의 특성을 공유합니다. 사용자·세션·요청 중 어떤 단위를 추정하려는지 정하고, 반복·군집 상관에 맞는 분석이 필요합니다.
결과가 좋아지는 날에만 실험을 끝내면 되나요?
결과를 반복 확인해 유리할 때 끝내는 규칙에는 고정 표본 계획의 95% 해석을 그대로 보장할 수 없습니다. 사전에 종료·분석 규칙을 정하고 필요하면 적절한 순차 분석을 설계합니다. 유리한 지표·하위집단만 선택해 보고하지 않습니다.
PM의 결정 기록에는 무엇을 남길까요?
가설·배정 단위·대상과 기간·분모·관측 차이·추정 방법과 구간·자료 품질·가드레일·실무 기준을 남깁니다. 계속·수정·보류 중 선택한 이유, 책임자, 다음 검증과 계획 변경도 연결합니다. 표본을 늘리기 전에 실제 질문과 비용·편향의 원인을 확인합니다.
제품 발견·가드레일 사례 →편익과 지표 →AI 검증·표본 대표성 →
출처·판본·계산의 한계
- NIST Dataplot · Difference of Proportions Confidence Interval
두 비율 차이의 Wald 근사식·피복률 한계와 조정 Wald 등 대안. 2001-06-05 공개·2023-12-11 최종 갱신, 2026-10-27 원문 확인. 표본·수치·해설은 자체 제작.
- ASA · Statement on Statistical Significance and P-Values
p값은 가설이 참일 확률이나 효과 크기가 아니며 임계값 하나로 사업·정책 결정을 하지 않는다는 원칙. 2016-03-07 발표, 2026-10-27 원문 확인.
무작위화 단위는 Microsoft Research의 실험 설계 지침(수업68 출처)과 연결합니다. 이 심화 자료는 통계 기초의 독립 설명이며 공식 PMP 시험 출제 비중·기출 또는 실험 설계 전 과정을 대체하지 않습니다. 그래프·표본·실무 기준은 창작입니다.
반복 측정이 모두 3초 근처로 모이지만 목표는 2초 이하다. 판단은?
내 말로 정리하기
정확하지만 정밀하지 않은 측정과 그 반대의 예를 들어 보자.
이 수업의 용어
- Specification limits
- 고객·설계 등이 정한 허용 범위.
- Special cause
- 통상 공정 변동으로 설명하기 어려운 변화 원인.
- Common cause
- 현재 공정 시스템에 내재한 통상 변동.
- Accuracy
- 측정·결과가 참값 또는 목표에 가까운 정도.
- Precision
- 반복 측정값이 서로 가까이 모이는 정도.
- Sampling
- 일부를 관측해 전체에 관한 판단을 하는 방법.