가설검정 고르는 법: 어떤 검정을 써야 할까

가설검정이 답하는 질문

가설검정은 눈에 보이는 차이가 우연일 수 있는지를 묻는 방법입니다. 귀무가설(차이 없음)이 맞다고 가정했을 때 지금 같은 데이터가 나올 확률이 p값입니다. p값이 정한 기준(보통 0.05)보다 작으면 우연으로 보기 어렵다고 판단합니다.

검정 이름이 많아 어렵게 느껴지지만, 고르는 기준은 세 가지로 줄어듭니다. 무엇을 비교하는가(평균, 비율, 산포), 데이터가 연속형인가 범주형인가, 몇 개 집단을 비교하는가입니다.

연속형 데이터: 평균 비교

집단이 하나이고 기준값과 비교하려면 단일 표본 t검정을 씁니다. 두 집단이 서로 독립이면(예: A 라인과 B 라인) 2표본 t검정, 같은 대상의 전후 값이면(예: 같은 설비의 개선 전후) 대응 t검정을 씁니다. 대응 자료를 독립 자료로 검정하면 검정력이 크게 떨어지므로 구분이 중요합니다.

집단이 셋 이상이면 t검정을 여러 번 하지 않고 일원 분산분석(ANOVA)을 씁니다. 반복하면 우연히 유의해질 확률이 누적되기 때문입니다. ANOVA가 유의하면 사후 비교(Tukey 등)로 어느 집단이 다른지 찾습니다. 요인이 둘 이상이면 이원 분산분석을 씁니다.

정규성을 못 믿을 때

t검정과 ANOVA는 정규성을 가정합니다. 표본이 충분히 크면 어느 정도 견디지만, 표본이 작고 분포가 심하게 치우쳐 있으면 비모수 검정을 씁니다. 단일·대응 표본은 윌콕슨 부호순위, 두 독립 집단은 만-휘트니, 셋 이상은 크러스칼-왈리스가 대응합니다. 순위를 쓰므로 이상치에 덜 민감하다는 장점이 있지만, 정규일 때는 검정력이 조금 낮습니다.

범주형 데이터: 비율 비교

불량/양품처럼 두 값 중 하나인 데이터는 비율로 비교합니다. 기준 비율과 비교하면 단일 비율 검정, 두 집단의 불량률을 비교하면 2표본 비율 검정을 씁니다. 예시 데이터로 개선 전 200개 중 14개(7%), 개선 후 200개 중 6개(3%) 불량이라면 이 차이가 우연인지 2표본 비율 검정이나 카이제곱 검정으로 확인합니다.

범주가 셋 이상이거나 두 범주형 변수의 관계를 보려면 카이제곱 독립성 검정을 씁니다. 기대 빈도가 5 미만인 칸이 많으면 피셔 정확 검정을 고려합니다.

산포 비교와 상관관계

평균이 같아도 흩어짐이 다를 수 있습니다. 산포를 비교할 때는 F검정이나 레빈 검정을 쓰며, 레빈은 정규성에 덜 민감합니다. 두 연속형 변수가 함께 움직이는지 보려면 상관분석, 한 변수로 다른 변수를 예측하려면 회귀분석을 씁니다.

결과를 읽을 때의 주의

p값이 작다는 것은 차이가 크다는 뜻이 아닙니다. 표본이 아주 크면 아주 작은 차이도 유의해집니다. 반드시 차이의 크기와 신뢰구간을 함께 보고, 그 크기가 실무에서 의미가 있는지 판단하세요. 반대로 p값이 크다고 차이가 없다고 단정하지도 마세요. 표본이 적어서 못 찾았을 수 있습니다. 검정 전에 필요한 표본 크기를 계산해 두면 이 문제를 줄일 수 있습니다.