앱 명령어, 워크시트 식별자 및 예제 데이터 값은 원문 그대로 유지됩니다. 스크린샷, 차트 및 다운로드 파일은 영어로 제공됩니다. 예제는 영어 원문의 숫자 표기를 유지하며, 소수점에는 마침표를, 천 단위 구분에는 쉼표를 사용합니다.
예제: 외관 검사
검사자 두 명이 동일한 도장 하우징 60개를 각각 Accept 또는 Reject로 분류합니다. 품질 판정 위원회의 기준 판정은 검사자들에게 공개하지 않습니다. 명확한 사례와 경계 사례가 모두 포함되어 있으며 판정은 총 120개입니다.
외관 검사 예제 다운로드(영문 CSV)Help에서 사용하는 것과 같은 예제입니다. sample_id는 하우징을, operator_id는 검사자를 식별합니다. trial은 1이고, decision에는 검사자의 판정, reference_decision에는 위원회의 기준 판정이 들어 있습니다.
1. 분석 만들기
사이드바에서 Measurement systems를 열고 Kappa (Attributes)를 선택한 다음 분석 이름을 지정합니다. New blank worksheet와 Create analysis를 선택합니다.
2. 데이터 가져오기
Worksheet에서 Import를 선택합니다. 다운로드한 파일을 선택하거나 내용을 붙여넣습니다. 구분 기호를 Comma로 설정하고 Decimal dot을 사용하며 First row contains column names를 선택합니다. 가져올 내용을 미리 확인한 다음 Import into worksheet를 선택합니다. 모든 행을 원래 순서대로 유지합니다.
3. 입력 열 지정
Inputs의 열 선택기에서 sample_id를 Sample ID, operator_id를 Appraiser, trial을 Trial ID, decision을 Rating, reference_decision을 Reference rating (optional)에 각각 지정합니다.
앱이 60 × 2 × 1, 즉 하우징 60개, 검사자 두 명, 시행 한 회로 인식하는지 확인합니다.
4. 연구 옵션 설정
Significance level (α)에 0.05를 입력합니다. Appraiser vs standard κ에서 Pool ratings across trials를 선택합니다.
Bootstrap intervals를 엽니다. Number of bootstrap resamples에 1000을, Bootstrap seed에 42를 입력합니다. 구간을 재현하려면 데이터 순서와 시드를 동일하게 유지합니다. 이 가져온 연구에는 Create a worksheet template가 필요하지 않습니다. 부트스트랩 재표집은 연구의 하우징을 복원추출하는 과정을 반복하여 구간의 불확실성을 추정합니다. 시드는 이 추출 순서를 고정하여 구간을 재현할 수 있게 하며, 구간의 정확도를 높여 주지는 않습니다.
5. 분석 실행
Run analysis를 선택한 다음 Results를 엽니다.
6. 결과 해석
검사자끼리 비교
검사자들은 하우징 60개 중 48개, 즉 80%에 대해 같은 판정을 내립니다. 히트맵의 Cohen의 κ = 0.5946은 각 검사자의 판정 범주별 합계로부터 우연히 기대되는 일치를 고려하여 보정한 값입니다. 95% 구간은 약 0.3667–0.7966입니다. κ는 정확도의 백분율이 아닙니다.
두 검사자 사이의 Cohen의 κ를 보여 주는 영어 원본 히트맵입니다. 우연 일치를 보정한 일치도이며 정확도의 백분율이 아닙니다. 차트를 원본 크기로 보기 (새 탭에서 열림) 기준 판정과 비교
두 검사자 모두 기준 판정 60개 중 52개와 일치합니다. 검사자 A는 기준상 불합격인 제품 네 개를 놓치고 기준상 합격인 제품 네 개를 불합격으로 판정합니다. 검사자 B는 기준상 불합격인 제품 두 개를 놓치고 기준상 합격인 제품 여섯 개를 불합격으로 판정합니다. 전체 일치율이 같아도 오류 유형은 다릅니다.
오류 표 읽기
화살표는 검사자 판정 → 기준 판정으로 읽습니다. Accept→Reject는 불합격을 놓친 경우이고 Reject→Accept는 오경보입니다. 미검출률의 분모는 기준상 불합격인 24개이고, 오경보율의 분모는 기준상 합격인 36개입니다.
연구 설계 고려
이 연구의 기준 판정은 합격 60%, 불합격 40%입니다. 이 구성 비율은 κ에 영향을 미치며 생산 현장의 불합격률을 뜻하지 않습니다. 각 검사자가 각 하우징을 한 번씩 판정하므로 같은 검사자가 일관되게 같은 판정을 반복하는지는 확인할 수 없습니다.
검토할 사항 결정
판정이 엇갈린 하우징을 문서화한 검사 기준에 따라 검토합니다. 불합격 미검출과 오경보를 구분하여 고려합니다. 검사자 개인의 판정 일관성을 평가해야 한다면 시행을 추가하여 연구를 반복합니다.
자세히 보기: 각 결과 섹션 읽기
전체 결과 표는 Help와 동일하게 유효숫자 여섯 자리로 표시합니다.
검사자 간 일치도(쌍별 κ)
검사자들은 하우징 60개 중 48개(80%)에 대해 같은 판정을 내립니다. 각 검사자의 범주별 주변합으로 기대되는 일치율은 50.67%이며 Cohen의 κ = 0.5946입니다. 시드를 지정한 95% 부트스트랩 구간은 약 0.3667–0.7966입니다. κ는 정확도의 백분율이 아니며, 검사자끼리 일치한다고 기준 판정에 비추어 올바르다는 뜻은 아닙니다.
| 첫 번째 평가자 / 시행 | 두 번째 평가자 / 시행 | 비교 수 | 관측 일치율 P₀ | 기대 일치율 Pₑ | κ | 95% 신뢰 구간 — 하한 | 95% 신뢰 구간 — 상한 |
|---|---|---|---|---|---|---|---|
| Inspector A | Inspector B | 60 | 0.8 | 0.506667 | 0.594595 | 0.366667 | 0.79661 |
검사자와 기준 판정 비교(정확도)
두 검사자 모두 기준 판정 60개 중 52개(86.67%)와 일치합니다. 범주별 주변합이 달라 κ는 A가 0.7222, B가 0.7297로 약간 다릅니다. Reject를 불량 범주로 취급합니다. 미검출률은 A가 16.67%, B가 8.33%이고 오경보율은 각각 11.11%, 16.67%입니다. 이 비율들은 서로 다른 기준 판정 범주를 분모로 사용합니다.
기준 판정과의 κ는 시행별 판정을 통합하여 구한 하나의 Cohen 계수를 사용합니다. 관측 일치율과 기대 일치율은 통합한 비율입니다. 효율, 미검출률 및 오경보율은 비율(0–1)로 표시합니다.
| 검사자 | 비교 수 | 관측 일치율 P₀ | 기대 일치율 Pₑ | κ | 95% 신뢰 구간 — 하한 | 95% 신뢰 구간 — 상한 | 효율(모든 시행) | 효율(어느 한 시행) | 미검출률 | 오경보율 |
|---|---|---|---|---|---|---|---|---|---|---|
| Inspector A | 60 | 0.866667 | 0.52 | 0.722222 | 0.507042 | 0.893365 | 0.866667 | — | 0.166667 | 0.111111 |
| Inspector B | 60 | 0.866667 | 0.506667 | 0.72973 | 0.533333 | 0.897727 | 0.866667 | — | 0.0833333 | 0.166667 |
혼동 도수 — 검사자 A와 기준 판정
화살표는 검사자 판정 → 기준 판정으로 읽습니다. Accept→Reject는 기준상 불합격인 24개 중 네 개를 놓친 경우입니다. Reject→Accept는 기준상 합격인 36개 중 네 개에서 발생한 오경보입니다. 나머지 52개 판정은 기준과 일치합니다.
| 판정 → 기준 판정 | 도수 |
|---|---|
| Accept→Accept | 32 |
| Accept→Reject | 4 |
| Reject→Accept | 4 |
| Reject→Reject | 20 |
혼동 도수 — 검사자 B와 기준 판정
검사자 B는 기준상 불합격인 24개 중 두 개를 놓치고 기준상 합격인 36개 중 여섯 개를 잘못 불합격으로 판정합니다. 따라서 전체 일치율이 검사자 A와 같아도 오류 유형의 구성은 다릅니다.
| 판정 → 기준 판정 | 도수 |
|---|---|
| Accept→Accept | 30 |
| Accept→Reject | 2 |
| Reject→Accept | 6 |
| Reject→Reject | 22 |
범주 구성 비율
기준 판정의 구성은 Accept 60%, Reject 40%로 각각 하우징 36개와 24개입니다. 이는 연구에 포함된 구성 비율이며 생산 현장 불합격률의 추정값이 아닙니다. 범주 구성 비율은 우연 일치를 보정한 일치도에 영향을 미치므로 κ값은 적절한 맥락을 고려하여 비교합니다.
| 범주 | 비율 |
|---|---|
| Accept | 0.6 |
| Reject | 0.4 |
카파 — 연구 요약
시료는 60개이고 검사자는 두 명이며 제외된 비교는 없습니다. 각 검사자가 각 시료를 한 번씩 판정하므로 검사자 내 반복성을 평가할 수 없습니다. 동일한 데이터, 설정 및 계산 버전에서 시드 42와 재표집 1,000회로 이 부트스트랩 구간을 재현합니다. 무작위 표집을 하려면 시드를 비워 둡니다.
| 통계량 | 값 |
|---|---|
| 부품 수 | 60 |
| 측정자 | Inspector A, Inspector B |
| 범주 | Accept, Reject |
| 평가자 간/내 비교 방법 | Cohen의 κ |
| 기준과 비교할 때의 반복 회차 처리 방식 | 통합 판정 |
| 제외된 비교 수 | 0 |
| 부트스트랩 시드 | 42 |
분할표 도수 — 검사자 A / 검사자 B
분할표 도수는 검사자 A와 검사자 B를 직접 비교하며 관측 일치율을 설명합니다. 불합격 미검출과 오경보는 기준 판정과의 혼동 도수표로 평가합니다.
| 첫 번째 범주 | 두 번째 범주 | 도수 |
|---|---|---|
| Accept | Accept | 28 |
| Accept | Reject | 8 |
| Reject | Accept | 4 |
| Reject | Reject | 20 |
7. 보고서 만들기
Between operators (pairwise κ), Operator vs standard (accuracy), 두 기준 판정 혼동 도수표, Category prevalence, Kappa — study summary, 검사자 간 분할표 도수 및 일치도 히트맵을 보관합니다. 각 검사자가 각 하우징을 한 번씩 판정했다는 점을 기록합니다.
완료된 실행 결과에서 Add to report 항목을 선택합니다. 표와 차트를 선택하려면 Choose individual items and advanced options 항목을 엽니다. 그런 다음 Add to draft 항목을 선택합니다. 숨긴 항목은 저장된 분석에 남아 있습니다.
보고서 이름을 정하고 분석 목적과 해석을 추가합니다. Save 항목을 선택하고 Preview에서 내용을 확인한 뒤 Export → Download HTML을 사용합니다. 아래 예시는 한 화면에 다 보이지 않는 결과까지 포함하여 선택한 콘텐츠 전체를 보여 줍니다.