検査員間の判定の一致を確認

検査員どうしのカテゴリー判定を比較し、必要に応じて基準判定との一致も確認します。

ガイド · 測定システム(MSA) · 読了目安:4分

アプリのコマンド名、ワークシートの識別子、サンプルデータの値は原文のまま表示されます。スクリーンショット、グラフ、ダウンロードファイルは英語です。例では英語の元の数値表記を保持しており、小数点にはピリオド、桁区切りにはカンマを使用しています。

例: 外観検査

二人の検査員が、同じ塗装済み筐体60個をそれぞれAccept(合格)またはReject(不合格)に分類します。品質判定委員会の基準判定は、検査員には知らせていません。明確に判定できる事例と境界的な事例を含み、判定は合計120件です。

外観検査のサンプルをダウンロード(CSV、列名・判定値は英語)

Help で使用している例と同じです。sample_id は筐体、operator_id は検査員を識別します。trial は1、decision は検査員の判定、reference_decision は委員会の基準判定です。

1. 分析を作成

サイドバーで Measurement systems を開き、Kappa (Attributes) を選択して分析名を入力します。New blank worksheet と Create analysis を選択します。

2. データをインポート

Worksheet で Import を選択します。ダウンロードしたファイルを選ぶか、その内容を貼り付けます。区切り文字を Comma、小数点記号を Decimal dot に設定し、First row contains column names を選択します。インポート内容をプレビューし、Import into worksheet を選択します。全行を元の順序のまま保ちます。

3. 入力列を割り当て

Inputs で、列選択を使って sample_id を Sample ID、operator_id を Appraiser、trial を Trial ID、decision を Rating、reference_decision を Reference rating (optional) に割り当てます。

アプリが 60 × 2 × 1、つまり筐体60個、検査員二人、試行一回と認識していることを確認します。

4. 調査のオプションを設定

Significance level (α) に0.05を入力します。Appraiser vs standard κ で Pool ratings across trials を選択します。

Bootstrap intervals を開きます。Number of bootstrap resamples に1000、Bootstrap seed に42を入力します。区間を再現するには、データの順序とシードを同じにします。インポートしたこの調査では、Create a worksheet template は不要です。ブートストラップでは、調査対象の筐体から復元抽出を繰り返し、区間の不確かさを推定します。シードは抽出の順序を固定し、区間を再現できるようにするもので、区間の正確さを高めるものではありません。

Kappa (Attributes): 例の列の割り当てと設定を表示したInputs画面
五つの列の割り当て、判定をまとめた基準との比較、有意水準、シードを指定したブートストラップ設定を示す英語のInputs画面。 画像を原寸で表示 (新しいタブで開きます)

5. 分析を実行

Run analysis を選択し、Results を開きます。

6. 結果を解釈

  1. 検査員を比較

    検査員の判定は筐体60個中48個、つまり80%で一致しています。ヒートマップにはCohenのκ = 0.5946が示されます。これは、各検査員のカテゴリー別の判定件数から偶然に生じる一致を考慮した値です。95%区間は約0.3667–0.7966です。κは正答率の百分率ではありません。

    検査員間の一致(英語)
    英語のヒートマップ:二人の検査員間のCohenのκ。偶然の一致を考慮した一致度であり、正答率の百分率ではありません。 グラフを原寸で表示 (新しいタブで開きます)
  2. 基準と比較

    両検査員とも、基準判定60件中52件で一致しています。検査員Aは基準で不合格の四個を見逃し、基準で合格の四個を不合格としています。検査員Bは基準で不合格の二個を見逃し、基準で合格の六個を不合格としています。全体の一致率が同じでも、誤判定の内訳は異なります。

  3. 誤判定の表を確認

    矢印は、検査員の判定 → 基準判定の順です。Accept→Rejectは不合格品の見逃し、Reject→Acceptは誤警報です。見逃し率の分母は基準で不合格の24個、誤警報率の分母は基準で合格の36個です。

  4. 調査計画を踏まえる

    この調査では、基準で合格が60%、不合格が40%です。この構成はκに影響し、生産での不合格率を表すものではありません。各検査員は各筐体を一回しか判定していないため、同じ検査員が繰り返して安定した判定を下せるかは確認できません。

  5. 見直す内容を決める

    判定が分かれた筐体を、文書化した検査基準に照らして見直します。不合格品の見逃しと誤警報は分けて検討します。各検査員内の判定の一貫性を評価する必要がある場合は、試行を追加して調査を繰り返します。

詳細:各結果セクションを確認

完全な結果表は、Helpと同じく有効数字六桁で表示されます。

検査員間の一致(ペアごとのκ)

検査員の判定は筐体60個中48個(80%)で一致しています。各検査員のカテゴリー別周辺度数から求めた期待一致率は50.67%で、Cohenのκ = 0.5946です。シードを指定した95%ブートストラップ区間は約0.3667–0.7966です。κは正答率の百分率ではなく、検査員間で一致しても、基準に照らして正しいことが示されるわけではありません。

検査員間の一致(ペアごとのκ) · 1行
一人目の評価者/試行二人目の評価者/試行比較数観測一致率P₀期待一致率Pₑκ95%信頼区間の下限95%信頼区間の上限
Inspector AInspector B600.80.5066670.5945950.3666670.79661

検査員と基準の一致(正確さ)

両検査員とも、基準判定60件中52件(86.67%)で一致しています。カテゴリー別の周辺度数が異なるため、κはAが0.7222、Bが0.7297とわずかに異なります。Rejectを不適合カテゴリーとして扱います。見逃し率はAが16.67%、Bが8.33%、誤警報率はそれぞれ11.11%と16.67%です。これらの率では、基準判定の異なるカテゴリーを分母に使います。

基準とのκは、試行の判定をまとめて一つのCohen係数を求めます。観測一致率と期待一致率は、まとめた判定の比率です。一致率、見逃し率、誤警報率は比率(0–1)で示します。

検査員と基準の一致(正確さ) · 2行
検査員比較数観測一致率P₀期待一致率Pₑκ95%信頼区間の下限95%信頼区間の上限全試行での一致率いずれかの試行での一致率見逃し率誤警報率
Inspector A600.8666670.520.7222220.5070420.8933650.866667—0.1666670.111111
Inspector B600.8666670.5066670.729730.5333330.8977270.866667—0.08333330.166667

混同行列の件数 — 検査員Aと基準

矢印は、検査員の判定 → 基準判定の順です。Accept→Rejectは、基準で不合格の24個中、見逃した四個を示します。Reject→Acceptは、基準で合格の36個中、誤警報となった四個を示します。残りの52件の判定は基準と一致しています。

混同行列の件数 — 検査員Aと基準 · 4行
判定 → 基準件数
Accept→Accept32
Accept→Reject4
Reject→Accept4
Reject→Reject20

混同行列の件数 — 検査員Bと基準

検査員Bは、基準で不合格の24個中二個を見逃し、基準で合格の36個中六個を誤って不合格としています。そのため、全体の一致率が検査員Aと同じでも、誤判定の種類の割合は異なります。

混同行列の件数 — 検査員Bと基準 · 4行
判定 → 基準件数
Accept→Accept30
Accept→Reject2
Reject→Accept6
Reject→Reject22

カテゴリーの構成比

基準判定の構成は、Acceptが60%、Rejectが40%で、それぞれ筐体36個と24個です。これは調査での構成比であり、生産での不合格率の推定値ではありません。カテゴリーの構成比は偶然の一致を考慮した一致度に影響するため、κを比較するときは状況を適切に考慮します。

カテゴリーの構成比 · 2行
カテゴリー比率
Accept0.6
Reject0.4

カッパ係数 — 調査の要約

試料は60個、検査員は二人で、除外された比較はありません。各検査員は各試料を一回ずつ判定しているため、検査員内の繰り返し性は評価できません。同じデータ、設定、計算バージョンで、シード42と1,000回の再標本化を使用すると、これらのブートストラップ区間を再現できます。ランダムに抽出するには、シードを空欄にします。

カッパ係数 — 調査の要約 · 7行
統計量値
部品数60
測定者Inspector A, Inspector B
カテゴリーAccept, Reject
評価者間・評価者内の算出方法Cohenのκ
基準判定との比較における反復の扱い判定をまとめて集計
除外した比較数0
ブートストラップのシード42

クロス集計の件数 — 検査員A/検査員B

クロス集計の件数は、検査員Aと検査員Bを直接比較し、観測された一致率の内訳を示します。不合格品の見逃しと誤警報の評価には、基準との混同行列表を使用します。

クロス集計の件数 — 検査員A/検査員B · 4行
一つ目のカテゴリー二つ目のカテゴリー件数
AcceptAccept28
AcceptReject8
RejectAccept4
RejectReject20

7. レポートを作成

Between operators (pairwise κ)、Operator vs standard (accuracy)、基準との混同行列表二つ、Category prevalence、Kappa — study summary、検査員間のクロス集計表、一致度のヒートマップを残します。各検査員が各筐体を一回ずつ判定したことを記録します。

完了した分析で Add to report を選択します。続いて Choose individual items and advanced options を開いて表とグラフを選び、 Add to draftを選択します。非表示の項目は保存済みの分析に残ります。

レポート名を入力し、調査の目的と解釈を追加します。 Saveで保存し、 Previewで内容を確認して、 Export → Download HTMLを選択します。以下の例には、画面外の結果も含め、選択した内容全体が含まれます。

このレポートはアプリで生成されており、内容は英語です。 このHelp例でアプリが出力した全内容。該当する表、グラフ、分析時の注記を含みます。 レポートの数値は、アプリの表示桁数に合わせています。エクスポートされたグラフは静的なグラフです。画面幅が狭い場合は、幅の広いグラフや表を横にスクロールできます。
レポートの例を見る: 外観の合否判定は検査員間で一致しているか

セッション録画やヒートマップを含むMicrosoft Clarityを使用して、このウェブサイトの利用状況を把握しています。 アクセス解析に同意しなくても、このウェブサイトをご利用いただけます。

選択内容は、このブラウザに六か月間保存されます。 プライバシーに関するお知らせ

現在の選択: 未選択.