App-Befehle, Arbeitsblattkennungen und Werte der Beispieldaten bleiben im Original erhalten. Screenshots, Diagramme und Dateien zum Herunterladen liegen im englischen Original vor. Die Zahlen in dieser Anleitung verwenden die englische Schreibweise mit Dezimalpunkt und Tausenderkomma.
Beispiel: Prüfung des äußeren Erscheinungsbilds
Zwei Prüfer stufen dieselben 60 lackierten Gehäuse jeweils als Accept (annehmen) oder Reject (zurückweisen) ein. Die Referenzentscheidung eines Qualitätsgremiums bleibt ihnen verborgen. Die Studie enthält eindeutige Fälle und Grenzfälle mit insgesamt 120 Bewertungen.
Beispiel zur Prüfung des äußeren Erscheinungsbilds herunterladen (CSV, englisches Original)Dieses Beispiel wird auch in Help verwendet. sample_id kennzeichnet das Gehäuse, operator_id den Prüfer, trial ist 1, decision enthält die Bewertung des Prüfers und reference_decision die Referenzbewertung des Gremiums.
1. Analyse erstellen
Öffnen Sie in der Seitenleiste Measurement systems, wählen Sie Kappa (Attributes) und benennen Sie die Analyse. Wählen Sie New blank worksheet und Create analysis.
2. Daten importieren
Wählen Sie unter Worksheet die Option Import. Wählen Sie die heruntergeladene Datei aus oder fügen Sie ihren Inhalt ein. Stellen Sie als Trennzeichen Comma und als Dezimaltrennzeichen Decimal dot ein und aktivieren Sie First row contains column names. Prüfen Sie die Importvorschau und wählen Sie anschließend Import into worksheet. Behalten Sie alle Zeilen in ihrer ursprünglichen Reihenfolge bei.
3. Eingabespalten zuweisen
Weisen Sie unter Inputs sample_id dem Feld Sample ID, operator_id dem Feld Appraiser, trial dem Feld Trial ID, decision dem Feld Rating und reference_decision dem Feld Reference rating (optional) zu, indem Sie die jeweilige Spalte in der Spaltenauswahl wählen.
Prüfen Sie, ob die App 60 × 2 × 1 erkennt: 60 Gehäuse, zwei Prüfer und eine Bewertungsrunde.
4. Studienoptionen einstellen
Geben Sie 0.05 in Significance level (α) ein. Wählen Sie unter Appraiser vs standard κ die Option Pool ratings across trials.
Öffnen Sie Bootstrap intervals. Geben Sie 1000 in Number of bootstrap resamples und 42 in Bootstrap seed ein. Verwenden Sie dieselbe Datenreihenfolge und denselben Startwert, um die Intervalle zu reproduzieren. Für diese importierte Studie benötigen Sie Create a worksheet template nicht. Das Bootstrap-Verfahren zieht wiederholt Stichproben der untersuchten Gehäuse mit Zurücklegen, um die Unsicherheit der Intervalle zu schätzen. Der Startwert legt diese Ziehungsfolge fest, sodass die Intervalle reproduziert werden können; er macht sie nicht genauer.
5. Analyse ausführen
Wählen Sie Run analysis und öffnen Sie anschließend Results.
6. Ergebnisse interpretieren
Prüfer vergleichen
Die Prüfer stimmen bei 48 von 60 Gehäusen überein, also zu 80%. Die Heatmap zeigt Cohens κ = 0.5946, das die Übereinstimmung um den Anteil bereinigt, den ihre Bewertungshäufigkeiten zufällig erwarten lassen. Das 95%-Intervall beträgt etwa 0.3667–0.7966. κ ist kein Prozentsatz der richtigen Entscheidungen.
Englisches Originaldiagramm: Cohens κ zwischen den beiden Prüfern. Dies ist eine zufallsbereinigte Übereinstimmung, kein Prozentsatz der richtigen Entscheidungen. Diagramm in voller Größe ansehen (öffnet sich in einem neuen Tab) Mit der Referenz vergleichen
Beide Prüfer stimmen mit 52 von 60 Referenzentscheidungen überein. Prüfer A übersieht vier laut Referenz zurückzuweisende Gehäuse und weist vier laut Referenz anzunehmende Gehäuse zurück. Prüfer B übersieht zwei laut Referenz zurückzuweisende Gehäuse und weist sechs laut Referenz anzunehmende Gehäuse zurück. Dieselbe Gesamtübereinstimmungsquote verdeckt unterschiedliche Fehlerarten.
Fehlertabellen ablesen
Der Pfeil bedeutet Prüferentscheidung → Referenzentscheidung. Accept→Reject ist eine übersehene Zurückweisung; Reject→Accept ist ein Fehlalarm. Die Übersehensraten beziehen sich auf die 24 laut Referenz zurückzuweisenden Gehäuse. Die Fehlalarmraten beziehen sich auf die 36 laut Referenz anzunehmenden Gehäuse.
Studiendesign berücksichtigen
Die Studie enthält 60% laut Referenz anzunehmende und 40% laut Referenz zurückzuweisende Gehäuse. Diese Zusammensetzung beeinflusst κ und ist nicht die Zurückweisungsquote der Produktion. Jeder Prüfer bewertet jedes Gehäuse einmal; daher kann die Studie nicht prüfen, ob ein Prüfer dieselbe Entscheidung zuverlässig wiederholt.
Prüfschwerpunkte festlegen
Prüfen Sie die strittigen Gehäuse anhand der schriftlichen Prüfkriterien. Betrachten Sie übersehene Zurückweisungen und Fehlalarme getrennt. Wiederholen Sie die Studie mit einer weiteren Bewertungsrunde, wenn Sie die Konsistenz innerhalb jedes Prüfers beurteilen müssen.
Weitere Einzelheiten: die einzelnen Ergebnisabschnitte lesen
Vollständige Ergebnistabellen verwenden wie im Bereich Help sechs signifikante Stellen.
Zwischen Prüfern (paarweises κ)
Die Prüfer stimmen bei 48 von 60 Gehäusen überein (80%). Die aus ihren Randhäufigkeiten der Kategorien erwartete Übereinstimmung beträgt 50.67%, woraus sich Cohens κ = 0.5946 ergibt. Das 95%-Bootstrap-Intervall mit festem Startwert beträgt etwa 0.3667–0.7966. κ ist kein Prozentsatz der richtigen Entscheidungen, und eine Übereinstimmung zwischen Prüfern belegt keine Richtigkeit gegenüber der Referenz.
| Erster Prüfer / Bewertungsrunde | Zweiter Prüfer / Bewertungsrunde | Vergleiche | Beobachtete Übereinstimmung P₀ | Erwartete Übereinstimmung Pₑ | κ | 95%-Konfidenzintervall — Untergrenze | 95%-Konfidenzintervall — Obergrenze |
|---|---|---|---|---|---|---|---|
| Inspector A | Inspector B | 60 | 0.8 | 0.506667 | 0.594595 | 0.366667 | 0.79661 |
Prüfer gegenüber Referenz (Richtigkeit)
Beide Prüfer stimmen mit 52 von 60 Referenzentscheidungen überein (86.67%). Ihre κ-Werte unterscheiden sich leicht: 0.7222 für A und 0.7297 für B, weil sich ihre Randhäufigkeiten der Kategorien unterscheiden. Reject wird als Fehlerkategorie behandelt. Die Übersehensraten betragen 16.67% für A und 8.33% für B; die Fehlalarmraten betragen 11.11% bzw. 16.67%. Diese Raten verwenden unterschiedliche Bezugsgrößen aus den Referenzkategorien.
κ gegenüber der Referenz verwendet einen Cohen-Koeffizienten aus den über Bewertungsrunden gepoolten Bewertungen. Beobachtete und erwartete Übereinstimmung sind gepoolte Anteile. Effizienz, Übersehens- und Fehlalarmraten sind Anteile (0–1).
| Prüfer | Vergleiche | Beobachtete Übereinstimmung P₀ | Erwartete Übereinstimmung Pₑ | κ | 95%-Konfidenzintervall — Untergrenze | 95%-Konfidenzintervall — Obergrenze | Effizienz (alle) | Effizienz (mindestens eine) | Übersehensrate | Fehlalarmrate |
|---|---|---|---|---|---|---|---|---|---|---|
| Inspector A | 60 | 0.866667 | 0.52 | 0.722222 | 0.507042 | 0.893365 | 0.866667 | — | 0.166667 | 0.111111 |
| Inspector B | 60 | 0.866667 | 0.506667 | 0.72973 | 0.533333 | 0.897727 | 0.866667 | — | 0.0833333 | 0.166667 |
Verwechslungshäufigkeiten — Prüfer A gegenüber Referenz
Der Pfeil bedeutet Prüferentscheidung → Referenzentscheidung. Accept→Reject steht für vier übersehene Zurückweisungen unter 24 laut Referenz zurückzuweisenden Gehäusen. Reject→Accept steht für vier Fehlalarme unter 36 laut Referenz anzunehmenden Gehäusen. Die übrigen 52 Entscheidungen stimmen mit der Referenz überein.
| Entscheidung → Referenz | Anzahl |
|---|---|
| Accept→Accept | 32 |
| Accept→Reject | 4 |
| Reject→Accept | 4 |
| Reject→Reject | 20 |
Verwechslungshäufigkeiten — Prüfer B gegenüber Referenz
Prüfer B übersieht zwei der 24 laut Referenz zurückzuweisenden Gehäuse und weist sechs der 36 laut Referenz anzunehmenden Gehäuse fälschlich zurück. Dieselbe Gesamtübereinstimmung wie bei Prüfer A verdeckt daher eine andere Verteilung der Fehlerarten.
| Entscheidung → Referenz | Anzahl |
|---|---|
| Accept→Accept | 30 |
| Accept→Reject | 2 |
| Reject→Accept | 6 |
| Reject→Reject | 22 |
Häufigkeitsanteile der Kategorien
Die Referenzzusammensetzung beträgt 60% Accept und 40% Reject: 36 und 24 Gehäuse. Dies ist die Zusammensetzung der Studie, keine Schätzung der Zurückweisungsquote der Produktion. Die Häufigkeitsanteile der Kategorien beeinflussen die zufallsbereinigte Übereinstimmung; vergleichen Sie κ-Werte daher nur mit geeignetem Kontext.
| Kategorie | Anteil |
|---|---|
| Accept | 0.6 |
| Reject | 0.4 |
Kappa — Studienzusammenfassung
Es gibt 60 Prüfobjekte, zwei Prüfer und keine ausgeschlossenen Vergleiche. Jeder Prüfer bewertet jedes Prüfobjekt einmal; die Wiederholbarkeit innerhalb eines Prüfers kann daher nicht beurteilt werden. Startwert 42 mit 1,000 Bootstrap-Stichproben reproduziert diese Bootstrap-Intervalle bei denselben Daten, Einstellungen und derselben Berechnungsversion. Lassen Sie den Startwert für zufällige Ziehungsfolgen leer.
| Kennzahl | Wert |
|---|---|
| Teile | 60 |
| Bediener | Inspector A, Inspector B |
| Kategorien | Accept, Reject |
| Zwischen-/Innerhalb-Methode | Cohens κ |
| Methode zum Vergleich der Wiederholungen mit dem Standard | Gepoolte Bewertungen |
| Ausgeschlossene Vergleiche | 0 |
| Bootstrap-Startwert | 42 |
Kontingenzhäufigkeiten — Prüfer A / Prüfer B
Die Kontingenzhäufigkeiten vergleichen Prüfer A und Prüfer B direkt. Sie erklären ihre beobachtete Übereinstimmung; verwenden Sie die Verwechslungstabellen gegenüber der Referenz, um übersehene Zurückweisungen und Fehlalarme zu beurteilen.
| Erste Kategorie | Zweite Kategorie | Anzahl |
|---|---|---|
| Accept | Accept | 28 |
| Accept | Reject | 8 |
| Reject | Accept | 4 |
| Reject | Reject | 20 |
7. Bericht erstellen
Bewahren Sie Between operators (pairwise κ), Operator vs standard (accuracy), beide Tabellen der Verwechslungshäufigkeiten gegenüber der Referenz, Category prevalence, Kappa — study summary, die Kontingenzhäufigkeiten zwischen den Prüfern und die Übereinstimmungs-Heatmap im englischen Originalbericht auf. Dokumentieren Sie, dass jeder Prüfer jedes Gehäuse einmal bewertet hat.
Wählen Sie Add to report im abgeschlossenen Analyselauf. Öffnen Sie Choose individual items and advanced options zur Auswahl von Tabellen und Diagrammen und wählen Sie anschließend Add to draft. Ausgeblendete Elemente bleiben in der gespeicherten Analyse erhalten.
Geben Sie dem Bericht einen Namen und ergänzen Sie den Zweck der Untersuchung sowie Ihre Interpretation. Wählen Sie Save, prüfen Sie Preview und verwenden Sie anschließend Export → Download HTML. Das folgende Beispiel enthält den gesamten ausgewählten Inhalt, auch Ergebnisse, die über eine Bildschirmansicht hinausgehen.