Verifica la concordanza tra controllori

Confronta le valutazioni categoriali tra controllori e con una decisione di riferimento facoltativa.

Guide · Sistemi di misura (MSA) · 4 min di lettura

I comandi dell’app, gli identificatori dei fogli dati e i valori dei dati di esempio conservano la forma originale. Screenshot, grafici e file da scaricare sono in inglese. Gli esempi mantengono il punto decimale e la virgola come separatore delle migliaia della notazione inglese originale; i prezzi e i conteggi del sito seguono invece la formattazione italiana.

Esempio: ispezione estetica

Due controllori classificano ciascuno gli stessi 60 involucri verniciati come Accept (accetta) o Reject (rifiuta). La decisione di riferimento di un gruppo qualità è nascosta ai controllori. Lo studio include casi netti e al limite, con 120 valutazioni in totale.

Scarica l’esempio dell’ispezione estetica (CSV)

È lo stesso esempio usato in Help. sample_id identifica l’involucro, operator_id il controllore, trial è 1, decision contiene la valutazione del controllore e reference_decision quella di riferimento del gruppo qualità.

1. Crea l’analisi

Nella barra laterale, apri Measurement systems, scegli Kappa (Attributes) e assegna un nome all’analisi. Seleziona New blank worksheet e Create analysis.

2. Importa i dati

In Worksheet, scegli Import. Seleziona il file scaricato o incollane il contenuto. Imposta il delimitatore su Comma, usa Decimal dot e seleziona First row contains column names. Controlla l’anteprima dell’importazione, poi scegli Import into worksheet. Mantieni ogni riga nell’ordine originale.

3. Assegna le colonne in ingresso

In Inputs, assegna sample_id a Sample ID, operator_id a Appraiser, trial a Trial ID, decision a Rating e reference_decision a Reference rating (optional), selezionando ciascuno dal selettore di colonne.

Verifica che l’app rilevi 60 × 2 × 1: 60 involucri, due controllori e una prova.

4. Imposta le opzioni dello studio

Inserisci 0.05 in Significance level (α). In Appraiser vs standard κ, scegli Pool ratings across trials.

Apri Bootstrap intervals. Inserisci 1000 in Number of bootstrap resamples e 42 in Bootstrap seed. Usa lo stesso ordine dei dati e lo stesso seme per riprodurre gli intervalli. Non serve Create a worksheet template per questo studio importato. Il ricampionamento bootstrap estrae ripetutamente gli involucri dello studio con reinserimento per stimare l’incertezza degli intervalli. Il seme fissa quella sequenza di campionamento per rendere riproducibili gli intervalli; non li rende più accurati.

Kappa (Attributes): Scheda Inputs con gli abbinamenti e le impostazioni dell’esempio
Le cinque assegnazioni, il confronto riunito con il riferimento, il livello di significatività e le impostazioni bootstrap con seme in Inputs. Visualizza l’immagine a grandezza originale (si apre in una nuova scheda)

5. Esegui l’analisi

Scegli Run analysis, poi apri Results.

6. Interpreta i risultati

  1. Confronta i controllori

    I controllori concordano su 48 involucri su 60, ossia l’80%. La mappa di calore mostra κ di Cohen = 0.5946, che corregge la concordanza per quella che i totali delle loro valutazioni produrrebbero per caso. L’intervallo al 95% è circa 0.3667–0.7966. κ non è una percentuale di accuratezza.

    Concordanza tra operatori
    κ di Cohen tra i due controllori. È concordanza corretta per il caso, non una percentuale di accuratezza. Visualizza il grafico a grandezza originale (si apre in una nuova scheda)
  2. Confronta con il riferimento

    Ciascun controllore concorda con 52 decisioni di riferimento su 60. Il controllore A non rileva quattro rifiuti di riferimento e rifiuta quattro accettazioni di riferimento. Il controllore B non rileva due rifiuti di riferimento e rifiuta sei accettazioni di riferimento. Lo stesso tasso complessivo di corrispondenza nasconde tipi di errore diversi.

  3. Leggi le tabelle degli errori

    La freccia si legge decisione del controllore → decisione di riferimento. Accept→Reject è un mancato rifiuto; Reject→Accept è un falso allarme. I tassi di mancato rifiuto usano i 24 rifiuti di riferimento. I tassi di falso allarme usano le 36 accettazioni di riferimento.

  4. Tieni presente il disegno dello studio

    Lo studio contiene il 60% di accettazioni e il 40% di rifiuti di riferimento. Questa composizione influenza κ e non è il tasso di scarto di produzione. Ogni controllore valuta ogni involucro una sola volta, quindi lo studio non può verificare se lo stesso controllore ripeta la decisione in modo affidabile.

  5. Decidi cosa rivedere

    Rivedi gli involucri contestati rispetto ai criteri di ispezione scritti. Considera separatamente mancati rifiuti e falsi allarmi. Ripeti lo studio con un’altra prova se devi valutare la coerenza delle decisioni ripetute dello stesso controllore.

Altri dettagli: leggi ogni sezione dei risultati

Le tabelle complete dei risultati usano sei cifre significative, come in Help.

Tra controllori (κ a coppie)

I controllori concordano su 48 involucri su 60 (80%). La concordanza attesa dai margini delle loro categorie è 50.67%, dando κ di Cohen = 0.5946. L’intervallo bootstrap al 95% con seme è circa 0.3667–0.7966. κ non è una percentuale di accuratezza e la concordanza tra controllori non accerta la correttezza rispetto al riferimento.

Tra controllori (κ a coppie) · 1 riga
Primo osservatore / provaSecondo osservatore / provaConfrontiConcordanza osservata P₀Concordanza attesa PₑκIntervallo di confidenza al 95% — limite inferioreIntervallo di confidenza al 95% — limite superiore
Inspector AInspector B600.80.5066670.5945950.3666670.79661

Operatore rispetto al riferimento (accuratezza)

Ciascun controllore concorda con 52 decisioni di riferimento su 60 (86.67%). I valori di κ differiscono leggermente: 0.7222 per A e 0.7297 per B, perché i margini delle loro categorie differiscono. Reject è trattata come categoria del difetto. I tassi di mancato rifiuto sono 16.67% per A e 8.33% per B; quelli di falso allarme sono rispettivamente 11.11% e 16.67%. Questi tassi usano denominatori diversi delle categorie di riferimento.

κ rispetto al riferimento usa un coefficiente di Cohen dalle valutazioni riunite delle prove. Concordanza osservata e attesa sono proporzioni riunite. Efficienza, tasso di mancato rifiuto e tasso di falso allarme sono proporzioni (0–1).

Operatore rispetto al riferimento (accuratezza) · 2 righe
OperatoreConfrontiConcordanza osservata P₀Concordanza attesa PₑκIntervallo di confidenza al 95% — limite inferioreIntervallo di confidenza al 95% — limite superioreEfficienza (tutti)Efficienza (almeno uno)Tasso di mancato rifiutoTasso di falso allarme
Inspector A600.8666670.520.7222220.5070420.8933650.866667—0.1666670.111111
Inspector B600.8666670.5066670.729730.5333330.8977270.866667—0.08333330.166667

Conteggi di confusione — Controllore A rispetto al riferimento

La freccia si legge decisione del controllore → decisione di riferimento. Accept→Reject rappresenta quattro mancati rifiuti su 24 rifiuti di riferimento. Reject→Accept rappresenta quattro falsi allarmi su 36 accettazioni di riferimento. Le restanti 52 decisioni coincidono con il riferimento.

Conteggi di confusione — Controllore A rispetto al riferimento · 4 righe
Decisione → riferimentoConteggio
Accept→Accept32
Accept→Reject4
Reject→Accept4
Reject→Reject20

Conteggi di confusione — Controllore B rispetto al riferimento

Il controllore B non rileva due dei 24 rifiuti di riferimento e rifiuta erroneamente sei delle 36 accettazioni di riferimento. Lo stesso totale di concordanza del controllore A nasconde quindi un equilibrio diverso tra i tipi di errore.

Conteggi di confusione — Controllore B rispetto al riferimento · 4 righe
Decisione → riferimentoConteggio
Accept→Accept30
Accept→Reject2
Reject→Accept6
Reject→Reject22

Prevalenza delle categorie

La composizione di riferimento è 60% Accept e 40% Reject: 36 e 24 involucri. È la composizione dello studio, non una stima del tasso di scarto di produzione. La prevalenza delle categorie influenza la concordanza corretta per il caso, quindi confronta i valori di κ solo con un contesto adeguato.

Prevalenza delle categorie · 2 righe
CategoriaProporzione
Accept0.6
Reject0.4

Kappa — riepilogo dello studio

Vi sono 60 campioni, due controllori e nessun confronto eliminato. Ogni controllore valuta ogni campione una sola volta, quindi non si può valutare la ripetibilità delle decisioni dello stesso controllore. Il seme 42 con 1,000 ricampionamenti riproduce questi intervalli bootstrap per gli stessi dati, impostazioni e versione di calcolo. Lascia vuoto il seme per un campionamento randomizzato.

Kappa — riepilogo dello studio · 7 righe
StatisticaValore
Pezzi60
OperatoriInspector A, Inspector B
CategorieAccept, Reject
Metodo per la concordanza tra valutatori / dello stesso valutatoreκ di Cohen
Metodo per il confronto delle prove con lo standardValutazioni aggregate
Confronti esclusi0
Seed del bootstrap42

Conteggi di contingenza — Controllore A / Controllore B

I conteggi di contingenza confrontano direttamente il controllore A e il controllore B. Spiegano la loro concordanza osservata; usa le tabelle di confusione rispetto al riferimento per valutare mancati rifiuti e falsi allarmi.

Conteggi di contingenza — Controllore A / Controllore B · 4 righe
Prima categoriaSeconda categoriaConteggio
AcceptAccept28
AcceptReject8
RejectAccept4
RejectReject20

7. Crea un report

Conserva Between operators (pairwise κ), Operator vs standard (accuracy), entrambe le tabelle dei conteggi di confusione rispetto al riferimento, Category prevalence, Kappa — study summary, i conteggi di contingenza tra controllori e la mappa di calore della concordanza. Registra che ogni controllore ha valutato ogni involucro una sola volta.

Seleziona Add to report dall’esecuzione completata. Apri Choose individual items and advanced options per selezionare tabelle e grafici, quindi scegli Add to draft. Gli elementi nascosti restano nell’analisi salvata.

Assegna un nome al report e aggiungi lo scopo dello studio e la tua interpretazione. Seleziona Save, controlla Preview, quindi usa Export → Download HTML. L’esempio seguente contiene tutti i contenuti selezionati, compresi i risultati che occupano più di una schermata.

Questo report è stato generato nell’app ed è in inglese. Output originale completo di questo esempio di Help, incluse le tabelle, i grafici e le note delle esecuzioni pertinenti. I numeri dei report usano la precisione di visualizzazione dell’app. I grafici esportati sono statici. Sugli schermi stretti, scorri orizzontalmente i grafici e le tabelle larghi.
Visualizza il report di esempio: I controllori concordano sull’accettazione estetica?

Usiamo Microsoft Clarity per comprendere come i visitatori usano questo sito, incluse registrazioni delle sessioni e mappe di calore. Puoi usare il sito web senza accettare gli strumenti di analisi.

La tua scelta viene salvata in questo browser per sei mesi. Informativa sulla privacy

Scelta attuale: Nessuna scelta.