Verificați concordanța dintre inspectori

Comparați evaluările categoriale ale inspectorilor între ei și cu o decizie de referință opțională.

Ghiduri · Sisteme de măsurare (MSA) · Lectură de 4 minute

Comenzile aplicației, identificatorii foilor de lucru și valorile datelor demonstrative își păstrează forma originală. Capturile de ecran, graficele și fișierele de descărcat sunt în engleză. Exemplele științifice păstrează notația engleză originală: punct zecimal și virgulă pentru mii. Numerele și prețurile de prezentare folosesc formatul românesc.

Exemplu: inspecție de aspect

Doi inspectori clasifică fiecare aceleași 60 de carcase vopsite ca Accept sau Reject. Decizia de referință a unui grup de specialiști în calitate le este ascunsă. Studiul include cazuri clare și cazuri la limită, cu 120 de evaluări în total.

Descărcați exemplul cu inspecția de aspect (CSV)

Acesta este același exemplu ca în Help. sample_id identifică carcasa, operator_id identifică inspectorul, trial este 1, decision conține evaluarea inspectorului, iar reference_decision conține evaluarea de referință a grupului.

1. Creați analiza

În bara laterală, deschideți Measurement systems, alegeți Kappa (Attributes) și denumiți analiza. Selectați New blank worksheet și Create analysis.

2. Importați datele

În Worksheet, alegeți Import. Selectați fișierul descărcat sau lipiți conținutul acestuia. Setați delimitatorul la Comma, folosiți Decimal dot și bifați First row contains column names. Previzualizați importul, apoi alegeți Import into worksheet. Păstrați fiecare rând în ordinea sa originală.

3. Atribuiți coloanele de intrare

În Inputs, atribuiți sample_id la Sample ID, operator_id la Appraiser, trial la Trial ID, decision la Rating și reference_decision la Reference rating (optional), selectând fiecare coloană din selector.

Verificați dacă aplicația detectează 60 × 2 × 1: 60 de carcase, doi inspectori și o încercare.

4. Stabiliți opțiunile studiului

Introduceți 0.05 în Significance level (α). La Appraiser vs standard κ, alegeți Pool ratings across trials.

Deschideți Bootstrap intervals. Introduceți 1000 în Number of bootstrap resamples și 42 în Bootstrap seed. Folosiți aceeași ordine a datelor și aceeași valoare de inițializare pentru a reproduce intervalele. Nu aveți nevoie de Create a worksheet template pentru acest studiu importat. Reeșantionarea bootstrap extrage repetat, cu înlocuire, carcase din studiu pentru a estima incertitudinea intervalelor. Valoarea de inițializare fixează secvența de eșantionare pentru a putea reproduce intervalele; nu le face mai exacte.

Kappa (Attributes): Fila Inputs cu asocierile și setările exemplului
Cele cinci atribuiri, comparația cu referința prin reunirea evaluărilor, nivelul de semnificație și setările bootstrap cu valoare de inițializare în Inputs. Vedeți imaginea la dimensiune completă (se deschide într-o filă nouă)

5. Rulați analiza

Alegeți Run analysis, apoi deschideți Results.

6. Interpretați rezultatele

  1. Comparați inspectorii

    Inspectorii sunt de acord pentru 48 din 60 de carcase, adică 80%. Harta termică arată coeficientul κ al lui Cohen = 0.5946, care ajustează concordanța pentru cea care ar apărea întâmplător pe baza totalurilor evaluărilor lor. Intervalul de 95% este aproximativ 0.3667–0.7966. κ nu este un procent al exactității.

    Concordanța dintre operatori
    coeficientul κ al lui Cohen între cei doi inspectori. Aceasta este concordanța ajustată pentru întâmplare, nu un procent al exactității. Vedeți graficul la dimensiune completă (se deschide într-o filă nouă)
  2. Comparați cu referința

    Evaluările ambilor inspectori coincid cu 52 din 60 de decizii de referință. Inspectorul A omite patru respingeri de referință și respinge patru acceptări de referință. Inspectorul B omite două respingeri de referință și respinge șase acceptări de referință. Aceeași rată globală de concordanță ascunde tipuri de erori diferite.

  3. Citiți tabelele erorilor

    Săgeata se citește decizia inspectorului → decizia de referință. Accept→Reject este o respingere omisă; Reject→Accept este o alarmă falsă. Ratele omisiunilor folosesc cele 24 de respingeri de referință. Ratele alarmelor false folosesc cele 36 de acceptări de referință.

  4. Țineți cont de planul studiului

    Studiul conține 60% acceptări de referință și 40% respingeri de referință. Această componență afectează κ și nu reprezintă rata respingerilor din producție. Fiecare inspector evaluează fiecare carcasă o singură dată, așadar studiul nu poate verifica dacă un inspector repetă în mod fiabil aceeași decizie.

  5. Decideți ce trebuie examinat

    Examinați carcasele disputate în raport cu criteriile de inspecție scrise. Luați în considerare separat respingerile omise și alarmele false. Repetați studiul cu încă o încercare dacă trebuie să evaluați consecvența deciziilor repetate ale fiecărui inspector.

Mai multe detalii: citiți fiecare secțiune de rezultate

Tabelele complete de rezultate folosesc șase cifre semnificative, ca în Help.

Între operatori (κ pe perechi)

Inspectorii sunt de acord pentru 48 din 60 de carcase (80%). Concordanța așteptată din totalurile marginale ale categoriilor lor este 50.67%, rezultând coeficientul κ al lui Cohen = 0.5946. Intervalul bootstrap de 95% cu valoare de inițializare este aproximativ 0.3667–0.7966. κ nu este un procent al exactității, iar concordanța dintre inspectori nu stabilește corectitudinea față de referință.

Între operatori (κ pe perechi) · 1 rând
Primul observator / încercareAl doilea observator / încercareComparațiiConcordanță observată P₀Concordanță așteptată PₑκInterval de încredere de 95% — inferiorInterval de încredere de 95% — superior
Inspector AInspector B600.80.5066670.5945950.3666670.79661

Operator față de referință (exactitate)

Evaluările ambilor inspectori coincid cu 52 din 60 de decizii de referință (86.67%). Valorile lor κ diferă ușor: 0.7222 pentru A și 0.7297 pentru B, deoarece totalurile marginale ale categoriilor diferă. Reject este tratată drept categoria defectelor. Ratele omisiunilor sunt 16.67% pentru A și 8.33% pentru B; ratele alarmelor false sunt 11.11% și, respectiv, 16.67%. Aceste rate folosesc numitori diferiți ai categoriilor de referință.

κ față de referință folosește un singur coeficient Cohen din evaluările reunite ale încercărilor. Concordanța observată și cea așteptată sunt proporții reunite. Ratele de eficiență, omisiune și alarmă falsă sunt proporții (0–1).

Operator față de referință (exactitate) · 2 rânduri
OperatorComparațiiConcordanță observată P₀Concordanță așteptată PₑκInterval de încredere de 95% — inferiorInterval de încredere de 95% — superiorEficiență (toate)Eficiență (oricare)Rata omisiunilorRata alarmelor false
Inspector A600.8666670.520.7222220.5070420.8933650.866667—0.1666670.111111
Inspector B600.8666670.5066670.729730.5333330.8977270.866667—0.08333330.166667

Efectivele matricei de confuzie — Inspector A față de referință

Săgeata se citește decizia inspectorului → decizia de referință. Accept→Reject reprezintă patru respingeri omise din 24 de respingeri de referință. Reject→Accept reprezintă patru alarme false din 36 de acceptări de referință. Celelalte 52 de decizii coincid cu referința.

Efectivele matricei de confuzie — Inspector A față de referință · 4 rânduri
Decizie → referințăNumăr
Accept→Accept32
Accept→Reject4
Reject→Accept4
Reject→Reject20

Efectivele matricei de confuzie — Inspector B față de referință

Inspectorul B omite două dintre cele 24 de respingeri de referință și respinge în mod fals șase dintre cele 36 de acceptări de referință. Aceeași concordanță totală ca a inspectorului A ascunde, așadar, un echilibru diferit între tipurile de erori.

Efectivele matricei de confuzie — Inspector B față de referință · 4 rânduri
Decizie → referințăNumăr
Accept→Accept30
Accept→Reject2
Reject→Accept6
Reject→Reject22

Prevalența categoriilor

Componența de referință este 60% Accept și 40% Reject: 36 și 24 de carcase. Aceasta este componența studiului, nu o estimare a ratei respingerilor din producție. Prevalența categoriilor afectează concordanța ajustată pentru întâmplare, așadar comparați valorile κ numai într-un context adecvat.

Prevalența categoriilor · 2 rânduri
CategorieProporție
Accept0.6
Reject0.4

Kappa — rezumatul studiului

Există 60 de eșantioane, doi inspectori și nicio comparație eliminată. Fiecare inspector evaluează fiecare eșantion o singură dată, așadar repetabilitatea deciziilor aceluiași inspector nu poate fi evaluată. Valoarea de inițializare 42 cu 1,000 de reeșantionări reproduce aceste intervale bootstrap pentru aceleași date, setări și versiune de calcul. Lăsați valoarea de inițializare necompletată pentru eșantionare aleatorie.

Kappa — rezumatul studiului · 7 rânduri
StatisticăValoare
Piese60
OperatoriInspector A, Inspector B
CategoriiAccept, Reject
Metoda între evaluatori / în cadrul aceluiași evaluatorκ Cohen
Metoda de tratare a repetărilor în comparația cu referințaEvaluări reunite
Comparații excluse0
Valoare de inițializare bootstrap42

Numărări de contingență — Inspector A / Inspector B

Numărările de contingență compară direct inspectorul A cu inspectorul B. Ele explică concordanța lor observată; folosiți tabelele matricelor de confuzie față de referință pentru a evalua respingerile omise și alarmele false.

Numărări de contingență — Inspector A / Inspector B · 4 rânduri
Prima categorieA doua categorieNumăr
AcceptAccept28
AcceptReject8
RejectAccept4
RejectReject20

7. Creați un raport

Păstrați Between operators (pairwise κ), Operator vs standard (accuracy), ambele tabele cu efectivele matricelor de confuzie față de referință, Category prevalence, Kappa — study summary, numărările de contingență dintre inspectori și harta termică a concordanței. Notați că fiecare inspector a evaluat fiecare carcasă o singură dată.

Alegeți Add to report din analiza finalizată. Deschideți Choose individual items and advanced options pentru a selecta tabele și grafice, apoi alegeți Add to draft. Elementele ascunse rămân în analiza salvată.

Denumiți raportul și adăugați scopul studiului și interpretarea dumneavoastră. Alegeți Save, verificați Preview, apoi utilizați Export → Download HTML. Exemplul de mai jos conține întregul conținut selectat, inclusiv rezultatele care depășesc un singur ecran.

Acest raport a fost generat în aplicație și este în engleză. Rezultatele complete din aplicație pentru acest exemplu Help, inclusiv tabelele, graficele și notele de execuție aplicabile. Numerele din rapoarte folosesc precizia afișată în aplicație. Graficele exportate sunt statice. Pe ecrane înguste, derulați orizontal graficele și tabelele late.
Vedeți raportul demonstrativ: Sunt inspectorii de acord privind acceptarea aspectului?

Folosim Microsoft Clarity pentru a înțelege cum utilizează vizitatorii acest site, inclusiv prin înregistrări ale sesiunilor și hărți termice. Puteți folosi site-ul fără să acceptați analiza traficului.

Opțiunea dumneavoastră este păstrată în acest browser timp de șase luni. Informare privind confidențialitatea

Opțiunea actuală: Neselectată.