Az alkalmazás parancsai, a munkalapazonosítók és a példaadatok értékei eredeti formájukban maradnak. A képernyőképek, diagramok és letölthető fájlok angol nyelvűek. A tudományos példák számai az eredeti angol jelölést használják: tizedesponttal és ezreselválasztó vesszővel. A weboldal egyéb számai magyar területi formázást követnek.
Példa: esztétikai ellenőrzés
Két ellenőr ugyanazt a 60 festett burkolatot sorolja Accept (elfogad) vagy Reject (elutasít) kategóriába. Egy minőségügyi értékelőcsoport referenciadöntése rejtve marad előttük. A vizsgálat egyértelmű és határeseteket is tartalmaz, összesen 120 értékeléssel.
Az esztétikai ellenőrzés példájának letöltése (CSV)Ez ugyanaz a példa, amely a Help részben szerepel. A sample_id a burkolatot, az operator_id az ellenőrt azonosítja, a trial 1, a decision az ellenőr értékelését, a reference_decision az értékelőcsoport referenciaértékelését tartalmazza.
1. Elemzés létrehozása
Az oldalsávon nyissa meg a Measurement systems menüt, válassza a Kappa (Attributes) lehetőséget, és nevezze el az elemzést. Válassza a New blank worksheet és a Create analysis lehetőséget.
2. Az adatok importálása
A Worksheet lapon válassza az Import lehetőséget. Válassza ki a letöltött fájlt, vagy illessze be a tartalmát. Az elválasztó legyen Comma, használja a Decimal dot lehetőséget, és jelölje be a First row contains column names beállítást. Tekintse meg az import előnézetét, majd válassza az Import into worksheet lehetőséget. Tartson meg minden sort az eredeti sorrendjében.
3. A bemeneti oszlopok hozzárendelése
Az Inputs lapon rendelje a sample_id oszlopot a Sample ID, az operator_id oszlopot az Appraiser, a trial oszlopot a Trial ID, a decision oszlopot a Rating, a reference_decision oszlopot a Reference rating (optional) mezőhöz, mindegyiket az oszlopválasztóból kiválasztva.
Ellenőrizze, hogy az alkalmazás 60 × 2 × 1 szerkezetet érzékel-e: 60 burkolat, két ellenőr és egy mérési kör.
4. A vizsgálat beállításai
A Significance level (α) mezőbe írja be: 0.05. Az Appraiser vs standard κ mezőben válassza a Pool ratings across trials lehetőséget.
Nyissa meg a Bootstrap intervals részt. A Number of bootstrap resamples mezőbe írja be: 1000, a Bootstrap seed mezőbe: 42. Az intervallumok reprodukálásához használja ugyanazt az adatsorrendet és magot. Ehhez az importált vizsgálathoz nincs szükség a Create a worksheet template lehetőségre. A bootstrap-újramintavétel az intervallumbizonytalanság becsléséhez ismételten, visszatevéssel mintáz a vizsgálati burkolatokból. A mag rögzíti ezt a mintavételi sorrendet az intervallumok reprodukálásához; nem teszi őket pontosabbá.
5. Elemzés futtatása
Válassza a Run analysis lehetőséget, majd nyissa meg a Results lapot.
6. Az eredmények értelmezése
Az ellenőrök összehasonlítása
Az ellenőrök 60 burkolatból 48-nál egyeznek, vagyis 80%-ban. A hőtérkép Cohen-féle κ = 0.5946 értéket mutat, amely az egyezést az értékelési összesítéseikből véletlenül adódó egyezésre korrigálja. A 95%-os intervallum körülbelül 0.3667–0.7966. A κ nem pontossági százalék.
Cohen-féle κ a két ellenőr között. Véletlen egyezésre korrigált egyezés, nem pontossági százalék. Teljes méretű diagram megtekintése (új lapon nyílik meg) Összehasonlítás a referenciával
Mindkét ellenőr 60 referenciadöntésből 52-vel egyezik. Az A ellenőr négy referencia szerinti elutasítást elfogad, és négy referencia szerinti elfogadást elutasít. A B ellenőr két referencia szerinti elutasítást elfogad, és hat referencia szerinti elfogadást elutasít. Az azonos teljes találati arány eltérő hibatípusokat rejt.
A hibatáblázatok értelmezése
A nyíl iránya ellenőri döntés → referenciadöntés. Az Accept→Reject téves elfogadás; a Reject→Accept téves riasztás, vagyis téves elutasítás. A téves elfogadási arány nevezője a 24 referencia szerinti elutasítás. A téves riasztási arányé a 36 referencia szerinti elfogadás.
A vizsgálati terv szem előtt tartása
A vizsgálat 60% referencia szerinti elfogadást és 40% referencia szerinti elutasítást tartalmaz. Ez az összetétel befolyásolja a κ-t, és nem a gyártási selejtarány. Minden ellenőr minden burkolatot egyszer értékel, így a vizsgálat nem ellenőrizheti, hogy ugyanaz az ellenőr megbízhatóan megismétli-e ugyanazt a döntést.
A felülvizsgálat tárgyának meghatározása
Tekintse át a vitatott burkolatokat az írott ellenőrzési kritériumok alapján. A téves elfogadásokat és téves riasztásokat külön mérlegelje. Végezzen újabb mérési kört, ha ugyanazon ellenőr ismételt döntéseinek következetességét kell értékelnie.
További részletek: olvassa el az egyes eredményszakaszokat
A teljes eredménytáblázatok a Helphez hasonlóan hat értékes számjegyet használnak.
Ellenőrök között (páronkénti κ)
Az ellenőrök 60 burkolatból 48-nál egyeznek (80%). Kategóriáik peremösszegeiből a várható egyezés 50.67%, így a Cohen-féle κ = 0.5946. A rögzített magú 95%-os bootstrap-intervallum körülbelül 0.3667–0.7966. A κ nem pontossági százalék, és az ellenőrök közötti egyezés nem igazolja a referenciához viszonyított helyességet.
| Első megfigyelő / mérési kör | Második megfigyelő / mérési kör | Összehasonlítások | Megfigyelt egyezés P₀ | Várható egyezés Pₑ | κ | 95%-os konfidenciaintervallum — alsó | 95%-os konfidenciaintervallum — felső |
|---|---|---|---|---|---|---|---|
| Inspector A | Inspector B | 60 | 0.8 | 0.506667 | 0.594595 | 0.366667 | 0.79661 |
Ellenőr és referencia (pontosság)
Mindkét ellenőr 60 referenciadöntésből 52-vel egyezik (86.67%). κ-értékeik kissé eltérnek: A esetében 0.7222, B esetében 0.7297, mert kategóriáik peremösszegei eltérnek. A Reject a hibakategória. A téves elfogadási arány A-nál 16.67%, B-nél 8.33%; a téves riasztási arány rendre 11.11% és 16.67%. Ezek az arányok eltérő referenciakategória-nevezőket használnak.
A referenciával szembeni κ egy Cohen-együtthatót használ a mérési körök összevont értékeléseiből. A megfigyelt és várható egyezés összevont arány. A találati, téves elfogadási és téves riasztási arányok 0–1 közötti arányok.
| Ellenőr | Összehasonlítások | Megfigyelt egyezés P₀ | Várható egyezés Pₑ | κ | 95%-os konfidenciaintervallum — alsó | 95%-os konfidenciaintervallum — felső | Találati arány (mind) | Találati arány (bármelyik) | Téves elfogadás aránya | Téves riasztás aránya |
|---|---|---|---|---|---|---|---|---|---|---|
| Inspector A | 60 | 0.866667 | 0.52 | 0.722222 | 0.507042 | 0.893365 | 0.866667 | — | 0.166667 | 0.111111 |
| Inspector B | 60 | 0.866667 | 0.506667 | 0.72973 | 0.533333 | 0.897727 | 0.866667 | — | 0.0833333 | 0.166667 |
Tévesztési darabszámok — A ellenőr és referencia
A nyíl iránya ellenőri döntés → referenciadöntés. Az Accept→Reject négy téves elfogadást jelent a 24 referencia szerinti elutasításból. A Reject→Accept négy téves riasztást jelent a 36 referencia szerinti elfogadásból. A fennmaradó 52 döntés egyezik a referenciával.
| Döntés → referencia | Darabszám |
|---|---|
| Accept→Accept | 32 |
| Accept→Reject | 4 |
| Reject→Accept | 4 |
| Reject→Reject | 20 |
Tévesztési darabszámok — B ellenőr és referencia
A B ellenőr a 24 referencia szerinti elutasításból kettőt elfogad, és a 36 referencia szerinti elfogadásból hatot tévesen elutasít. Az A ellenőrével azonos teljes egyezés így a hibatípusok más egyensúlyát rejti.
| Döntés → referencia | Darabszám |
|---|---|
| Accept→Accept | 30 |
| Accept→Reject | 2 |
| Reject→Accept | 6 |
| Reject→Reject | 22 |
Kategóriák részaránya
A referencia összetétele 60% Accept és 40% Reject: 36 és 24 burkolat. Ez a vizsgálati összetétel, nem a gyártási selejtarány becslése. A kategóriák részaránya befolyásolja a véletlen egyezésre korrigált egyezést, ezért κ-értékeket csak megfelelő összefüggésben hasonlítson össze.
| Kategória | Arány |
|---|---|
| Accept | 0.6 |
| Reject | 0.4 |
Kappa — vizsgálati összegzés
60 minta és két ellenőr van, elhagyott összehasonlítás nincs. Minden ellenőr minden mintát egyszer értékel, ezért ugyanazon ellenőr döntéseinek ismételhetősége nem értékelhető. A 42-es mag 1,000 újramintával ugyanazon adatok, beállítások és számítási verzió mellett reprodukálja ezeket a bootstrap-intervallumokat. Véletlenszerű mintavételhez hagyja üresen a magot.
| Statisztika | Érték |
|---|---|
| Darabok | 60 |
| Kezelők | Inspector A, Inspector B |
| Kategóriák | Accept, Reject |
| Személyek közötti / személyen belüli módszer | Cohen-féle κ |
| Próbánkénti értékelések kezelése a referenciával való összevetésben | Összevont értékelések |
| Kihagyott összehasonlítások | 0 |
| Bootstrap-mag | 42 |
Kontingenciadarabszámok — A ellenőr / B ellenőr
A kontingenciadarabszámok közvetlenül az A és B ellenőrt hasonlítják össze. A megfigyelt egyezésüket magyarázzák; a téves elfogadások és téves riasztások értékeléséhez használja a referencia szerinti tévesztési táblázatokat.
| Első kategória | Második kategória | Darabszám |
|---|---|---|
| Accept | Accept | 28 |
| Accept | Reject | 8 |
| Reject | Accept | 4 |
| Reject | Reject | 20 |
7. Jelentés készítése
Őrizze meg a Between operators (pairwise κ), Operator vs standard (accuracy) eredményeket, mindkét referencia szerinti tévesztési darabszámtáblázatot, a Category prevalence, Kappa — study summary táblázatokat, az ellenőrök közötti kontingenciadarabszámokat és az egyezési hőtérképet. Rögzítse, hogy minden ellenőr minden burkolatot egyszer értékelt.
Válassza az Add to report lehetőséget a befejezett futtatásban. Nyissa meg a Choose individual items and advanced options panelt a táblázatok és diagramok kiválasztásához, majd válassza az Add to draft lehetőséget. A rejtett elemek megmaradnak a mentett elemzésben.
Nevezze el a jelentést, és adja meg a vizsgálat célját és saját értelmezését. Válassza a Save lehetőséget, tekintse meg a Preview nézetet, majd használja az Export → Download HTML lehetőséget. Az alábbi példa a teljes kiválasztott tartalmat tartalmazza, a képernyőn egyszerre látható részen túli eredményekkel együtt.