Uygulama komutları, çalışma sayfası kimlikleri ve örnek veri değerleri özgün biçimleriyle korunur. Ekran görüntüleri, grafikler ve indirilen dosyalar İngilizcedir. Bilimsel örneklerde özgün İngilizce sayı gösterimi korunur: ondalık ayırıcı nokta, binlik ayırıcı virgüldür. Web sitesindeki fiyatlar ve sayılar ise Türkçe biçimlendirilir.
Örnek: kozmetik inceleme
İki denetçinin her biri, aynı 60 boyalı muhafazayı Kabul (Accept) veya Ret (Reject) olarak sınıflandırır. Bir kalite kurulunun referans kararı kendilerinden gizlenir. Çalışma, açık ve sınırda durumlar içerir; toplam 120 değerlendirme vardır.
Kozmetik inceleme örneğini indirin (CSV)Bu, Help bölümünde kullanılan örneğin aynısıdır. sample_id muhafazayı, operator_id denetçiyi tanımlar, trial 1'dir, decision denetçinin değerlendirmesini ve reference_decision kurulun referans değerlendirmesini içerir.
1. Analiz oluşturun
Kenar çubuğunda Measurement systems bölümünü açın, Kappa (Attributes) seçeneğini belirleyin ve analizi adlandırın. New blank worksheet ve Create analysis seçeneklerini kullanın.
2. Verileri içe aktarın
Worksheet sekmesinde Import seçeneğini belirleyin. İndirdiğiniz dosyayı seçin veya içeriğini yapıştırın. Ayırıcıyı Comma olarak ayarlayın, Decimal dot seçeneğini kullanın ve First row contains column names ayarını işaretleyin. İçe aktarmanın önizlemesini inceleyin, ardından Import into worksheet seçeneğini kullanın. Her satırı özgün sırasında tutun.
3. Girdi sütunlarını atayın
Inputs sekmesinde, sütun seçiciden seçerek sample_id sütununu Sample ID, operator_id sütununu Appraiser, trial sütununu Trial ID, decision sütununu Rating, reference_decision sütununu Reference rating (optional) alanına atayın.
Uygulamanın 60 × 2 × 1 algıladığını kontrol edin: 60 muhafaza, iki denetçi ve bir deneme.
4. Çalışma seçeneklerini ayarlayın
Significance level (α) alanına 0.05 girin. Appraiser vs standard κ içinde Pool ratings across trials seçeneğini belirleyin.
Bootstrap intervals bölümünü açın. Number of bootstrap resamples alanına 1000, Bootstrap seed alanına 42 girin. Aralıkları yeniden oluşturmak için aynı veri sırasını ve tohumu kullanın. İçe aktarılan bu çalışma için Create a worksheet template gerekmez. Bootstrap yeniden örneklemesi, aralık belirsizliğini tahmin etmek için çalışmadaki muhafazaları yerine koyarak tekrar tekrar örnekler. Tohum, aralıkların yeniden oluşturulabilmesi için bu örnekleme dizisini sabitler; onları daha doğru yapmaz.
5. Analizi çalıştırın
Run analysis seçeneğini kullanın, ardından Results sekmesini açın.
6. Sonuçları yorumlayın
Denetçileri karşılaştırın
Denetçiler 60 muhafazanın 48'inde, yani %80 oranında uyuşur. Isı haritası, değerlendirme toplamlarının şans eseri üreteceği uyuma göre düzeltme yapan Cohen κ = 0.5946 değerini gösterir. %95 aralığı yaklaşık 0.3667–0.7966'dır. κ bir doğruluk yüzdesi değildir.
İki denetçi arasındaki Cohen κ değeri. Bu bir doğruluk yüzdesi değil, şansa göre düzeltilmiş uyumdur. Tam boyutlu grafiği görüntüle (yeni sekmede açılır) Referansla karşılaştırın
Her iki denetçi de 60 referans kararının 52'siyle eşleşir. Denetçi A, dört referans reddini kaçırır ve dört referans kabulünü reddeder. Denetçi B, iki referans reddini kaçırır ve altı referans kabulünü reddeder. Aynı genel eşleşme oranı farklı hata türlerini gizler.
Hata tablolarını okuyun
Ok, denetçi kararı → referans kararı yönünde okunur. Accept→Reject (Kabul→Ret), kaçırılmış bir rettir; Reject→Accept (Ret→Kabul), yanlış alarmdır. Kaçırma oranları 24 referans reddini kullanır. Yanlış alarm oranları 36 referans kabulünü kullanır.
Çalışma tasarımını göz önünde tutun
Çalışma %60 referans kabulü ve %40 referans reddi içerir. Bu karışım κ'yı etkiler ve üretim ret oranı değildir. Her denetçi her muhafazayı bir kez değerlendirir; dolayısıyla çalışma, bir denetçinin aynı kararı güvenilir biçimde tekrarlayıp tekrarlamadığını kontrol edemez.
Neyin gözden geçirileceğine karar verin
Görüş ayrılığı olan muhafazaları yazılı inceleme ölçütlerine göre inceleyin. Kaçırılmış retleri ve yanlış alarmları ayrı değerlendirin. Aynı denetçinin tekrarlanan kararlarının tutarlılığını değerlendirmeniz gerekiyorsa çalışmayı başka bir denemeyle tekrarlayın.
Diğer ayrıntılar: her sonuç bölümünü okuyun
Eksiksiz sonuç tabloları, Help bölümündeki gibi altı anlamlı basamak kullanır.
Operatörler arası (ikili κ)
Denetçiler 60 muhafazanın 48'inde (%80) uyuşur. Kategori marjinlerinden beklenen uyum %50.67'dir ve Cohen κ = 0.5946 verir. Tohumlu %95 bootstrap aralığı yaklaşık 0.3667–0.7966'dır. κ bir doğruluk yüzdesi değildir ve denetçiler arası uyum referansa göre doğruluğu kanıtlamaz.
| İlk gözlemci / deneme | İkinci gözlemci / deneme | Karşılaştırmalar | Gözlenen uyum P₀ | Beklenen uyum Pₑ | κ | %95 güven aralığı — alt | %95 güven aralığı — üst |
|---|---|---|---|---|---|---|---|
| Inspector A | Inspector B | 60 | 0.8 | 0.506667 | 0.594595 | 0.366667 | 0.79661 |
Operatör ve referans (doğruluk)
Her iki denetçi de 60 referans kararının 52'siyle (%86.67) eşleşir. Kategori marjinleri farklı olduğundan κ değerleri biraz farklıdır: A için 0.7222, B için 0.7297. Ret, kusur kategorisi olarak ele alınır. Kaçırma oranları A için %16.67, B için %8.33; yanlış alarm oranları sırasıyla %11.11 ve %16.67'dir. Bu oranlar farklı referans kategorisi paydalarını kullanır.
Referansa karşı κ, birleştirilmiş deneme değerlendirmelerinden tek bir Cohen katsayısı kullanır. Gözlenen ve beklenen uyum birleştirilmiş oranlardır. Etkinlik, kaçırma ve yanlış alarm oranları birer orandır (0–1).
| Operatör | Karşılaştırmalar | Gözlenen uyum P₀ | Beklenen uyum Pₑ | κ | %95 güven aralığı — alt | %95 güven aralığı — üst | Etkinlik (tümü) | Etkinlik (herhangi biri) | Kaçırma oranı | Yanlış alarm oranı |
|---|---|---|---|---|---|---|---|---|---|---|
| Inspector A | 60 | 0.866667 | 0.52 | 0.722222 | 0.507042 | 0.893365 | 0.866667 | — | 0.166667 | 0.111111 |
| Inspector B | 60 | 0.866667 | 0.506667 | 0.72973 | 0.533333 | 0.897727 | 0.866667 | — | 0.0833333 | 0.166667 |
Karışıklık sayımları — Denetçi A ve referans
Ok, denetçi kararı → referans kararı yönünde okunur. Accept→Reject (Kabul→Ret), 24 referans reddinden kaçırılan dört reddi temsil eder. Reject→Accept (Ret→Kabul), 36 referans kabulünden dört yanlış alarmı temsil eder. Kalan 52 karar referansla eşleşir.
| Karar → referans | Sayı |
|---|---|
| Accept→Accept | 32 |
| Accept→Reject | 4 |
| Reject→Accept | 4 |
| Reject→Reject | 20 |
Karışıklık sayımları — Denetçi B ve referans
Denetçi B, 24 referans reddinin ikisini kaçırır ve 36 referans kabulünün altısını yanlışlıkla reddeder. Dolayısıyla Denetçi A ile aynı toplam uyum, farklı hata türleri dengesini gizler.
| Karar → referans | Sayı |
|---|---|
| Accept→Accept | 30 |
| Accept→Reject | 2 |
| Reject→Accept | 6 |
| Reject→Reject | 22 |
Kategori yaygınlığı
Referans karışımı %60 Kabul (Accept) ve %40 Ret (Reject) şeklindedir: 36 ve 24 muhafaza. Bu, üretim ret oranının tahmini değil, çalışma karışımıdır. Kategori yaygınlığı şansa göre düzeltilmiş uyumu etkiler; dolayısıyla κ değerlerini yalnızca uygun bağlamla karşılaştırın.
| Kategori | Oran |
|---|---|
| Accept | 0.6 |
| Reject | 0.4 |
Kappa — çalışma özeti
60 örnek, iki denetçi vardır ve dışlanan karşılaştırma yoktur. Her denetçi her örneği bir kez değerlendirdiğinden aynı denetçinin tekrarlı değerlendirmelerindeki tekrarlanabilirlik değerlendirilemez. 1,000 yeniden örneklemeyle tohum 42, aynı veri, ayarlar ve hesaplama sürümü için bu bootstrap aralıklarını yeniden oluşturur. Rastgele örnekleme için tohumu boş bırakın.
| İstatistik | Değer |
|---|---|
| Parçalar | 60 |
| Operatörler | Inspector A, Inspector B |
| Kategoriler | Accept, Reject |
| Değerlendiriciler arası/içi yöntem | Cohen κ katsayısı |
| Referans karşılaştırmasında değerlendirme tekrarlarını işleme yöntemi | Birleştirilmiş değerlendirmeler |
| Dışlanan karşılaştırmalar | 0 |
| Bootstrap tohumu | 42 |
Çapraz sayımlar — Denetçi A / Denetçi B
Çapraz sayımlar Denetçi A ve Denetçi B'yi doğrudan karşılaştırır. Gözlenen uyumlarını açıklarlar; kaçırılmış retleri ve yanlış alarmları değerlendirmek için referans karışıklık tablolarını kullanın.
| İlk kategori | İkinci kategori | Sayı |
|---|---|---|
| Accept | Accept | 28 |
| Accept | Reject | 8 |
| Reject | Accept | 4 |
| Reject | Reject | 20 |
7. Rapor oluşturun
Between operators (pairwise κ), Operator vs standard (accuracy), her iki referans karışıklık sayımı tablosu, Category prevalence, Kappa — study summary, denetçiler arası çapraz sayımlar ve uyum ısı haritasını saklayın. Her denetçinin her muhafazayı bir kez değerlendirdiğini kaydedin.
Tamamlanan hesaplamada Add to report seçeneğini belirleyin. Tablo ve grafikleri seçmek için Choose individual items and advanced options bölümünü açın, ardından Add to draft seçeneğini belirleyin. Gizlenen öğeler kayıtlı analizde kalır.
Raporu adlandırın, çalışmanın amacını ve yorumunuzu ekleyin. Save seçeneğiyle kaydedin; Preview ile önizlemeyi inceleyin, ardından Export → Download HTML yolunu kullanın. Aşağıdaki örnek, bir ekrana sığmayan sonuçlar dahil seçilen içeriğin tamamını içerir.