تحققوا من الاتفاق بين الفاحصين

قارنوا التقييمات الفئوية بين الفاحصين وبقرار مرجعي اختياري.

الأدلة · أنظمة القياس (MSA) · مدة القراءة: 4 دقائق

تحتفظ أوامر التطبيق ومعرّفات أوراق العمل وقيم بيانات الأمثلة بصيغتها الأصلية. لقطات الشاشة والرسوم البيانية والملفات المتاحة للتنزيل باللغة الإنجليزية. تستخدم الأمثلة العلمية النقطة فاصلًا عشريًا والفاصلة لفصل الآلاف، بينما تُنسّق أسعار الموقع وأعداده وفق الإعداد العربي.

مثال: الفحص المظهري

يصنّف كلٌّ من الفاحصين الأغلفة المطلية الـ60 نفسها على أنها Accept (قبول) أو Reject (رفض). يُحجب عنهما القرار المرجعي للجنة جودة. تتضمن الدراسة حالات واضحة وأخرى حدّية، بإجمالي 120 تقييمًا.

نزّلوا مثال الفحص المظهري (CSV)

هذا هو المثال نفسه المستخدم في Help. يعرّف sample_id الغلاف، ويعرّف operator_id الفاحص، وtrial يساوي 1، ويحتوي decision تقييم الفاحص، ويحتوي reference_decision التقييم المرجعي للجنة.

1. أنشئوا التحليل

في الشريط الجانبي، افتحوا Measurement systems، واختاروا Kappa (Attributes)، وسمّوا التحليل. حددوا New blank worksheet وCreate analysis.

2. استوردوا البيانات

في Worksheet، اختاروا Import. حددوا الملف المنزّل أو الصقوا محتوياته. اضبطوا الفاصل على Comma، واستخدموا Decimal dot، وفعّلوا First row contains column names. عاينوا الاستيراد، ثم اختاروا Import into worksheet. أبقوا كل صف بترتيبه الأصلي.

3. عيّنوا أعمدة المدخلات

في Inputs، عيّنوا sample_id إلى Sample ID وoperator_id إلى Appraiser وtrial إلى Trial ID وdecision إلى Rating وreference_decision إلى Reference rating (optional)، باختيار كل منها من منتقي الأعمدة.

تحققوا من أن التطبيق يكتشف 60 × 2 × 1: 60 غلافًا، وفاحصان ومحاولة واحدة.

4. اضبطوا خيارات الدراسة

أدخلوا 0.05 في Significance level (α). في Appraiser vs standard κ، اختاروا Pool ratings across trials.

افتحوا Bootstrap intervals. أدخلوا 1000 في Number of bootstrap resamples و42 في Bootstrap seed. استخدموا ترتيب البيانات وقيمة التهيئة نفسيهما لإعادة إنتاج الفترات. لا تحتاجون إلى Create a worksheet template لهذه الدراسة المستوردة. تسحب إعادة المعاينة بطريقة bootstrap عينات متكررة من أغلفة الدراسة مع الإرجاع لتقدير عدم يقين الفترة. تثبّت قيمة التهيئة تسلسل المعاينة ذلك لإمكان إعادة إنتاج الفترات؛ ولا تجعلها أدق.

Kappa (Attributes): المدخلات مع تعيينات المثال وإعداداته
التعيينات الخمسة والمقارنة المجمّعة بالمرجع ومستوى الدلالة وإعدادات إعادة المعاينة ذات قيمة التهيئة في المدخلات. عرض الصورة بالحجم الكامل (يُفتح في علامة تبويب جديدة)

5. شغّلوا التحليل

اختاروا Run analysis، ثم افتحوا Results.

6. تفسير النتائج

  1. قارنوا الفاحصين

    يتفق الفاحصان على 48 من 60 غلافًا، أو 80%. تعرض الخريطة الحرارية κ لكوهين = 0.5946، وهي تعدّل الاتفاق وفق ما قد تنتجه مجاميع تقييماتهما بالمصادفة. فترة 95% نحو 0.3667–0.7966. ليست κ نسبة دقة مئوية.

    الاتفاق بين المشغّلين
    κ لكوهين بين الفاحصين. هذا اتفاق معدّل للمصادفة، وليس نسبة دقة مئوية. عرض المخطط بالحجم الكامل (يُفتح في علامة تبويب جديدة)
  2. قارنوا بالمرجع

    يطابق كل من الفاحصين 52 من 60 قرارًا مرجعيًا. يُغفل الفاحص A أربع حالات رفض مرجعية ويرفض أربع حالات قبول مرجعية. يُغفل الفاحص B حالتي رفض مرجعيتين ويرفض ست حالات قبول مرجعية. يخفي معدل المطابقة الكلي نفسه أنواع أخطاء مختلفة.

  3. اقرؤوا جداول الأخطاء

    يُقرأ السهم قرار الفاحص → القرار المرجعي. Accept→Reject حالة رفض مغفلة؛ وReject→Accept إنذار كاذب. تستخدم معدلات الإغفال حالات الرفض المرجعية الـ24. وتستخدم معدلات الإنذار الكاذب حالات القبول المرجعية الـ36.

  4. أبقوا تصميم الدراسة في الحسبان

    تتضمن الدراسة 60% قبولًا مرجعيًا و40% رفضًا مرجعيًا. يؤثر هذا المزيج في κ وليس معدل رفض الإنتاج. يقيّم كل فاحص كل غلاف مرة واحدة، لذا لا تستطيع الدراسة التحقق مما إذا كان الفاحص يكرر القرار نفسه بموثوقية.

  5. حددوا ما ستراجعونه

    راجعوا الأغلفة المختلف عليها مقابل معايير الفحص المكتوبة. انظروا في حالات الرفض المغفلة والإنذارات الكاذبة على حدة. كرروا الدراسة بمحاولة أخرى إذا احتجتم إلى تقييم الاتساق داخل كل فاحص.

مزيد من التفاصيل: اقرؤوا كل قسم من النتائج

تستخدم جداول النتائج الكاملة ستة أرقام معنوية، كما في Help.

بين المشغّلين (κ لكل زوج)

يتفق الفاحصان على 48 من 60 غلافًا (80%). الاتفاق المتوقع من المجاميع الهامشية لفئاتهما 50.67%، مما يعطي κ لكوهين = 0.5946. فترة إعادة المعاينة 95% ذات قيمة التهيئة نحو 0.3667–0.7966. ليست κ نسبة دقة مئوية، ولا يثبت اتفاق الفاحصين صحة القرار مقابل المرجع.

بين المشغّلين (κ لكل زوج) · صف واحد (1)
المراقب الأول / المحاولةالمراقب الثاني / المحاولةالمقارناتالاتفاق المرصود P₀الاتفاق المتوقع Pₑκفترة الثقة 95% — الحد الأدنىفترة الثقة 95% — الحد الأعلى
Inspector AInspector B600.80.5066670.5945950.3666670.79661

المشغّل مقابل المرجع (الدقة)

يطابق كل من الفاحصين 52 من 60 قرارًا مرجعيًا (86.67%). تختلف قيمتا κ قليلًا: 0.7222 لـA و0.7297 لـB، لاختلاف المجاميع الهامشية لفئاتهما. يُعامل Reject على أنه فئة العيب. معدلات الإغفال 16.67% لـA و8.33% لـB؛ ومعدلات الإنذار الكاذب 11.11% و16.67%، على الترتيب. تستخدم هذه المعدلات مقامات مختلفة لفئات المرجع.

تستخدم κ مقابل المرجع معامل كوهين واحدًا من تقييمات المحاولات المجمّعة. الاتفاق المرصود والمتوقع نسب مجمّعة. الكفاءة ومعدلات الإغفال والإنذار الكاذب نسب (0–1).

المشغّل مقابل المرجع (الدقة) · صفان (2)
المشغّلالمقارناتالاتفاق المرصود P₀الاتفاق المتوقع Pₑκفترة الثقة 95% — الحد الأدنىفترة الثقة 95% — الحد الأعلىالكفاءة (الكل)الكفاءة (أي)معدل الإغفالمعدل الإنذار الكاذب
Inspector A600.8666670.520.7222220.5070420.8933650.866667—0.1666670.111111
Inspector B600.8666670.5066670.729730.5333330.8977270.866667—0.08333330.166667

أعداد الالتباس — الفاحص A مقابل المرجع

يُقرأ السهم قرار الفاحص → القرار المرجعي. يمثّل Accept→Reject أربع حالات رفض مغفلة من أصل 24 حالة رفض مرجعية. ويمثّل Reject→Accept أربعة إنذارات كاذبة من أصل 36 حالة قبول مرجعية. تطابق القرارات الـ52 الباقية المرجع.

أعداد الالتباس — الفاحص A مقابل المرجع · 4 صفوف
القرار → المرجعالعدد
Accept→Accept32
Accept→Reject4
Reject→Accept4
Reject→Reject20

أعداد الالتباس — الفاحص B مقابل المرجع

يُغفل الفاحص B حالتين من حالات الرفض المرجعية الـ24 ويرفض خطأ ستًا من حالات القبول المرجعية الـ36. لذا يخفي الاتفاق الكلي نفسه لدى الفاحص A توازنًا مختلفًا بين أنواع الأخطاء.

أعداد الالتباس — الفاحص B مقابل المرجع · 4 صفوف
القرار → المرجعالعدد
Accept→Accept30
Accept→Reject2
Reject→Accept6
Reject→Reject22

انتشار الفئات

المزيج المرجعي 60% Accept و40% Reject: أي 36 و24 غلافًا. إنه مزيج الدراسة وليس تقديرًا لمعدل رفض الإنتاج. يؤثر انتشار الفئات في الاتفاق المعدّل للمصادفة، لذا قارنوا قيم κ في سياق مناسب فقط.

انتشار الفئات · صفان (2)
الفئةالنسبة
Accept0.6
Reject0.4

كابا — ملخص الدراسة

توجد 60 عينة وفاحصان، ولا توجد مقارنات مستبعدة. يقيّم كل فاحص كل عينة مرة واحدة، لذا لا يمكن تقييم قابلية التكرار داخل الفاحص. باستخدام قيمة التهيئة 42 و1,000 إعادة معاينة، يمكن إعادة إنتاج فترات إعادة المعاينة هذه للبيانات والإعدادات وإصدار الحساب نفسها. اتركوا قيمة التهيئة فارغة للمعاينة العشوائية.

كابا — ملخص الدراسة · 7 صفوف
الإحصائيةالقيمة
القطع60
المشغّلونInspector A, Inspector B
الفئاتAccept, Reject
طريقة المقارنة بين المقيّمين / داخل المقيّمκ لـ Cohen
طريقة معالجة المحاولات في المقارنة بالمرجعالتقييمات المجمّعة
المقارنات المستبعدة0
قيمة تهيئة bootstrap42

أعداد الجدول التقاطعي — الفاحص A / الفاحص B

تقارن أعداد الجدول التقاطعي الفاحص A والفاحص B مباشرة. وتفسّر اتفاقهما المرصود؛ استخدموا جدولي الالتباس مع المرجع لتقييم حالات الرفض المغفلة والإنذارات الكاذبة.

أعداد الجدول التقاطعي — الفاحص A / الفاحص B · 4 صفوف
الفئة الأولىالفئة الثانيةالعدد
AcceptAccept28
AcceptReject8
RejectAccept4
RejectReject20

7. إنشاء تقرير

احتفظوا بـBetween operators (pairwise κ) وOperator vs standard (accuracy) وجدولي أعداد الالتباس مع المرجع وCategory prevalence وKappa — study summary وأعداد الجدول التقاطعي بين الفاحصين والخريطة الحرارية للاتفاق. سجّلوا أن كل فاحص قيّم كل غلاف مرة واحدة.

اختاروا Add to report من التحليل المكتمل. افتحوا Choose individual items and advanced options لتحديد الجداول والرسوم، ثم اختاروا Add to draft. تبقى العناصر المخفية في التحليل المحفوظ.

سمّوا التقرير وأضيفوا غرض الدراسة وتفسيركم. اختاروا Save، وراجعوا Preview، ثم استخدموا Export → Download HTML. يتضمن المثال أدناه كامل المحتوى المحدد، بما يشمل النتائج التي تتجاوز شاشة واحدة.

أُنشئ هذا التقرير في التطبيق، وهو باللغة الإنجليزية. المخرجات الأصلية الكاملة لهذا المثال من Help، بما يشمل الجداول والرسوم وملاحظات التشغيل المنطبقة. تستخدم أرقام التقرير دقة العرض في التطبيق. والرسوم المصدّرة ثابتة. على الشاشات الضيقة، مرّروا الرسوم والجداول العريضة أفقيًا.
عرض تقرير المثال: هل يتفق الفاحصون على القبول من حيث المظهر؟

نستخدم Microsoft Clarity لفهم كيفية استخدام الزوار لهذا الموقع، بما يشمل تسجيلات الجلسات والخرائط الحرارية. يمكنكم استخدام الموقع دون الموافقة على تحليلات زياراته.

يُحفظ اختياركم في هذا المتصفح لمدة ستة أشهر. إشعار الخصوصية

الاختيار الحالي: لم يُحدَّد اختيار.