Названия команд приложения, идентификаторы рабочих листов и значения данных примеров сохраняют исходное написание. Снимки экрана, графики и загружаемые файлы представлены на английском языке.
Пример: Контроль внешнего вида
Два контролёра классифицируют одни и те же 60 окрашенных корпусов как Accept или Reject. Опорное решение группы экспертов по качеству скрыто от них. Исследование включает явные и пограничные случаи, всего 120 оценок.
Скачать пример контроля внешнего вида (CSV)Это тот же пример, который используется в Help. sample_id определяет корпус, operator_id — контролёра, trial равно 1, decision содержит оценку контролёра, а reference_decision — опорную оценку экспертной группы.
1. Создайте анализ
На боковой панели откройте Measurement systems, выберите Kappa (Attributes) и назовите анализ. Выберите New blank worksheet и Create analysis.
2. Импортируйте данные
На вкладке Worksheet выберите Import. Выберите загруженный файл или вставьте его содержимое. Установите разделитель Comma, используйте Decimal dot и отметьте First row contains column names. Просмотрите импорт, затем выберите Import into worksheet. Сохраните каждую строку в исходном порядке.
3. Назначьте входные столбцы
На вкладке Inputs назначьте sample_id в Sample ID, operator_id в Appraiser, trial в Trial ID, decision в Rating, а reference_decision в Reference rating (optional), выбирая каждый столбец в списке.
Убедитесь, что приложение распознало 60 × 2 × 1: 60 корпусов, два контролёра и один повтор.
4. Задайте параметры исследования
Введите 0.05 в Significance level (α). В поле Appraiser vs standard κ выберите Pool ratings across trials.
Откройте Bootstrap intervals. Введите 1000 в Number of bootstrap resamples и 42 в Bootstrap seed. Для воспроизведения интервалов используйте тот же порядок данных и начальное значение генератора. Для этого импортированного исследования Create a worksheet template не требуется. Бутстрэп многократно выбирает корпуса исследования с возвращением для оценки неопределённости интервала. Начальное значение фиксирует последовательность этой выборки и позволяет воспроизвести интервалы, но не делает их точнее.
5. Выполните анализ
Выберите Run analysis, затем откройте Results.
6. Интерпретируйте результаты
Сравните контролёров
Контролёры согласны по 48 из 60 корпусов, или 80%. Тепловая карта показывает κ Коэна = 0.5946 с поправкой на согласие, которое их итоговые количества оценок дали бы случайно. 95% интервал составляет около 0.3667–0.7966. κ не является процентом точности.
κ Коэна между двумя контролёрами. Это согласие с поправкой на случайность, а не процент точности. Посмотреть график в полном размере (в новой вкладке) Сравните с опорным решением
Оба контролёра совпадают с 52 из 60 опорных решений. Контролёр A пропускает четыре опорных Reject и бракует четыре опорных Accept. Контролёр B пропускает два опорных Reject и бракует шесть опорных Accept. Одинаковая общая доля совпадений скрывает разные типы ошибок.
Прочитайте таблицы ошибок
Стрелка читается как решение контролёра → опорное решение. Accept→Reject — пропущенный брак; Reject→Accept — ложная тревога. Доли пропусков используют 24 опорных Reject. Доли ложных тревог используют 36 опорных Accept.
Учитывайте план исследования
Исследование содержит 60% опорных Accept и 40% опорных Reject. Этот состав влияет на κ и не является производственной долей брака. Каждый контролёр оценивает каждый корпус один раз, поэтому исследование не проверяет, надёжно ли контролёр повторяет то же решение.
Решите, что изучить
Сопоставьте спорные корпуса с письменными критериями контроля. Рассматривайте пропущенный брак и ложные тревоги отдельно. Повторите исследование с дополнительным раундом, если нужно оценить согласованность внутри каждого контролёра.
Подробнее: прочитайте каждый раздел результатов
Полные таблицы результатов используют шесть значащих цифр, как в Help.
Между операторами (попарная κ)
Контролёры согласны по 48 из 60 корпусов (80%). Ожидаемое согласие по маргинальным долям категорий равно 50.67%, что даёт κ Коэна = 0.5946. 95% бутстрэп-интервал с заданным начальным значением составляет около 0.3667–0.7966. κ не является процентом точности, а согласие контролёров не устанавливает правильность относительно опорного решения.
| Первый наблюдатель / повтор | Второй наблюдатель / повтор | Сравнения | Наблюдаемое согласие P₀ | Ожидаемое согласие Pₑ | κ | 95% доверительный интервал — нижняя граница | 95% доверительный интервал — верхняя граница |
|---|---|---|---|---|---|---|---|
| Inspector A | Inspector B | 60 | 0.8 | 0.506667 | 0.594595 | 0.366667 | 0.79661 |
Оператор и стандарт (точность)
Оба контролёра совпадают с 52 из 60 опорных решений (86.67%). Их κ немного различаются: 0.7222 для A и 0.7297 для B из-за различий маргинальных долей категорий. Reject считается категорией дефекта. Доли пропусков равны 16.67% для A и 8.33% для B; доли ложных тревог — соответственно 11.11% и 16.67%. Эти доли используют разные знаменатели опорных категорий.
κ относительно стандарта использует один коэффициент Коэна по объединённым оценкам повторов. Наблюдаемое и ожидаемое согласие — объединённые доли. Эффективность, доли пропусков и ложных тревог выражены как доли (0–1).
| Оператор | Сравнения | Наблюдаемое согласие P₀ | Ожидаемое согласие Pₑ | κ | 95% доверительный интервал — нижняя граница | 95% доверительный интервал — верхняя граница | Эффективность (все) | Эффективность (хотя бы один) | Доля пропусков | Доля ложных тревог |
|---|---|---|---|---|---|---|---|---|---|---|
| Inspector A | 60 | 0.866667 | 0.52 | 0.722222 | 0.507042 | 0.893365 | 0.866667 | — | 0.166667 | 0.111111 |
| Inspector B | 60 | 0.866667 | 0.506667 | 0.72973 | 0.533333 | 0.897727 | 0.866667 | — | 0.0833333 | 0.166667 |
Количество решений по сочетаниям — контролёр A и стандарт
Стрелка читается как решение контролёра → опорное решение. Accept→Reject — четыре пропущенных случая брака из 24 опорных Reject. Reject→Accept — четыре ложные тревоги из 36 опорных Accept. Остальные 52 решения совпадают с опорными.
| Решение → стандарт | Количество |
|---|---|
| Accept→Accept | 32 |
| Accept→Reject | 4 |
| Reject→Accept | 4 |
| Reject→Reject | 20 |
Количество решений по сочетаниям — контролёр B и стандарт
Контролёр B пропускает два из 24 опорных Reject и ошибочно бракует шесть из 36 опорных Accept. Поэтому одинаковое с контролёром A общее согласие скрывает другое соотношение типов ошибок.
| Решение → стандарт | Количество |
|---|---|
| Accept→Accept | 30 |
| Accept→Reject | 2 |
| Reject→Accept | 6 |
| Reject→Reject | 22 |
Распространённость категорий
Состав опорных решений — 60% Accept и 40% Reject: 36 и 24 корпуса. Это состав исследования, а не оценка производственной доли брака. Распространённость категорий влияет на согласие с поправкой на случайность, поэтому сравнивайте κ только в подходящем контексте.
| Категория | Доля |
|---|---|
| Accept | 0.6 |
| Reject | 0.4 |
Каппа — сводка исследования
Имеются 60 образцов, два контролёра и ни одного исключённого сравнения. Каждый контролёр оценивает каждый образец один раз, поэтому повторяемость внутри контролёра оценить нельзя. Начальное значение 42 с 1,000 повторных выборок воспроизводит эти бутстрэп-интервалы для тех же данных, настроек и версии расчёта. Оставьте начальное значение пустым для случайной выборки.
| Статистика | Значение |
|---|---|
| Детали | 60 |
| Операторы | Inspector A, Inspector B |
| Категории | Accept, Reject |
| Метод межэкспертного и внутриэкспертного согласия | κ Коэна |
| Метод сравнения с эталоном по испытаниям | Объединённые оценки |
| Исключённые сравнения | 0 |
| Начальное значение генератора бутстрэпа | 42 |
Таблица сопряжённости — контролёр A / контролёр B
Количества в таблице сопряжённости напрямую сравнивают контролёров A и B. Они объясняют их наблюдаемое согласие; для оценки пропущенного брака и ложных тревог используйте таблицы ошибок относительно опорных решений.
| Первая категория | Вторая категория | Количество |
|---|---|---|
| Accept | Accept | 28 |
| Accept | Reject | 8 |
| Reject | Accept | 4 |
| Reject | Reject | 20 |
7. Создайте отчёт
Сохраните Between operators (pairwise κ), Operator vs standard (accuracy), обе таблицы количеств ошибок относительно опорных решений, Category prevalence, Kappa — study summary, таблицу сопряжённости контролёров и тепловую карту согласия. Запишите, что каждый контролёр оценивал каждый корпус один раз.
Выберите Add to report в завершённом анализе. Откройте Choose individual items and advanced options для выбора таблиц и графиков, затем выберите Add to draft. Скрытые элементы остаются в сохранённом анализе.
Назовите отчёт и добавьте цель исследования и свою интерпретацию. Выберите Save, просмотрите Preview, затем используйте Export → Download HTML. Пример ниже содержит весь выбранный материал, включая результаты за пределами одного экрана.