应用命令、工作表标识符和示例数据值保留原文。截图、图表和下载文件均为英文。
示例： 外观检验
两名检验员分别将同一组 60 个涂装壳体判为 Accept（接收）或 Reject（拒收）。质量评审组的参考判定不向他们公开。研究包含界限清晰和临界的样例，共有 120 次判定。
下载外观检验示例（CSV，英文列名）此示例与 Help 中使用的示例相同。sample_id 标识壳体，operator_id 标识检验员，trial 为 1，decision 包含检验员判定，reference_decision 包含评审组的参考判定。
1. 创建分析
在侧边栏中打开 Measurement systems，选择 Kappa (Attributes)，并为分析命名。选择 New blank worksheet 和 Create analysis。
2. 导入数据
在 Worksheet 中选择 Import。选择已下载的文件或粘贴其内容。将分隔符设为 Comma，使用 Decimal dot，并选中 First row contains column names。预览导入内容，然后选择 Import into worksheet。保持全部数据行的原始顺序。
3. 指定输入列
在 Inputs 中，使用各字段的列选择器，将 sample_id 指定给 Sample ID，将 operator_id 指定给 Appraiser，将 trial 指定给 Trial ID，将 decision 指定给 Rating，将 reference_decision 指定给 Reference rating (optional)。
检查应用是否识别出 60 × 2 × 1：60 个壳体、两名检验员及一轮判定。
4. 设置研究选项
在 Significance level (α) 中输入 0.05。在 Appraiser vs standard κ 中选择 Pool ratings across trials。
打开 Bootstrap intervals。在 Number of bootstrap resamples 中输入 1000，在 Bootstrap seed 中输入 42。使用相同的数据顺序和种子以复现区间。此研究使用已导入的数据，无需 Create a worksheet template。自助重抽样对研究中的壳体进行有放回的重复抽样，以估计区间的不确定性。种子固定抽样序列，使区间可复现；它不会提高区间的准确性。
5. 运行分析
选择 Run analysis，然后打开 Results。
6. 解读结果
比较检验员
检验员对 60 个壳体中的 48 个判定一致，即 80%。热图显示 Cohen κ = 0.5946，它对根据各自类别判定总数而产生的偶然一致性进行了校正。95% 区间约为 0.3667–0.7966。κ 并非准确率百分比。
英文图表：两名检验员之间的 Cohen κ。它是经偶然一致性校正的一致性指标，并非准确率百分比。 查看原尺寸图表 （在新标签页中打开） 与参考判定比较
两名检验员各自与 60 个参考判定中的 52 个一致。检验员 A 漏判了四个参考拒收件，并误拒收了四个参考接收件。检验员 B 漏判了两个参考拒收件，并误拒收了六个参考接收件。相同的总符合率掩盖了不同的错误类型。
阅读错误计数表
箭头方向为检验员判定 → 参考判定。Accept→Reject 为漏判拒收件；Reject→Accept 为误报。漏判率以 24 个参考拒收件为分母，误报率以 36 个参考接收件为分母。
明确研究设计
此研究中，参考接收件占 60%，参考拒收件占 40%。这种构成会影响 κ，且并非生产拒收率。每名检验员对每个壳体只判定一次，因此此研究无法检查同一检验员能否可靠地重复给出相同判定。
决定审查内容
对照书面检验准则审查存在争议的壳体。分别考虑漏判拒收件和误报。如需评估各检验员自身的一致性，应增加一轮判定后重复研究。
更多详情：阅读各结果部分
完整结果表采用六位有效数字，与 Help 中一致。
操作员之间的一致性（两两 κ）
检验员对 60 个壳体中的 48 个判定一致（80%）。根据各类别边际总数计算的预期一致率为 50.67%，得到 Cohen κ = 0.5946。设置种子的 95% 自助法区间约为 0.3667–0.7966。κ 并非准确率百分比，检验员之间判定一致也不能证明其判定符合参考。
| 第一位观察者 / 轮次 | 第二位观察者 / 轮次 | 比较次数 | 观测一致率 P₀ | 预期一致率 Pₑ | κ | 95% 置信区间下限 | 95% 置信区间上限 |
|---|---|---|---|---|---|---|---|
| Inspector A | Inspector B | 60 | 0.8 | 0.506667 | 0.594595 | 0.366667 | 0.79661 |
操作员与标准比较（准确性）
两名检验员各自与 60 个参考判定中的 52 个一致（86.67%）。两者 κ 略有不同：A 为 0.7222，B 为 0.7297，因为各自的类别边际总数不同。Reject 被视为缺陷类别。A 的漏判率为 16.67%，B 为 8.33%；误报率分别为 11.11% 和 16.67%。这些比率使用不同参考类别的数量作为分母。
与标准比较的 κ 使用合并各轮判定后得到的一个 Cohen 系数。观测和预期一致率均为合并比例。符合率、漏判率和误报率均为比例（0–1）。
| 操作员 | 比较次数 | 观测一致率 P₀ | 预期一致率 Pₑ | κ | 95% 置信区间下限 | 95% 置信区间上限 | 符合率（全部） | 符合率（任一） | 漏判率 | 误报率 |
|---|---|---|---|---|---|---|---|---|---|---|
| Inspector A | 60 | 0.866667 | 0.52 | 0.722222 | 0.507042 | 0.893365 | 0.866667 | — | 0.166667 | 0.111111 |
| Inspector B | 60 | 0.866667 | 0.506667 | 0.72973 | 0.533333 | 0.897727 | 0.866667 | — | 0.0833333 | 0.166667 |
混淆计数 — 检验员 A 与标准比较
箭头方向为检验员判定 → 参考判定。Accept→Reject 表示 24 个参考拒收件中有四个漏判。Reject→Accept 表示 36 个参考接收件中有四个误报。其余 52 次判定与参考一致。
| 判定 → 标准 | 计数 |
|---|---|
| Accept→Accept | 32 |
| Accept→Reject | 4 |
| Reject→Accept | 4 |
| Reject→Reject | 20 |
混淆计数 — 检验员 B 与标准比较
检验员 B 漏判了 24 个参考拒收件中的两个，并误拒收了 36 个参考接收件中的六个。因此，与检验员 A 相同的总一致率掩盖了不同的错误类型构成。
| 判定 → 标准 | 计数 |
|---|---|
| Accept→Accept | 30 |
| Accept→Reject | 2 |
| Reject→Accept | 6 |
| Reject→Reject | 22 |
类别占比
参考类别构成为 60% Accept 和 40% Reject，分别为 36 和 24 个壳体。这是研究中的构成，并非生产拒收率的估计。类别占比影响经偶然一致性校正的一致性指标，因此仅应结合合适的背景比较 κ。
| 类别 | 比例 |
|---|---|
| Accept | 0.6 |
| Reject | 0.4 |
Kappa — 研究摘要
共有 60 个样本、两名检验员，未丢弃任何比较。每名检验员对每个样本只判定一次，因此无法评估同一检验员内的重复性。对于相同的数据、设置和计算版本，种子 42 配合 1,000 次重抽样可复现这些自助法区间。种子留空则进行随机抽样。
| 统计量 | 数值 |
|---|---|
| 零件数 | 60 |
| 操作员 | Inspector A, Inspector B |
| 类别 | Accept, Reject |
| 评价者间/内方法 | Cohen κ |
| 与标准比较时的轮次处理方式 | 合并评级 |
| 剔除的比较数 | 0 |
| Bootstrap 随机种子 | 42 |
列联计数 — 检验员 A / 检验员 B
列联计数直接比较检验员 A 与检验员 B，用于说明其观测一致率；应使用与参考比较的混淆表评估漏判拒收件和误报。
| 第一类别 | 第二类别 | 计数 |
|---|---|---|
| Accept | Accept | 28 |
| Accept | Reject | 8 |
| Reject | Accept | 4 |
| Reject | Reject | 20 |
7. 创建报告
保留英文 Between operators (pairwise κ)、Operator vs standard (accuracy)、两张与参考比较的混淆计数表、Category prevalence、Kappa — study summary、检验员之间的列联计数及一致性热图。记录每名检验员对每个壳体仅判定一次。
在已完成的运行中选择 Add to report 。打开 Choose individual items and advanced options 以选择表格和图表，然后选择 Add to draft。隐藏的项目仍会保留在已保存的分析中。
为报告命名，并添加研究目的和您的解读。选择 Save，查看 Preview，然后使用 Export → Download HTML。以下示例包含全部已选内容，包括超出单屏显示范围的结果。