好的问题，好的答案：结构对齐提升工作场所基于评估量表的表现

背景：工作场所的评估很重要，但许多评估显示评估者的一致性和区分性较差。培训讨论表明评估者认为常规量表无效。我们评估构建的量表，以反映与常规量表并行的临床技术和独立性的提高。方法：有效量表应减少评估者的不一致并增加评估者的区分性。我们比较常规和结构对齐的量表，用于通过三种工作场所基于评估（WBA）方法评估大约2000名医学生：迷你临床评估练习（mini-CEX）；急救评估工具（ACAT）和案例讨论（CBD）。我们评估分数如何反映评估者的不一致（V(j) 和 V(j*p)）和评估者的区分性（V(p)），并使用泛化理论建模可靠性。结果：在所有三种情况下，常规量表的表现与之前的评估相似，但结构对齐的量表显著减少了评估者的不一致并显著提高了评估者的区分性。可靠性建模表明，使用新量表时，实现泛化系数≥0.70所需的评估者人数，从mini-CEX的六人降至三人，从CBD的八人降至三人，从“接管”ACAT的10人降至9人，从“后接管”ACAT的30人降至12人。结论：结果表明结构对齐的量表具有更大的效用，因为它们更可靠，并且这种可靠性提供了更大效度的证据。这也有更广泛的意义：现有WBA方法令人失望的可靠性可能反映的不仅是评估者对表现的不同评估，而是不同解读的无对齐量表。与临床评估者的专业知识和学员发展独立性相对齐的量表可能提高对WBA的信心。