不确定性校准,即预测置信度与准确性之间的对齐,对于机器学习系统在现实世界应用中的可靠部署至关重要。然而,当前模型往往无法实现这一目标,生成过于自信、不准确甚至捏造的响应。在这里,我们展示了深度学习中广泛采用的初始化方法——长期以来被视为标准实践——实际上是过度自信的主要来源。为了解决这个问题,我们引入了一种受神经发育启发的热身策略,该策略固有地解决了与不确定性相关的问题,而无需进行前处理或后处理。在我们的方法中,网络首先在随机噪声和随机标签上进行简短训练,然后再接触到真实数据。这个热身阶段产生了最佳的校准,确保置信度在随后训练过程中始终与准确性良好对齐。此外,所得到的网络在识别“未知”输入方面表现出高水平的能力,为在分布内和分布外情境中进行不确定性校准提供了稳健的解决方案。Cheon和Paik表明,深度神经网络中的过度自信源于标准初始化实践,而使用随机噪声的简短热身训练改善了不确定性校准和对未知输入的元认知识别.
Cheon等人(周四)研究了这个问题.