三十年的激活：对400种神经网络激活函数的综合调查

神经网络已证明是解决许多领域复杂问题的高效工具。最近，随着深度学习的出现，它们的重要性和实用性进一步得到了强化。神经网络成功的重要条件之一是选择适当的激活函数，以引入非线性到模型中。过去的文献中已经提出了许多类型的这些函数，但没有单一的全面来源包含它们的详尽概述。即使在我们的经验中，这一概述的缺失也导致了冗余以及对已经存在的激活函数的无意再发现。为了填补这一空白，我们的论文提供了涉及400种激活函数的广泛调查，其规模是先前调查的数倍。我们的综合汇编也引用了这些调查；然而，其主要目标是提供对之前发表的激活函数的最全面的概述和系统化，并附上原始出处的链接。次要目标是更新对这一家族函数的当前理解。