神经网络的真实热带几何

我们考虑一个二分类器，它定义为热带有理函数的符号，即两个凸分段线性函数的差。ReLU神经网络的参数空间作为半代数集合包含在热带有理函数的参数空间内。我们开始研究这个参数空间的两种不同细分：一种是细分为半代数集合，决策边界的组合类型固定；另一种是细分为多面扇，捕捉数据集划分的组合学。0/1损失函数的子水平集作为这个分类扇的子扇出现，我们展示了水平集不一定是连通的。我们描述分类扇i) 从几何上看，作为激活多面体的法线扇，ii) 从组合上看，通过与有向重数的协向公理和热带有向重数类似的相关二分图的特性列表。我们的发现通过观察在实际热带几何中建立的结构，如超曲面的正热带化和热带半代数集合，扩展并细化了神经网络与热带几何之间的联系。