多元非参数回归中的成分选择与平滑

我们提出了一种在平滑样条ANOVA框架下进行多元非参数回归模型的模型选择和模型拟合的新方法。“COSSO”是一种正则化方法，其惩罚函数是成分范数的总和，而不是传统平滑样条方法中使用的平方范数。COSSO为多个近期在线性模型和平滑样条ANOVA模型中提出的模型选择方案提供了一个统一的框架。研究了COSSO估计量的理论性质，如存在性和收敛速率。在周期函数的张量积设计的特例中，详细分析表明COSSO通过对函数成分应用一种新颖的软阈值操作进行模型选择。我们给出了COSSO估计量的等效表述，自然地引出了一个迭代算法。我们在模拟和实际实例中将COSSO与构建功能ANOVA模型的流行方法MARS进行了比较。COSSO方法可以扩展到分类问题，我们将其在真实数据集上的表现与多个机器学习算法进行了比较。在这些研究中，COSSO表现非常具有竞争力。