基于核的多层极限学习机用于表示学习

最近，多层极限学习机（ML-ELM）被应用于堆叠自编码器（SAE）进行表示学习。与传统的SAE相比，ML-ELM的训练时间从小时显著减少到秒，并具有高准确性。然而，ML-ELM存在几个缺点：1）每层的隐含节点数量的手动调节是影响训练时间和泛化能力的不确定因素；2）ML-ELM每层输入权重和偏置的随机投影导致模型泛化不佳；3）每层输出权重的伪逆解会产生相对较大的重建误差；4）表示学习中转换矩阵的存储和执行时间与隐含层的数量成正比。受到核学习的启发，开发了一种ML-ELM的核版本，即多层核极限学习机（ML-KELM），其贡献包括：1）消除了每层隐含节点数量的手动调节；2）没有随机投影机制，从而获得最优的模型泛化；3）在可逆核矩阵下保证输出权重的精确逆解，从而减少重建误差；4）所有转换矩阵统一为仅两个矩阵，从而减少存储并可能缩短模型执行时间。已经使用不同大小的基准数据集对ML-KELM进行了评估。实验结果验证了所提出的ML-KELM的贡献。在基准数据集上准确性的提升高达7%。