Key points are not available for this paper at this time.
A escolha do tamanho do passo na otimização convexa de primeira ordem é tipicamente baseada na constante de suavidade e desempenha um papel crucial no desempenho dos algoritmos. Recentemente, houve um interesse ressurgente em introduzir tamanhos de passo adaptativos que não dependem explicitamente da constante de suavidade. Neste artigo, propomos uma nova regra de tamanho de passo adaptativa baseada em avaliações de função (ou seja, informações de zero ordem) que possui garantias de convergência comprováveis para descentes de gradiente acelerados e não acelerados. Discutimos ainda as semelhanças e diferenças entre os regimes de tamanho de passo propostos e as regras de tamanho de passo existentes (incluindo Polyak e Armijo). Numericamente, avaliamos o desempenho dos nossos algoritmos propostos com a literatura de ponta em três classes diferentes de minimização suave (regressão logística, programação quadrática, log-soma-exponencial e programação semidefinida aproximada), minimização composta (problemas com restrição e regularizados) e minimização não convexa (problema cúbico).
Baghbadorani et al. (Mon,) estudaram esta questão.