Contrôle actif du flux pour la réduction de la traînée des corps bluff en utilisant l'apprentissage par renforcement avec des mesures partielles

Le contrôle actif du flux pour la réduction de la traînée avec l'apprentissage par renforcement (RL) est effectué dans le sillage d'un corps bluff carré bidimensionnel en régimes laminaires avec détachement de vortex. Des régulateurs paramétrés par des réseaux de neurones sont entraînés pour gérer deux jets de soufflage et d'aspiration qui manipulent le flux instable. Le RL avec pleine observabilité (capteurs dans le sillage) découvre avec succès une politique de contrôle qui réduit la traînée en supprimant le détachement des vortex dans le sillage. Cependant, une dégradation de performance non négligeable (réduction de la traînée de 50 %) est observée lorsque le régulateur est entraîné avec des mesures partielles (capteurs sur le corps). Pour atténuer cet effet, nous proposons un schéma de contrôle RL dynamique, efficace en énergie, basé sur l'entropie maximale. Tout d'abord, une fonction de récompense basée sur l'efficacité énergétique est proposée pour optimiser la consommation d'énergie du régulateur tout en maximisant la réduction de la traînée. Deuxièmement, le régulateur est formé avec un état augmenté consistant à la fois en mesures et actions actuelles et passées, pouvant être formulé comme un modèle autoregressif exogène non linéaire, pour atténuer le problème de partialité observatoire. Troisièmement, des algorithmes RL d'entropie maximale (acteur critique doux et critiques quantiles tronqués) qui favorisent l'exploration et l'exploitation de manière efficace en échantillon sont utilisés, et découvrent des politiques quasi-optimales dans le cas difficile de mesures partielles. La stabilisation du détachement des vortex est réalisée dans le sillage proche en n'utilisant que des mesures de pression de surface à l'arrière du corps, ce qui entraîne une réduction de la traînée similaire à celle du cas avec capteurs de sillage. L'approche proposée ouvre de nouvelles voies pour un contrôle dynamique du flux utilisant des mesures partielles pour des configurations réalistes.