What type of study is this?

This is a Quantitative Study study.

October 10, 20250 citationsOpen Access

D2 Actor Critic: Diffusion Actor trifft auf Distributional Critic

LZLunjun ZhangFirst Affiliated Hospital of Bengbu Medical College HSHan ShuoUniversity of Massachusetts Lowell HLHairong LyuNingbo University

Key Points

D2AC erreicht Spitzenleistungen in achtzehn herausfordernden Reinforcement Learning-Aufgaben und verbessert die Lernstabilität.
Das neuartige Ziel zur Verbesserung der Politik mildert die hohe Varianz, die typischerweise bei konventionellen Politikgradienten im Reinforcement Learning auftritt.
Ein robuster distributionaler Kritiker verbessert das Modell durch eine Mischung aus Techniken des distributionalen RL und beschnittenem Double Q-Learning.
Die Bewertung in verschiedenen Aufgaben, einschließlich biologisch inspirierter Räuber-Beute-Szenarien, zeigt eine signifikante Verhaltensrobustheit.

Abstract

Wir stellen D2AC vor, einen neuen modellfreien Reinforcement Learning (RL) Algorithmus, der entwickelt wurde, um expressive Diffusionspolitiken effektiv online zu trainieren. Im Kern steht ein Ziel zur Verbesserung der Politik, das die hohe Varianz typischer Politikgradienten und die Komplexität der Rückpropagation über die Zeit vermeidet. Dieser stabile Lernprozess wird entscheidend durch unseren zweiten Beitrag ermöglicht: einen robusten distributionalen Kritiker, den wir durch eine Fusion von distributionalem RL und beschnittenem Double Q-Learning entwerfen. Der resulting Algorithmus ist äußerst effektiv und erreicht eine Spitzenleistung in einem Benchmark von achtzehn schwierigen RL-Aufgaben, einschließlich der Bereiche Humanoid, Dog und Shadow Hand, die sowohl dichte Belohnungen als auch zielbedingte RL-Szenarien umfassen. Über die Standardbenchmarks hinaus evaluieren wir auch eine biologisch motivierte Räuber-Beute-Aufgabe, um die Verhaltensrobustheit und die Generalisierungsfähigkeit unseres Ansatzes zu untersuchen.

KI fragen

Bookmark

View Full Paper