Apprendre à générer des critiques et découvrir le sentiment

Nous explorons les propriétés des modèles de langage récurrents au niveau des octets. Lorsqu'ils disposent de quantités suffisantes de capacité, de données d'entraînement et de temps de calcul, les représentations apprises par ces modèles incluent des caractéristiques désentrelacées correspondant à des concepts de haut niveau. En particulier, nous trouvons une seule unité qui effectue une analyse de sentiment. Ces représentations, apprises de manière non supervisée, atteignent l'état de l'art sur le sous-ensemble binaire du Stanford Sentiment Treebank. Elles sont également très efficaces en termes de données. En utilisant seulement une poignée d'exemples étiquetés, notre approche égalise les performances de références solides entraînées sur des ensembles de données complets. Nous démontrons également que l'unité de sentiment a une influence directe sur le processus génératif du modèle. Il suffit de fixer sa valeur à positive ou négative pour générer des échantillons avec le sentiment correspondant.