畳み込みとトランスフォーマーハイブリッドアーキテクチャによるマルチタスクアート絵画分類

アーティスト、スタイル、ジャンルなどの複数のセマンティックファセットにわたる美術作品の自動分類は、大規模なデジタルアーカイブ、セマンティックインデックス作成、文化遺産コレクションの知識整理にとって重要です。本稿では、アート絵画分類のための畳み込みニューラルネットワーク（CNN）-トランスフォーマーハイブリッドアテンションモデル（CTHArt）を提案します。このモデルは、細かい局所テクスチャーモデリングのためのCNNストリームと、全体的な構成およびスタイリスティックコンテキスト学習のためのトランスフォーマーストリームを組み合わせたデュアルブランチハイブリッドバックボーンを採用しています。さらに、ファセット間のセマンティック依存関係を活用するために、タスク固有の分類器が学習可能なクロスアテンション相互作用を通じて情報を交換することを可能にするクロスタスクアテンションヘッドを導入します。この設計は、知識整理の原則と一致したファセット予測をサポートします。我々は提案したフレームワークを3つのベンチマークデータセットで評価しました。実験結果は、CTHArtが一貫して最先端の性能を達成していることを示しています。本提案手法は、アートコレクションのAI支援による知識整理のための効果的かつスケーラブルな解決策を提供します。