"私の生産性は向上しましたが..." AIコーディングアシスタントに対するユーザーの認識の解明

この論文は、GitHub CopilotのようなAIコーディングアシスタントが広く採用される時代における基本的な質問を探求することを目的としています：開発者は実際にAIコーディングアシスタントに何を重視し、批判しているのか、そしてそれが実世界のソフトウェア開発における彼らのニーズと期待について何を示しているのか？従来の研究が制御されたシミュレーション環境で観察研究を行うのとは異なり、私たちはAIコーディングアシスタントの広範なユーザーレビューを分析し、開発者の本物の視点と経験を実際の日常の作業環境から直接引き出します。Visual Studio Code Marketplaceから1,085のAIコーディングアシスタントを特定しました。これらはすべての拡張機能の1.64％に過ぎませんが、これらのアシスタントの急増が観察されます：過去2年間にリリースされたものは90％以上です。次に、十分なインストール数とレビューがある32のAIコーディングアシスタントからサンプルを取り、ユーザーの懸念とフィードバックについて包括的な分類法を構築します。各レビューにおけるコーディングアシスタントの特定の側面に言及する際の態度を手動で注釈付けし、特定の機能、懸念、全体的なツールパフォーマンスに関するユーザーの満足度と不満についての微妙な洞察を得ます。ユーザーが単にインテリジェントな提案だけでなく、コンテキストに応じたカスタマイズ可能で資源効率的なインタラクションを要求していることを含む発見に基づいて、ユーザーのニーズを満たすAIコーディングアシスタントの改善を導く5つの実践的な含意と提案を提案します。