メソッド生成タスクにおけるAIベースのコードアシスタントの評価

AIベースのコードアシスタントは、生産性を向上させ、コード品質を改善する手段としてますます人気が高まっています。本研究では、メソッド生成タスクにおけるGitHub Copilot、Tabnine、ChatGPT、Google Bardの4つのAIベースのコードアシスタントを比較し、正確で、適切で、効率的なコードを生成する能力を評価しました。結果は、コードアシスタントが有用であり、補完的な機能を持っているものの、実用的な正しいコードを生成することは稀であることを示しています。