開発者はプロンプトを出せるか？コードドキュメント生成のためのコントロール実験

大規模言語モデル（LLM）は、コードドキュメントの作成や維持といった煩雑な開発タスクを自動化する大きな可能性を秘めています。しかし、開発者がLLMに対して簡潔で有用なドキュメントを作成するために効果的にプロンプトを出せる程度は不明です。私たちは、20人の専門家と30人のコンピュータサイエンス学生を対象にしたコントロール実験の結果を報告します。実験グループは、Visual Studio CodeのChatGPTのような拡張機能で自由にアドホックプロンプトを入力しましたが、コントロールグループは事前に定義された少数のショットプロンプトを実行しました。私たちの結果は、専門家と学生がプロンプトエンジニアリング技術を認識しておらず、適用できなかったことを示しています。特に学生は、アドホックプロンプトから生成されたドキュメントが、準備されたプロンプトからのドキュメントに比べて著しく読みやすさに欠け、簡潔でなく、役に立たないと感じました。一部の専門家は、アドホックプロンプトにキーワード「Docstring」を含めることで、より高品質なドキュメントを生成しました。学生はプロンプト作成においてより多くのサポートを求めましたが、専門家はアドホックプロンプトの柔軟性を評価しました。両グループの参加者は、出力を完璧と評価することはほとんどありませんでした。その代わりに、彼らはツールを使用してドキュメントを反復的に洗練するためのサポートと理解しました。どのプロンプトスキルや好みを開発者が持ち、特定のタスクに対してどのようなサポートが必要かを理解するためには、さらに研究が必要です。