自動化されたウェブテストは、高品質なユーザー体験を確保し、ビジネス価値を提供する上で重要な役割を果たします。従来のアプローチは主にコードカバレッジと負荷テストに焦点を当てていますが、複雑なユーザー行動を捉えることにはあまり成功しておらず、多くの使いやすさの問題が見逃されています。大規模言語モデル（LLM）やAIエージェントの出現は、ウェブサイトとの人間のような対話を可能にし、一般的な使いやすさの問題を認識することで、ウェブテストの新たな可能性を開きます。本研究では、WebProberというプロトタイプのAIエージェントベースのウェブテストフレームワークを紹介します。URLを与えると、WebProberは自動的にウェブサイトを探索し、実際のユーザーインタラクションを模倣し、バグと使いやすさの問題を特定し、人間にとって読みやすい報告書を生成します。120の学術的な個人ウェブサイトのケーススタディを通じてWebProberを評価したところ、使いやすさの問題を29件発見しました—その多くは従来のツールでは見逃されていました。我々の発見は、エージェントベースのテストが有望な方向性であることを強調し、次世代のユーザー中心のテストフレームワークの開発に向けた方向性を示しています。
Ye et al. (Tue,) はこの問題を研究しました。