言語モデル（LM）は、自然言語要件からコードを生成する際に印象的な能力を示しています。本研究では、コード生成能力を評価するための重要な基準としてLMによって生成されたコードの多様性を強調します。生成されたコードの多様性を評価することに焦点を当てた研究が不足しており、これはコードLMにおける重要性を見落としています。したがって、私たちはコードの多様性を評価するための体系的なアプローチを提案し、コード間類似性を持つさまざまなメトリックを紹介します。具体的には、コード理解と推論におけるLMの能力を活用したコードクラスタリング手法を導入し、モデル生成ソリューションのアルゴリズムの数を表すメトリックのセットを作成します。モデル生成ソリューションの特性を人間が書いたコードと対比し、モデルサイズ、温度、指示調整、問題の複雑さなどのさまざまな要因がコードの多様性に与える影響を定量化します。我々の分析は、モデル生成ソリューションが低いアルゴリズムの多様性を示していることを示しており、これは研究コミュニティによって無視されていました。さらに、異なるモデルからのソリューションを結合したり、サンプリング温度を上げたりすることでコードの多様性を向上させる方法を探ります。我々の発見は、異種モデルの助けを借りてコードの多様性を向上させることができ、機能的正確さの低下のために十分に探求されてこなかった1.0を超えた温度設定を行うことができることを示しています。我々の研究の方向性を促進するために、オープンソースリポジトリを通じてコードとデータセットを公開しています。
Lee et al. (Sat,) はこの問題を研究しました。