ソフトウェア工学における心理的安全性定性分析のためのLLMプロンプトエンジニアリング戦略に関する実証研究
Prompt Engineering Strategies for LLM-based Qualitative Coding of Psychological Safety in Software Engineering Communities: A Controlled Empirical Study
記事のポイント
📰ニュース
LLMを用いたソフトウェア工学コミュニティの心理的安全性に関する定性分析において、プロンプト戦略がLLMの性能に与える影響を評価しました。
🔍注目ポイント
ゼロショットとマルチショットの2つのプロンプト戦略を比較し、Claude Haikuではマルチショットが合意度を向上させることを発見しました。
🔮これからどうなる
研究者はLLMを用いた定性分析の信頼性を高めるためのプロンプト設計ガイドラインを得られ、分析作業の効率化に繋がります。
本研究では、Claude Haiku、DeepSeek-Chat、Gemini 2.5 Flashの3つのLLMを対象に、心理的安全性に関する定性コーディングの合意度をCohenのKappa係数で評価しました。
特に「ネガティブフィードバックの共有」が過剰予測され、「懸念の表明」が過少予測される傾向が全モデルで確認されました。
モデル間の安定性も異なり、DeepSeek-ChatとClaude Haikuが比較的安定していました。
特に「ネガティブフィードバックの共有」が過剰予測され、「懸念の表明」が過少予測される傾向が全モデルで確認されました。
モデル間の安定性も異なり、DeepSeek-ChatとClaude Haikuが比較的安定していました。
LLMを定性分析に活用する際、プロンプトの設計が結果に大きく影響することが分かりました。特に研究者の方々は、この知見を参考に、より信頼性の高い分析ができるようになりますね。