AI · 2026年11月9日
FusionBrain、API経由で利用する医療診断用大規模言語モデルの不確実性評価手法を研究
FusionBrainの研究員が、医療診断システムにおける大規模言語モデルの回答の不確実性を評価する手法に関する研究を発表しました。この研究はEMNLP 2026の業界トラックで提示され、UncertaiNLP 2026のワークショップではスポットライトに選出されました。
医療分野での大規模言語モデルの活用において、誤った情報を生成するハルシネーションは患者の健康に関わる重大な課題です。不確実性の定量化手法を用いることで、モデルの回答に信頼度を付与し、信頼度が低い場合に医師がより注意を払うことが可能になります。本研究では、モデルの内部状態にアクセスできずAPI経由でしか利用できない場合に、どのように信頼性を評価するかを調査しました。
研究チームは、GigaChat-2-Maxを用いて患者の病歴や症状から最大3つの診断仮説を提示するシステムを想定しました。各仮説に対して個別に信頼度を割り当てるガードレールと呼ばれる追加メカニズムを導入しており、これによりモデル本体を再学習させることなく、回答の信頼性を医師に提示できます。ただし、この信頼度はモデルの出力の確実性を示すものであり、患者が実際にその疾患である確率を示すものではないと定義されています。
不確実性の評価にあたり、計16の手法が比較されました。これらは、同一の質問を繰り返し生成して回答の多様性を分析するサンプリング手法、対話テキストと診断内容のみを用いて分類器を学習させるテキストベースの手法、およびトークンの確率や隠れ状態などの内部特徴量を利用する手法の3つのグループに分類されます。内部特徴量を利用するUHeadなどの手法は有効ですが、API経由のモデルではこれらのデータにアクセスできないという制約があります。また、サンプリング手法では、医療ドメイン特有の専門的な診断名の意味的な差異を正確に比較することが困難であるという課題が指摘されました。