コーディングと数学には、確認できる明確な正しい答えがある、と Google DeepMind の研究科学者である William Isaac 氏と、同社の研究員仲間の Julia Haas 氏と会って、 に掲載された研究成果の独占プレビューを行ったときに私にこう言いました。 自然 今日。これは、一般に受け入れられているさまざまな答えがある倫理的な質問には当てはまりません。「倫理は重要な能力ですが、評価するのは困難です」とアイザックス氏は言います。

「道徳の領域では、善悪は存在しません」とハースは言います。 「しかし、それは決して自由ではありません。より良い答えもあれば、より悪い答えもあります。」

研究者たちはいくつかの大きな課題を特定し、それらに対処する方法を提案しました。しかし、これは既製のソリューションのセットというよりも、希望のリストに近いものです。 「彼らはさまざまな視点をうまくまとめています」と、ドイツのザールランド大学でLLMを学んでいるベラ・デンバーグは言います。

「倫理学者」よりも優れている

いくつかの研究は、LLM が顕著な倫理的能力を示すことができることを示しています。昨年発表された調査によると、米国の人々はOpenAIのGPT-4Oからの倫理的アドバイスを、「The Ethicist」の（人間の）著者によるアドバイスよりも倫理的で、信頼でき、思いやりがあり、正しいと評価していることがわかった。 ニューヨークタイムズ アドバイスコラム。

問題は、そのような動作がデモンストレーション (たとえば、記憶された反応の模倣) であるのか、それともある種の道徳的推論が実際にモデル内で行われている証拠であるのかを把握するのが難しいことです。言い換えれば、それは美徳のしるしでしょうか、それとも悪徳のしるしなのでしょうか？

LLM がいかに信頼できないかを多くの研究が示しているため、この質問は重要です。まず、モデルは喜ばせたいと熱望しすぎることがあります。人が最初の回答に同意しなかったり撤回したりすると、倫理的な質問に対する回答を覆し、まったく逆のことを言うことがわかっています。さらに悪いことに、LLM が質問に対して与える答えは、そのプレゼンテーションや形式に応じて変わる可能性があるということです。たとえば、研究者らは、政治的価値観について質問されたモデルは、質問が多肢選択式の回答を提供するか、モデルに自分の言葉で答えるように指示するかによって、異なる、場合によっては反対の回答を返す可能性があることを発見しました。

さらに衝撃的なケースでは、デンバーグ氏と同僚は、Llama 3 や Mistral バージョンの Meta を含むいくつかの LLM に一連の倫理的ジレンマを提示し、2 つの選択肢のうちどちらがより良い結果をもたらすかを選択するよう求めました。研究者らは、これら 2 つのオプションのラベルが「ケース 1」と「ケース 2」から「(A)」と「(B)」に変更されると、モデルの選択が逆転することが多いことを発見しました。

また、選択肢の順序を変更したり、疑問符の代わりにコロンで質問を終了したりするなど、その他の小さな書式変更に応じてモデルが回答を変更したことも示しました。