最近、OpenAIはSimpleQAという新しいベンチマークを発表しました。これは、言語モデルが生成する回答の事実の正確性を評価することを目的としています。大規模言語モデルの急速な発展に伴い、生成されたコンテンツの正確性を確保することが大きな課題となっています。特に、モデルが自信を持って聞こえるが実際には間違っているか、検証できない情報を生成する「幻覚」現象が問題となっています。これは、AIからの情報取得に多くの人が依存するようになってきている状況において、特に重要です。SimpleQAの設計の特徴は、

最近のOpenAIによる研究によると、人工知能技術の急速な発展にもかかわらず、最新の言語モデルは事実問題への回答において、期待をはるかに下回る成功率を示しています。この研究では、OpenAI独自のSimpleQAベンチマークテストが使用されました。このテストは、科学、政治、芸術など複数の分野を網羅する4,326個の質問から構成され、各質問には明確な正解が設定されています。2人の独立した審査員による検証の結果、OpenAIの最良モデルであるo1-prev...