研究によると、GPT-3のような大規模事前学習言語モデル（LLM）は、人間の質問への理解と回答、コーディング支援など、優れた能力を備えています。
最近、研究者らはLLMが追加データや微調整なしで自己評価と改善を行うことができるRAIN手法を導入しました。
この手法は、LLMのパフォーマンス向上だけでなく、敵対的攻撃の成功率の低下にもつながり、より調和のとれた安全なAIによる応答生成を実現します。
この研究は、追加情報や煩雑な微調整なしに、人間の好みに合わせてLLMを調整するための新たな方法を提供します。
人工知能の急速な発展を背景に、AI大規模言語モデルの研究開発と応用は活況を呈しています。最近、この分野における複数の企業や機関の最新動向が広く注目を集めています。まず、ChatGPTが登場する前のNVIDIAの時価総額倍率はウォール街で大きな注目を集め、専門家らは、これが2008年のアップルの成功神話を再現する兆候かもしれないと考えています。同時に、国泰君安の最高情報責任者である俞楓氏は、AI大規模言語モデルの台頭により証券業界が「インテリジェント認知」時代に入るだろうと述べています。
中国のスタートアップ企業Monicaが発表したAIエージェント製品Manusが、Xプラットフォームで最近話題になっています。その創業者である季逸超（Ji Yichao）氏は本日、ソーシャルメディアを通じて製品の技術詳細をさらに明らかにしました。季氏によると、Manusは阿里巴巴の千問(Qwen)大規模言語モデルに基づいて開発されており、複数の微調整モデルを用いて独自の機能を実現しています。この発表は、Manusの技術ソースに関する議論を引き起こしただけでなく、世界中のAIコミュニティにおけるその潜在力への関心をさらに高めています。季氏
バイトダンス傘下の豆包大規模言語モデルチームは先日、混合専門家モデル（MoE）アーキテクチャにおける主要なボトルネックを克服し、COMETという名称の重要な最適化技術をオープンソース化したと発表しました。この技術は、大規模言語モデルのトレーニング効率を大幅に向上させ、最大1.7倍の効率向上を実現し、トレーニングコストを40％削減することに成功しました。画像注記：画像はAIによって生成され、画像ライセンス提供サービスMidjourneyを使用しています。COMET技術は、バイトダンスの万規模GPUクラスタトレーニングで実際に適用されており、数百万GPU時間の節約に貢献しています。
