OpenAIの最高製品責任者であるケビン・ワイル（Kevin Weil）は1月22日、同社が2月または3月に、より高度なGPT-3モデルを発表する予定であることを明らかにしました。同時に、OpenAIは第1四半期に最初のAIエージェントツールをリリースする計画であり、ChatGPTにより強力な実践的な能力を与えることを目指しています。この革新により、ChatGPTはユーザーのコンピューター上で具体的なタスクを実行できるようになり、例えばサッカーの登録フォームの記入と提出を支援することができます。このニュースは多くのAI関係者に衝撃を与えました。

理想汽車が開発したAIアプリ「理想同学App」が、Apple App Storeと小米アプリストアで正式リリースされました。iOS版は約91MB、Android版は約81MBです。理想汽車独自開発の大規模言語モデルを基盤とし、豊富なインテリジェントなインタラクション機能を提供します。

Transformerや言語モデルなどの大規模AIモデルのトレーニングは、AI分野において不可欠な要素となっていますが、高額な計算コスト、メモリ消費、エネルギー需要という課題にも直面しています。例えば、OpenAIのGPT-3は1750億個のパラメータを持ち、数週間のGPUトレーニングを必要とします。このような膨大なリソース需要は、大規模な計算リソースを持つ組織でのみこの技術の応用を制限するだけでなく、エネルギー効率と環境への影響に対する懸念も高まっています。これらの課題を解決することは、AIの発展をより広く利用可能にするために不可欠です

ミシガン大学による最近の研究で、大規模言語モデルのトレーニングにおける省電力方法が発見されました。この方法では、同じ時間でトレーニングを完了させながら、消費電力を30％削減できます。この方法は、2026年までに110万世帯の米国家庭への電力供給を賄うのに十分なエネルギーを節約できるとされています。研究者らは、最も長い時間を要する一連のサブタスクであるクリティカルパスを特定するPerseusというソフトウェアツールを開発しました。その後、Perseusは非クリティカルパスのプロセッサ速度を低下させ、すべてのタスクを同時に完了できるようにします。

Googleは東京で開催されたGemma開発者向けイベントで、待望の日本語対応Gemmaモデルを発表しました。わずか20億パラメーターというコンパクトなこのAIモデルは、日本語と英語の両方を同時に処理し、GPT-3.5に匹敵する性能を示しています。この技術的ブレークスルーは特に注目に値します。AI分野では、小型モデルが新しい言語を学習する際に、以前習得した能力を失ってしまう「壊滅的な忘却」という課題に直面することがよくあります。しかし、日本語対応Gemmaはこれを克服することに成功しました。

AI駆動の時代に、GPT-3やBERTなどの大規模言語モデル（LLM）は高品質データへの需要が高まっています。しかし、これらのデータをウェブから手動で収集整理するのは、時間と労力を要し、拡張性も低いという課題があります。特に大量のデータが必要な場合、開発者にとって大きな負担となります。従来のウェブクローラーやデータ取得ツールは、構造化データの抽出能力が限定的で、ウェブデータの収集はできても、LLMで処理できる形式にデータを変換することは困難です。

テクノロジーの急速な発展に伴い、人工知能（AI）は私たちのキッチンに入り込み、レシピの作成を支援するようになりました。Apple、Google、Samsungなどの企業がAI駆動のレシピジェネレーターを次々と発表しており、ユーザーはSiriにリクエストするだけで、手元の材料に基づいた夕食パーティーメニューを得ることができます。しかし、レシピ開発に情熱を注ぐフードブロガーたちにとっては、これは悪夢と言えるでしょう。本物のレシピとAI生成レシピの長所と短所を比較するために、YouTubeやTikTokの多くの料理人が、白熱した対決を繰り広げています。

面壁智能は、わずか2GBのメモリで動作する高性能AIモデルMiniCPM 3.0を発表しました。これは、端末側AI体験の新たな時代を告げるものです。40億パラメーターを持つMiniCPM 3.0は、GPT-3.5を上回る性能を持ち、モバイルデバイス上でGPT-3.5と同等のAIサービスを実現します。これにより、ユーザーはクラウド処理に依存することなく、高速で安全、機能豊富なローカルAIサービスを利用でき、よりスムーズでプライバシーを保護されたスマートなインタラクション体験を実現できます。

Googleは、20億パラメーターを持つGemma 2 2Bモデルを発表しました。このモデルは、さまざまなハードウェア環境で優れた性能を発揮し、特に「チャットボットアリーナ」において、GPT-3.5-Turbo-0613やMixtral-8x7bなどのモデルを上回っています。このモデルはNVIDIA TensorRT-LLMライブラリによって最適化されており、エッジデバイスから強力なクラウド環境まで、さまざまなシナリオに効率的に展開できます。セキュリティの向上のため、GoogleはShieldGemmaセキュリティ分類器とGemma Sも発表しました。

マイクロソフトは、Phi-3小型言語モデル向けのサーバーレスファインチューニング機能を発表しました。Azure AIプラットフォーム上で、開発者はモデルのパフォーマンスを容易に調整でき、基盤となるインフラストラクチャの管理は不要です。初期利用は無料です。30億パラメーターを持つPhi-3モデルは、企業開発者向けに設計されており、高いパフォーマンスと低コストを実現します。OpenAIのGPT-3.5と比較すると、パラメーター数は少ないものの、様々なアプリケーションにおいて同等の性能を発揮します。サーバーレスファインチューニングにより、操作が簡素化され、参入障壁が低くなり、小型から中型モデルのファインチューニングをサポートします。

近年、Qwen2をベースとしたモデルArcee Sparkが180万サンプルデータでファインチューニングされ、128kトークンのコンテキストを持つモデルとして発表されました。Arcee Sparkの発表は、特に人工知能分野の従事者の間で大きな注目を集め、大きな話題となっています。

GoogleはOpenAIのGPT-3.5-turboモデルへの攻撃に成功、コストはわずか150元。攻撃方法はシンプルで、APIを介して2000回未満のクエリで投影行列全体と隠れ次元を取得可能。この攻撃は、大規模言語モデルもセキュリティ上の脅威にさらされる可能性があることを示している。OpenAIは同様の攻撃を防ぐため、モデルAPIを修正済み。

Copyleaksのレポートによると、GPT-3.5の出力が60％の確率で剽窃であることが判明しました。GPT-3.5は、異なる分野で異なる類似性スコアを示します。この剽窃問題は、OpenAIとニューヨークタイムズ間の法的紛争を引き起こしています。

抄襲検出会社Copyleaksの報告書によると、GPT-3.5モデルの出力の60％に何らかの剽窃が含まれているとのことです。Copyleaksは独自の採点方法を用いて、テキストの類似度、わずかな変更、言い換えなどを考慮し「類似度スコア」を算出しています。コンピュータサイエンス、物理学、心理学などの分野で類似度が高く、演劇、人文科学、英語などの分野で類似度が低いことが判明しています。OpenAIは、意図しない記憶の使用を制限する措置を講じていると述べており、利用規約では意図的な内容の逆コンパイルも禁止されています。ニューヨーク・タイムズを相手取った訴訟に加え、クリエイターも…

研究によると、ChatGPTなどの大規模言語モデルは、陰謀論や有害なステレオタイプなどの誤情報を繰り返し生成することがあります。GPT-3はしばしば誤りを犯し、回答の中で矛盾点を示したり、有害な誤情報を繰り返したりすることが判明しました。研究者たちは、6つのカテゴリーの事実と誤情報にまたがる4つの異なる調査テンプレートを使用しました。

Mistralは最近、Mixtral8x7Bモデルを発表し、AI業界に大きな反響を呼びました。このモデルは、業界をリードするGPT-3.5やMetaのLlama2ファミリーを凌駕し、オープンソースAI分野に大きな波紋を広げています。Mixtral8x7Bのパフォーマンスは初期ユーザーを驚かせましたが、同時にセキュリティへの懸念も引き起こしています。公開されたMistralのオープンソースモデルMixtral8x7Bは、業界をリードするGPT-3.5やMetaのLlama2を上回る性能を誇ります。

カリフォルニア大学における研究で、GPT-4はチューリングテストに合格せず、人間の知能を下回るパフォーマンスを示したことが判明しました。GPT-3.5モデルは、60年前のAIチャットボットであるELIZAとの会話で敗北を喫しました。この研究は、チューリングテストを用いて人工知能モデルの人間らしさを探り、学術的な注目を集めています。調査員は、主に言語スタイルと社会感情的な特徴に基づいて判断を行い、教育レベルには顕著な予測効果は見られませんでした。

マイクロソフトCEOのサティア・ナデラ氏は、クラウド開発者会議で、Azureが生成AIモデルのアップデートを発表しました。新しいモデルにはGPT-4 TurboとGPT-3.5 Turboが含まれており、より高度で効率的なAIツールを提供します。GPT-4 Turboは、コスト効率が3倍向上し、出力効率が2倍向上しており、並列呼び出しやJSONスキーマなどの新機能が導入されています。Azure OpenAIサービスは、ノルウェー東部、インド南部、米国西部の3つの新しいリージョンに拡大されました。

マイクロソフトの論文が、GPT-3.5のパラメータ数がわずか200億であることを明らかにし、公式発表との大きな食い違いが浮き彫りになりました。CodeFusionという小型モデルは、わずか7500万パラメータで驚異的な性能を示しています。この事実をめぐり、モデルの規模と性能に関する深い考察が巻き起こっています。AI業界では激しい競争が繰り広げられており、ChatGPTとClaude AIが上位を目指してしのぎを削っています。また、GPT-4の査読者である陶哲軒氏が、GPT-4を使って数学の問題を解いていることも注目されています。