大規模言語モデル（LLM）の急速な発展に伴い、モデルのトレーニングと推論コストが研究とアプリケーションの焦点となっています。最近、テンセント混元チームは重要な研究を発表し、低ビット浮動小数点量子化トレーニングの「Scaling Laws」、つまり浮動小数点量子化トレーニングのスケーリング則について深く掘り下げました。この研究の中核は、モデルの精度を下げることで、性能を損なうことなく計算とストレージコストを大幅に削減する方法を探ることです。研究チームは...

近年、大規模言語モデル（LLM）のトレーニングはますます高コスト化、複雑化しており、限られた大規模テクノロジー企業だけが対応する計算リソースを保有しています。しかし、Googleは最近、SALT（小規模モデルによる大規模モデルトレーニング支援）と呼ばれる新しい手法を発表しました。この革新は、AIトレーニングの様相を一変させる可能性があります。画像注記: 画像はAIによって生成され、画像ライセンスプロバイダーMidjourneyが、Google ResearchとDeepMindの最新の研究論文「ほんの少しの助けで、遠くまで行ける：小型言語モデルを活用した～」に基づいて作成されました。

Transformerや言語モデルなどの大規模AIモデルのトレーニングは、AI分野において不可欠な要素となっていますが、高額な計算コスト、メモリ消費、エネルギー需要という課題にも直面しています。例えば、OpenAIのGPT-3は1750億個のパラメータを持ち、数週間のGPUトレーニングを必要とします。このような膨大なリソース需要は、大規模な計算リソースを持つ組織でのみこの技術の応用を制限するだけでなく、エネルギー効率と環境への影響に対する懸念も高まっています。これらの課題を解決することは、AIの発展をより広く利用可能にするために不可欠です

最近、オープンソースイニシアチブ（OSI）は、真の「オープンソース」AIとは何かを明確にする新しい定義を発表しました。この新しい基準は、特にMetaのLlamaモデルについて、テクノロジー大手から注目を集めています。なぜなら、Llamaモデルはこれらの規則に準拠していないからです。OSIは長年オープンソースソフトウェアの業界標準策定者でしたが、AIシステムには、モデルのトレーニングデータなど、従来のライセンスでは網羅できない要素があります。OSIの新しい定義によると、真にオープンソースと見なされるためには、

ソーシャルメディアプラットフォームX（旧Twitter）は水曜日にプライバシーポリシーを更新し、幅広い注目と議論を呼んでいます。新方針では、ユーザーが積極的にオプトアウトしない限り、XはデフォルトでサードパーティのパートナーがプラットフォームデータをAIモデルのトレーニングに使用することを許可すると明記されています。この動きは、Xが新たな収益源を求める努力を浮き彫りにする一方で、ユーザーデータのプライバシー保護に対する懸念も引き起こしています。新方針における主な変更点は次のとおりです。サードパーティデータの使用：AIモデルのトレーニングを含むXユーザーデータのサードパーティパートナーによる使用を許可する条項が追加されました。ユーザーはオプトアウトを選択できます。

人工知能技術の急速な発展に伴い、高給の新興職業であるAIトレーナーが静かに台頭しています。この業界の急速な発展は、AI技術の進歩を反映しているだけでなく、現在のAIモデルが直面する課題と将来の発展方向を示唆しています。AI発展の初期段階では、モデルのトレーニングは低コストの労働者が基本的なデータアノテーション作業を行うことで主に成り立っていました。しかし、AI競争の激化とモデルの複雑化に伴い、高スキルなAIトレーナーの需要が急激に増加しています。これらのトレーナーは、大学生だけでなく、開業医なども含まれるようになっています。

FluxgymはAI愛好家向けの新しいトレーニングツールで、モデルトレーニングの敷居を下げることを目指しています。ハードウェア要件が非常に低く、12GBのVRAMだけでAIモデルのトレーニングを行うことができるため、参加できる人が大幅に増えました。シンプルなフロントエンドと強力なバックエンドを組み合わせることで、Fluxgymは使いやすいインターフェースを提供し、ユーザーはわずか3つの簡単なステップでトレーニングを開始できます。低スペック機器への対応、簡素化されたユーザーインターフェース、スムーズなトレーニングプロセスが主な利点であり、AI初心者でもすぐに使いこなすことができます。

NVIDIAは、2つの新型大規模言語モデル、Nemotron-4-Minitron-4BとNemotron-4-Minitron-8Bをオープンソース化しました。構造化プルーニングと知識蒸留という効率的なトレーニング方法を採用することで、トレーニングに必要なリソースを大幅に削減し、データと計算能力の消費量を削減することに成功しました。従来の方法と比較して、新しいモデルのトレーニングに必要なトークンデータは40分の1に、計算コストは1.8分の1に削減されています。Llama-3.18Bを最適化することで、構造化プルーニングによりモデル構造を簡素化し、知識蒸留により性能を向上させています。Minitron

ネットワークセキュリティサービスプロバイダーのCloudflareは先日、AIクローラー保護機能を全ユーザーに無料で提供開始すると発表しました。この機能は、ウェブサイト管理者がウェブサイトデータをより効果的に保護し、無許可のAIシステムによるスクレイピングや利用を防止することを目的としています。

Hugging Faceの最高経営責任者（CEO）クレモン・ドランジュ氏によると、人工知能（AI）スタートアップの創業者から自社売却を希望する声が急増しているという。ドランジュ氏は、現在毎週約10人の買収を希望する創業者から相談を受けていると述べている。

明略科技は、大規模モデルの事前トレーニング過程を監視し、トレーニング効率を向上させるためのTensorBoardのC++インターフェースをオープンソース化しました。モデルパラメータと結果を可視化することで、トレーニングの状態を分析し、大規模モデルのトレーニングプロセスと効果を向上させます。このツールは、スカラー、ヒストグラム、画像、オーディオなど、多様なデータモードでトレーニング指標を表示します。