先日、魔楽コミュニティ（Modelers）で、階躍星辰が開発したオープンソースのマルチモーダル大規模モデルであるStep-VideoとStep-Audioが正式に公開されました。これらのモデルは、それぞれ動画生成と音声対話に使用され、開発者と企業ユーザーにより強力なAIツールを提供することを目指しています。Step-Videoモデルの正式名称はStep-Video-T2Vで、300億パラメーターという世界最大のオープンソース動画生成モデルです。このモデルは、20秒の動画を直接生成できます。

世界の開発者の視線が再び中国に注がれています！注目を集めるグローバル・デベロッパー・カンファレンス（GDC）において、アリババクラウド魔搭コミュニティは、階躍星辰の最新オープンソースの2つのマルチモーダルモデルを初公開すると発表しました。これには、世界最大規模のパラメータを持つオープンソースのビデオ生成モデルStep-Video-T2Vと、業界初の製品レベルのオープンソース音声対話モデルStep-Audioが含まれます。このニュースは瞬く間に世界のAIオープンソースコミュニティを席巻し、中国の人工知能分野における強力なイノベーション能力を改めて示しました。中国最大のAI...

Nexa AIは先日、エッジデバイスの高効率展開ニーズに対応する、新しい音声言語モデルOmniAudio-2.6Bを発表しました。従来の自動音声認識（ASR）と言語モデルを別々に構成するアーキテクチャとは異なり、OmniAudio-2.6BはGemma-2-2b、Whisper Turbo、カスタムプロジェクターを統合フレームワークに統合しています。この設計により、従来システムの各コンポーネント間の接続による非効率性と遅延が解消され、特に計算リソースが限られている状況に最適です。

階躍星辰は先日、Stepシリーズモデル行列の新メンバーであるStep-1oエンドツーエンド音声大規模言語モデルを発表しました。これは国内初の千億パラメーターのエンドツーエンド音声大規模言語モデルとされています。この新モデルの発表は音声技術分野における大きな進歩を示しており、エンドツーエンドの音声ソリューションを通じて、音声の理解と生成を統合し、モデルの知性と感情の限界を向上させ、超自然的で高品質なコミュニケーション体験を実現します。

イリノイ大学アーバナシャンペーン校、Sony AI、ソニーグループの研究チームが最近、MMAudioという新しい技術を発表しました。この技術はマルチモーダル連携学習を用いて、高品質な動画から音声合成を実現することを目指しています。MMAudioの中核となる革新は、動画とテキストの入力を利用して同期した音声を生成できる点であり、これにより音声生成の応用範囲が広がり、動画またはテキストを入力して動画の内容に合わせた音声効果を生成することが可能になります。MMAudioの設計は…

OpenAIが再びAI技術の潮流をリードし、最新のgpt-4o-audio-previewモデルを発表しました。このモデルは音声生成と分析において驚異的な能力を示し、人機インターフェースに新たな可能性を切り開きます。この革新的なモデルの特徴と潜在的な応用について詳しく見ていきましょう。gpt-4o-audio-previewの主要機能は大きく3つの側面から成り立ちます。まず、テキストから自然で滑らかな音声応答を生成し、音声アシスタントやバーチャルカスタマーサポートなどのアプリケーションに活用できます。

情報が溢れる現代において、効率的に知識を得ることが、多くの学習者や専門家にとって課題となっています。最近、PDF2Audioというオープンソースツールが登場し、人工知能技術と従来の読書方法を巧みに組み合わせることで、ユーザーに全く新しい情報取得方法を提供しています。PDF2Audioの主要機能は、PDFドキュメントをオーディオコンテンツに変換することです。このツールはOpenAIのGPTモデルを利用してテキスト生成と音声合成を行い、あらゆる種類のPDFファイルをポッドキャスト、講義、または要約に変換できます。

先日、ジョンズ・ホプキンス大学とテンセントAIラボが共同で、EzAudioという新しいテキスト音声変換モデルを発表しました。この技術は、前例のない効率性と高品質でテキストを音声に変換することを約束しており、人工知能と音声技術の大きな飛躍を意味します。EzAudioの動作原理は、従来のスペクトログラムではなく、音声波形の潜在空間を利用することにあります。この革新により、EzAudioは高時間分解能で動作し、追加のニューラルボコーダーを必要としません。EzAudioのアーキテクチャはEzAuと呼ばれます。

はじめに昨年、GoogleはNotebookLMを発表しました。これは、大規模言語モデル（LLM）とユーザーのノートを組み合わせた実験的なAIノートで、要約の作成や質問への回答などを通して、ユーザーが特定のテーマをより深く理解するのに役立ちます。今では、ノートの内容について議論することもできます。最近、GoogleはNotebookLMに「Audio Overview（音声概要）」機能を追加し、AIによる魅力的な会話を通じてノートの内容を理解できるようになりました。

アリババは最近、新たなオープンソースの音声モデルQwen2-Audioを発表しました。このモデルは音声認識、翻訳、音声分析において優れた性能を発揮し、大幅な性能向上を実現しています。Qwen2-Audioは、基礎版と命令微調整版を提供しており、中国語、広東語、フランス語、英語、日本語など複数の言語に対応し、感情分析や翻訳アプリケーションに利便性をもたらします。Qwen-Audioと比較して、Qwen2-Audioはアーキテクチャと性能において全面的な最適化が行われ、事前学習段階ではより自然な言語プロンプトが採用されています。

アリババが最近発表したCosyVoice音声合成モデルとSenseVoice音声認識モデルは、FunAudioLLMフレームワークを構成し、人と機械のインタラクション体験の向上を目指しています。CosyVoiceは、そのリアルな音声生成能力により、異なる性別、年齢、個性的声音を模倣し、感情やスタイルを追加し、笑い声、咳、呼吸などの自然な特徴をシミュレートすることもできます。SenseVoiceは、高精度の多言語音声認識、感情認識、オーディオイベント検出に焦点を当てており、50以上の言語をサポートしています

Stability AIは最近、オープンソースのオーディオ生成モデル「Stable Audio Open」を発表しました。最大47秒間、サンプリングレート44.1kHzのステレオオーディオを生成できます。オープンウェイト設計を採用し、ユーザーはモデルの参照、修正、拡張が可能になり、研究開発とイノベーションを促進します。Creative Commonsライセンスのオーディオデータを使用してトレーニングされているため、データの合法性と倫理性が確保されています。高度なモデルアーキテクチャにより、高品質なステレオオーディオ生成が可能になり、多様性と高忠実度が実証されており、最先端モデルと同等の性能を発揮します。このツールは研究者にとって...

アリババクラウドは、音声インタラクション体験を革新する大規模音声言語モデル「Qwen-Audio」を発表しました。このモデルは多様な音声入力を受け入れ、音声分析を実行し、音声コマンドに直接応答します。ユーザーはテキスト入力なしで音声を通して直接やり取りでき、音声とテキストの分析を音声で提供する独自のインタラクションモードを提供します。単一の音声、マルチチャンネルの会話、コマンドなどを区別し、音声解釈と応答を支援する高度な理解能力を備えています。以前の優れたモデルを上回る性能を発揮し、特に音声ベースの...

Stability AI社はStable Assistant機能をアップデートし、「検索と置換」および「Stable Audio」を追加、画像編集能力と音楽制作機能を強化しました。検索と置換機能により、ユーザーはアップロードした画像内の特定オブジェクトを置き換えることができ、創造的な編集効率を向上させます。Stable Audioは高品質な音楽生成に特化し、ユーザーにパーソナライズされた創作オプションを提供します。今回のアップデートによりStable Assistantはさらに強力になり、画像編集機能の向上だけでなく、音楽制作分野でも強化されました。

アリババ通義研究所は最近、FunAudioLLMという音声生成大規模モデルプロジェクトをオープンソース化しました。これは、人間と大規模言語モデル（LLMs）間の自然言語音声対話体験を向上させることを目的としています。このプロジェクトは、SenseVoiceとCosyVoiceという2つのコアモデルで構成されています。

先日、Metaは6つの研究成果を静かに発表し、AI分野に新たな応用と技術的ブレークスルーをもたらしました。これには、マルチモーダルモデル、テキストから音楽を生成するモデル、オーディオ透かし技術、データセットなどが含まれます。これらの研究成果を詳しく見ていきましょう。

Stability AIは、最大90秒の長尺で高品質な商業利用可能な音楽を生成できるAI音楽生成ツール「Stable Audio」を発表しました。Stable Audioは潜在拡散技術を採用することで、音楽の質と一貫性の問題を解決しています。他の音楽生成モデルとは異なり、Stable Audioは最大90秒の長尺の音楽を、優れた音質で生成することができます。Stability AIは商業音楽ライブラリであるAudioSparxと提携し、