ElevenLabsが、画期的な音声テキスト変換モデル「Scribe」を発表しました。英語における正確度は96.7％に達し、従来のモデルを凌駕する高い精度を実現しています。

音声認識分野において、中国語認識技術の発展は常に注目を集めています。最近、小紅書(Xiaohongshu)のFireRedチームは、全く新しいオープンソースの音声認識モデル——FireRedASRを発表しました。この大規模モデルに基づいた音声認識システムは、複数の標準的なテストセットで優れた成績を収め、中国語音声認識技術の大きな飛躍を意味しています。FireRedASRの主要指標は文字誤り率（CER）であり、この指標が低いほど、モデルの認識精度が高いことを示します。最近の公開テストで、Fi

本日、豆包大規模モデル公式より、豆包大規模モデルの8つの重要な瞬間が発表されました！2024年5月15日の初公開以来、豆包大規模モデルは目覚ましい発展を遂げ、230日間にわたる急速な成長を遂げてきました。初期の言語習得から、世界を探求する段階を経て、クリエイターのために幻想的な夢の世界を描くまで、その道のりは挑戦と成果に満ち溢れていました。1. 音声認識と感情表現のブレークスルー　豆包大規模モデルは7月、音声認識分野において大きなブレークスルーを達成しました。20種類以上の方言が混ざった会話も理解できるようになり、聞きながら考える能力も備えています。

Nexa AIは先日、エッジデバイスの高効率展開ニーズに対応する、新しい音声言語モデルOmniAudio-2.6Bを発表しました。従来の自動音声認識（ASR）と言語モデルを別々に構成するアーキテクチャとは異なり、OmniAudio-2.6BはGemma-2-2b、Whisper Turbo、カスタムプロジェクターを統合フレームワークに統合しています。この設計により、従来システムの各コンポーネント間の接続による非効率性と遅延が解消され、特に計算リソースが限られている状況に最適です。

アメリカのスタートアップ企業Useful Sensorsは、Moonshineというオープンソースの音声認識モデルを発表しました。Moonshineは、オーディオデータの処理をより効率的に行うように設計されており、OpenAIのWhisperと比較して、計算資源の使用量が少なく、処理速度が5倍高速です。この新しいモデルは、リソースの限られたハードウェアでのリアルタイムアプリケーションの実現を目指して設計されており、柔軟なアーキテクチャを備えています。Whisperがオーディオを固定の30秒のセグメントに分割して処理するのに対し、Moonshineは…

フランスのスタートアップ企業Gladiaは、音声認識アプリケーションプログラミングインターフェース（API）を提供しており、シリーズAで1600万ドルを調達しました。GladiaのAPIは、あらゆるオーディオファイルを高い精度と低い遅延でテキストに変換します。Amazon、Microsoft、Googleもクラウドホスティング製品スイートの一部として音声テキスト変換APIを提供していますが、一部の専門的なスタートアップ企業が提供する新しいモデルほどのパフォーマンスは発揮できません。特にOpenAIがWhisperモデルを発表して以来、この分野は活気づいています。

この度、FunASRは、高性能なマルチリンガルオフラインファイル転写ソフトウェアパッケージを発表しました。ユーザーに効率的で正確な音声テキスト変換ソリューションを提供します。このソフトウェアパッケージの最大の強みは、オフラインファイル転写機能です。数時間の長尺オーディオやビデオファイルも容易に処理し、句読点を付した転写テキストを生成します。大量の音声素材を処理する必要がある専門家にとって、これは大きな利点となります。FunASRのマルチリンガルサポートも印象的です。現在、中国語と英語に対応しています。

YouTubeは、クリエイターが自身の音声や肖像を管理・保護するのに役立つ新しいツールを開発しています。特に、生成AIの台頭において重要です。新しいツールには「合成音声認識技術」が含まれており、生成AIを用いてクリエイターの歌声を模倣したコンテンツを自動的に検出することを目指しています。この技術はYouTubeの著作権認識システムに統合され、来年パイロットテストを実施する予定です。さらに、YouTubeはディープフェイク動画を識別し、クリエイターの肖像権を守るための技術も開発しています。無許可のYouTube動画投稿を防ぐため、

モジュールスレッドは、自社開発のフル機能GPUをベースとした初のオープンソースの大規模音声モデルである音声理解大規模モデルMooERのオープンソース化を発表しました。MooERは、中国語と英語の音声認識と翻訳をサポートし、3つのモジュール構造を採用することで、強力な多言語処理能力を備えています。推論コードと5000時間データでトレーニングされたモデルは既に公開されており、トレーニングコードと8万時間データでトレーニングされた強化版の公開も計画されています。比較テストでは、MooER-5Kは優れた性能を示し、中国語のCERは4.21％、英語のWERは17.98％でした。

2024年8月21日開催の火山引擎AIイノベーションツアー上海会場において、火山引擎は豆包大規模言語モデルの全面的なアップグレードを発表しました。これには、豆包・テキスト生成画像モデルによる長文テキストのより正確な画像マッチング機能、複数の公開テストセットにおける豆包・音声認識モデルのエラー率最大40％の削減、そして豆包・音声合成モデルへのリアルタイム対応と正確な句読点付与が可能なストリーミング音声合成機能の追加が含まれます。火山引擎はまた、豆包大規模言語モデルとリアルタイムの音声ビデオ技術を統合した対話型AIリアルタイムインタラクションソリューションを発表し、エンドツーエンドの...

バイトダンスが発表したSeed-ASRエンジンは、膨大なトレーニングデータを用いて、標準中国語、中国語13方言、7言語の高精度認識を実現し、言語間のコミュニケーションの利便性を大幅に向上させました。その最大の強みは優れたコンテキスト認識能力であり、過去の情報を活用して人名、地名、キーワードを正確に認識でき、特に特定の状況下では認識精度が向上します。日常会話、複雑な会議、複数人の会話、背景ノイズのある環境など、あらゆる状況下で正確に音声転写が可能です。また、様々な専門用語も認識できます。

Linly-Dubbingは、動画の多言語吹き替えと翻訳を目的としたオープンソースのAIツールで、動画のローカリゼーションプロセスを簡素化します。ユーザーは動画をアップロードするだけで、ツールが自動的にダウンロード、翻訳、吹き替え、字幕生成を行い、複数の言語に対応しています。強力なAIによる認識と翻訳能力を備え、GPTなどのモデルと連携することで、高品質で自然な翻訳を実現します。特に、元の吹き替え音声に非常に近い音声を生成できる音声クローン技術は、口パクと音声の同期を確保し、動画の視聴体験を向上させます。このツールは、国際教育やグローバルエンターテインメントに最適です。

アリババは最近、新たなオープンソースの音声モデルQwen2-Audioを発表しました。このモデルは音声認識、翻訳、音声分析において優れた性能を発揮し、大幅な性能向上を実現しています。Qwen2-Audioは、基礎版と命令微調整版を提供しており、中国語、広東語、フランス語、英語、日本語など複数の言語に対応し、感情分析や翻訳アプリケーションに利便性をもたらします。Qwen-Audioと比較して、Qwen2-Audioはアーキテクチャと性能において全面的な最適化が行われ、事前学習段階ではより自然な言語プロンプトが採用されています。

イスラエルのAI企業aiOlaは、Whisper Medusaというオープンソースの音声認識モデルを発表しました。このモデルは改良されたアーキテクチャ設計に基づいており、マルチヘッドアテンション機構を導入することで、OpenAIのWhisperモデルよりも50%高速な処理を実現しています。Whisper Medusaは、従来の1トークンずつではなく、10トークンを並列に予測することで、音声認識速度を大幅に向上させながら、性能の低下を防いでいます。その革新的なトレーニング方法は弱教師あり学習を採用しており、主幹システムを凍結して—

イスラエルのAIスタートアップ企業aiOlaは、OpenAIのWhisperより50％高速なオープンソース音声認識モデルWhisper-Medusaを発表しました。このモデルはWhisperをベースに構築されており、革新的な「マルチヘッドアテンション」アーキテクチャを採用することで、一度により多くのトークンを予測し、速度を大幅に向上させながら精度を維持しています。Whisper-Medusaは、MITライセンスの下でHugging Faceで公開されており、研究および商業利用が許可されています。aiOlaは弱教師あり学習を用いて…

臨床音声認識に特化したスタートアップ企業であるIntron Healthは、160万ドルのシードラウンド資金調達を発表しました。同社はナイジェリアでトレーニングと開業経験を持つ医師であるTobi Olatunji氏によって設立され、煩雑な事務作業やこれらの書類の追跡の困難さなど、医療システムの非効率性を目の当たりにしました。

OpenAIの主力モデルであるGPT-4oは、5月の発表時にその音声認識能力で注目を集め、平均320ミリ秒の応答速度は人間の会話速度に匹敵します。このモデルは、テキスト、ビジュアル、音声の3つのモダリティをエンドツーエンドでトレーニングすることにより、多様な入力と出力の可能性を示しました。OpenAIは、6月にChatGPT Plusを通じて一部ユーザーに高機能音声モード機能を導入する予定でしたが、モデルの検出と有害なコンテンツ拒否能力の向上が必要だったため、1ヶ月延期されました。新機能により、Ch

Microsoftは最近、ゼロショットテキスト音声変換（TTS）モデルであるVALL-E 2を発表し、技術界で大きな話題となり、TTS分野の画期的な成果として注目されています。VALL-E 2の革新的な点は、ゼロショット学習能力です。わずかな未知の音声サンプルだけで、任意のテキストをその声で模倣することができ、驚くべきリアルタイム模倣とエンコーダーグループ化を実現しました。また、リピート感知サンプリングを改良し、デコーディングの安定性を向上させ、データの必要性を簡素化しました。主観評価と客観指標のテストにおいて、VALL-E 2は前世代のモデルを上回りました。