人工知能分野において、言語モデルの急速な発展は、音声理解言語モデル（SULMs）への注目を集めています。最近、西北工業大学ASLP研究所は、学術資源が限られた状況下で、音声理解モデルを効果的に訓練し活用する方法を探求し、学術界の研究とイノベーションを促進することを目的としたオープン音声理解モデルOSUMを発表しました。OSUMモデルはWhisperエンコーダーとQwen2言語モデルを融合し、音声認識（ASR）、タイムスタンプ付きなど8種類の音声タスクに対応しています。

OpenAIのCEOであるSam Altman氏が最近、ソーシャルメディアプラットフォームXで、今後のオープンソース開発の方向性に関するユーザー意見調査を実施しました。これは、OpenAIが営利部門を公益事業体に転換する大きな転換期にある中で行われたものです。マイクロソフトからの投資以来、OpenAIとオープンソースの関係は大きく変化しました。特にGPT-4の発表以降、OpenAIはオープンソースへの貢献を減らし、より小規模な開発に注力するようになりました。

aiOlaは最近、機密情報をリアルタイムでマスキングする音声転写AIモデル、Whisper-NERのオープンソース化を発表しました。OpenAIの業界標準オープンソースモデルWhisperをベースとしたaiOlaの新しいWhisper-NERは、完全にオープンソースであり、企業、組織、個人による使用、適応、修正、展開がHugging FaceとGithubで可能です。

アメリカのスタートアップ企業Useful Sensorsは、Moonshineというオープンソースの音声認識モデルを発表しました。Moonshineは、オーディオデータの処理をより効率的に行うように設計されており、OpenAIのWhisperと比較して、計算資源の使用量が少なく、処理速度が5倍高速です。この新しいモデルは、リソースの限られたハードウェアでのリアルタイムアプリケーションの実現を目指して設計されており、柔軟なアーキテクチャを備えています。Whisperがオーディオを固定の30秒のセグメントに分割して処理するのに対し、Moonshineは…

OpenAIのWhisper技術を搭載したAI音声転写ツールが、医療業界で広く利用されている。多くの医師や医療機関が、患者との面談の記録や要約にこのツールを使用している。ABCニュースの報道によると、研究者らがこのツールが「幻覚」現象を示し、場合によっては完全に内容をでっち上げる事例を発見した。Nabla社が開発したこの転写ツールは、700万回を超える医療会話の転写に成功しており、現在3万を超えるユーザーが利用している。

フランスのスタートアップ企業Gladiaは、音声認識アプリケーションプログラミングインターフェース（API）を提供しており、シリーズAで1600万ドルを調達しました。GladiaのAPIは、あらゆるオーディオファイルを高い精度と低い遅延でテキストに変換します。Amazon、Microsoft、Googleもクラウドホスティング製品スイートの一部として音声テキスト変換APIを提供していますが、一部の専門的なスタートアップ企業が提供する新しいモデルほどのパフォーマンスは発揮できません。特にOpenAIがWhisperモデルを発表して以来、この分野は活気づいています。

人工知能の急速な発展の中で、国際研究チームがヨーロッパのAI言語モデルの発展を促進するための道を切り開いています。彼らはMOSEL（Massive Open-source compliant Speech data for European Languages）というプロジェクトを発表し、EUの24の公用語を網羅した包括的なオープンソース音声データセットを作成しました。この取り組みは、ヨーロッパにおけるオープンなAI言語モデルの開発を促進し、現在英語が支配的な状況への挑戦を目的としています。

アリババは最近、新たなオープンソースの音声モデルQwen2-Audioを発表しました。このモデルは音声認識、翻訳、音声分析において優れた性能を発揮し、大幅な性能向上を実現しています。Qwen2-Audioは、基礎版と命令微調整版を提供しており、中国語、広東語、フランス語、英語、日本語など複数の言語に対応し、感情分析や翻訳アプリケーションに利便性をもたらします。Qwen-Audioと比較して、Qwen2-Audioはアーキテクチャと性能において全面的な最適化が行われ、事前学習段階ではより自然な言語プロンプトが採用されています。

イスラエルのAI企業aiOlaは、Whisper Medusaというオープンソースの音声認識モデルを発表しました。このモデルは改良されたアーキテクチャ設計に基づいており、マルチヘッドアテンション機構を導入することで、OpenAIのWhisperモデルよりも50%高速な処理を実現しています。Whisper Medusaは、従来の1トークンずつではなく、10トークンを並列に予測することで、音声認識速度を大幅に向上させながら、性能の低下を防いでいます。その革新的なトレーニング方法は弱教師あり学習を採用しており、主幹システムを凍結して—

イスラエルのAIスタートアップ企業aiOlaは、OpenAIのWhisperより50％高速なオープンソース音声認識モデルWhisper-Medusaを発表しました。このモデルはWhisperをベースに構築されており、革新的な「マルチヘッドアテンション」アーキテクチャを採用することで、一度により多くのトークンを予測し、速度を大幅に向上させながら精度を維持しています。Whisper-Medusaは、MITライセンスの下でHugging Faceで公開されており、研究および商業利用が許可されています。aiOlaは弱教師あり学習を用いて…

GroqCloudがひっそりとWhisper V3 Largeをリリースしました。開発者の方は、音声テキスト変換機能を活用した構築が可能になり、現在GroqChatに組み込まれており、誰もが体験できます。

Groqが最新のWhisper Large-V3モデルをリリースしました。ユーザーはPlaygroundまたはローカルプロジェクトでAPIを使用し、音声転写と翻訳機能を利用できます。このモデルは複数言語の転写に対応し、転写速度が非常に速く、他の言語を英語に翻訳することも可能です。

OpenAIは開発者向けイベントで、アップグレード版の自動音声認識モデルWhisper3を発表しました。Whisper3は多言語に対応し、音声からテキストへの高速かつ正確な転写が可能です。OpenAIはWhisper3のAPIをユーザー向けに公開する予定です。