AIメディアテクノロジー企業Runwayは、最新のテキストから画像生成モデル「Frames」を発表しました。AIビデオモデルで知られるRunwayが、画像創作分野における影響力の拡大を目指した取り組みです。Framesは、特に映画のような視覚効果の生成において高い評価を得ており、ユーザーから広く好評を得ています。このモデルは2024年11月に初めて発表され、過去数週間はRunwayクリエイタープログラムのユーザーに先行体験版が提供されていました。

AI画像生成技術は急速に発展していますが、モデルのサイズが大きくなり、一般ユーザーにとっての学習や使用コストが高くなっています。今、"Sana"と呼ばれる新しいテキストから画像へのフレームワークが登場し、最大4096×4096ピクセルの超高解像度画像を効率的に、そして驚くべき速度で生成します。ノートPCのGPUでも動作可能です。Sanaの中核設計には、深層圧縮自己符号化器が含まれています。従来の自己符号化器が画像を8倍に圧縮するのに対し、Sanaが使用する自己符号化器は…

生成AIは目覚ましい発展を遂げていますが、その性能を包括的に評価することは依然として課題です。様々なモデルが登場し、その効果はますます驚異的になっています。しかし、これらのテキストから画像を生成するモデルの効果をどのように評価すれば良いのでしょうか？従来の評価方法は、人間の目による評価に頼るため主観性が強すぎるか、CLIPScoreのような単純な指標を使用しますが、これらの指標は、オブジェクト間の関係や論理的推論など、複雑なテキストプロンプトの細部を捉えきれないことが多々あります。そのため、多くのテキストから画像を生成するモデルの評価結果が不正確になったり、誤った評価がされる可能性があります。

昨日夜、Stability AIは、その最強のモデルであるStable Diffusion 3.5を発表しました。これは単一のモデルではなく、研究者からビジネス愛好家、スタートアップ企業、企業まで、多様なニーズを満たすことを目的とした3つのバージョンを含むファミリーパックです。この3つのバージョンは、Stable Diffusion 3.5 Large、Stable Diffusion 3.5 Large Turbo、そして10月29日にリリース予定のバージョンです。

Googleのテキストから画像生成モデルImagen 3の「ImageFX」機能が全ユーザーに正式公開されました。より優れたプロンプト操作性を提供します。ユーザーは説明的なテキストを入力するだけで、システムが対応する画像を生成し、プロンプトを最適化して、生成結果を向上させるための複数の選択肢を提供します。さらに、Imagen 3には局所的な修正機能も備わっており、ユーザーはブラシツールを使用して画像の一部を修正し、関連する説明詞を入力すると、システムが自動的に修正後の画像を生成します。これにより、画像生成の柔軟性と利便性が大幅に向上します。