AIメディアテクノロジー企業Runwayは、最新のテキストから画像生成モデル「Frames」を発表しました。AIビデオモデルで知られるRunwayが、画像創作分野における影響力の拡大を目指した取り組みです。Framesは、特に映画のような視覚効果の生成において高い評価を得ており、ユーザーから広く好評を得ています。このモデルは2024年11月に初めて発表され、過去数週間はRunwayクリエイタープログラムのユーザーに先行体験版が提供されていました。

AI画像生成技術は急速に発展していますが、モデルのサイズが大きくなり、一般ユーザーにとっての学習や使用コストが高くなっています。今、"Sana"と呼ばれる新しいテキストから画像へのフレームワークが登場し、最大4096×4096ピクセルの超高解像度画像を効率的に、そして驚くべき速度で生成します。ノートPCのGPUでも動作可能です。Sanaの中核設計には、深層圧縮自己符号化器が含まれています。従来の自己符号化器が画像を8倍に圧縮するのに対し、Sanaが使用する自己符号化器は…

バイトダンス傘下のAIアシスタントDoubaoは、テキストから画像を生成する機能をアップグレードし、指定テキストを含む画像をワンクリックで生成できるようになりました。Doubaoの大規模言語モデルチームの責任者によると、Doubaoのテキストから画像生成モデルは、LLM（大規模言語モデル）とDIT（デジタル画像技術）を統合したアーキテクチャを採用し、中国語データの学習能力を最適化することで、漢字の生成能力を強化し、生成効果を大幅に向上させました。

今週、阿里云通義万相チームは新しい画像編集モデルACEを発表しました。ユーザーにより便利でスマートな画像生成と編集サービスを提供することを目的としています。ユーザーは簡単な口語的な指示だけで画像を生成または編集でき、画像編集の複雑さを大幅に簡素化します。このツールは、スタイル写真、分鏡制作、室内デザインなど、幅広い用途に対応しています。ACEモデルは、テキストから画像を生成する機能だけでなく、強力な画像編集機能も備えています。ユーザーは対話形式で制御可能なビジュアル編集や要素修正を行うことができます。

生成AIは目覚ましい発展を遂げていますが、その性能を包括的に評価することは依然として課題です。様々なモデルが登場し、その効果はますます驚異的になっています。しかし、これらのテキストから画像を生成するモデルの効果をどのように評価すれば良いのでしょうか？従来の評価方法は、人間の目による評価に頼るため主観性が強すぎるか、CLIPScoreのような単純な指標を使用しますが、これらの指標は、オブジェクト間の関係や論理的推論など、複雑なテキストプロンプトの細部を捉えきれないことが多々あります。そのため、多くのテキストから画像を生成するモデルの評価結果が不正確になったり、誤った評価がされる可能性があります。

アリババの通義实验室による最新の研究によると、既存のテキストから画像を生成するDiffusion Transformerモデルは、特定の関係を持つ複数の画像を生成する能力を既に備えており、少し「ヒント」を与えるだけで「統合理解」し、高品質の複数画像セットを生成できることが示されました。従来のDiffusionモデルは「丸暗記」をする生徒のようなもので、高品質の画像を生成するには大量のデータによるトレーニングが必要でした。しかし、IC-LoRAの活用により、「類推」が得意な秀才のようなモデルとなり、少量のデータで済むようになります。

Canvaは先日、一連の新しいAI機能を発表しました。中でも最も注目すべきは、新たな画像生成ツール「Dream Lab」です。このツールは、Canvaが生成AIスタートアップのLeonardo.aiを買収した後に発表されたもので、LeonardoのPhoenixモデル（AdobeのFirefly AIと混同しないでください）を利用しています。ユーザーはテキストによる説明から、様々なスタイルの画像を生成できます。例えば、

昨日夜、Stability AIは、その最強のモデルであるStable Diffusion 3.5を発表しました。これは単一のモデルではなく、研究者からビジネス愛好家、スタートアップ企業、企業まで、多様なニーズを満たすことを目的とした3つのバージョンを含むファミリーパックです。この3つのバージョンは、Stable Diffusion 3.5 Large、Stable Diffusion 3.5 Large Turbo、そして10月29日にリリース予定のバージョンです。

NVIDIA、マサチューセッツ工科大学、清華大学の研究者らが協力して開発した、Sanaと呼ばれる新しいテキストから画像生成フレームワークが登場しました。このフレームワークは、最大4096×4096ピクセルの高解像度画像を効率的に生成できます。Sanaは、高解像度で高品質、テキストとの整合性の高い画像を非常に高速に合成でき、ノートパソコンのGPUでも動作します。Sanaの中核となる設計には、深層圧縮オートエンコーダーが含まれています。従来のオートエンコーダーが画像を8倍にしか圧縮できないのに対し、Sanaで訓練されたオートエンコーダーは…

智譜技術チームは本日、最新のテキストから画像生成モデルCogView3とそのアップグレード版CogView3-Plus-3Bが正式にオープンソース化され、智譜清言アプリで正式に利用可能になったことを発表しました。これらのモデルの登場は、AIアシストアート制作が新たな段階に入ったことを意味します。カスケード拡散に基づくテキストから画像生成モデルであるCogView3は、その生成プロセスが非常に洗練されています。まず、512x512ピクセルの低解像度の画像を生成し、その後、...

先日、阿里妈妈クリエイティブチームは、FLUX.1-devモデルをベースにトレーニングされた8段階蒸留LoRAモデルであるFLUX.1-Turbo-Alphaを発表しました。このモデルはマルチヘッド識別器を採用することで蒸留の質を大幅に向上させ、テキストから画像生成、修復制御ネットワークなど、様々なFLUX関連アプリケーションに対応しています。チームは、使用時にはガイダンススケールを3.5、LoRAスケールを1に設定することを推奨しており、将来的にはステップ数の少ないバージョンもリリースする予定です。FLUX.1-Turbo-

先日、智譜AIは最新の成果であるCogView3とそのアップグレード版CogView-3Plus-3Bを一般公開し、テキストから画像生成の分野に新たな活力を注ぎ込みました。CogView3の登場は重要なマイルストーンと言えるでしょう。テキストから画像生成分野で中継拡散を実装した最初のモデルとして、独自の級聯拡散手法を採用しています。この革新的なアプローチは、まず低解像度の画像を生成し、その後、中継に基づく超解像技術を用いて最終出力を完成させます。これにより、大幅な速度向上を達成しています。

Stability AIとAmazon Web Services (AWS)のパートナーシップにより、3つの新しいテキストから画像を生成するモデルがAmazon Bedrockサービスに追加され、ビジネス上の地位と市場競争力を強化します。Stable Image Ultra、Stable Diffusion 3 Large、Stable Image Coreの3つのモデルは、それぞれ異なるニーズに対応し、高品質な画像生成から高速な大量画像生成までを提供します。

2024年8月21日、Ideogramチームはテキストツーイメージモデルの最新バージョンであるIdeogram 2.0を発表しました。今回のアップデートでは、無料での利用が可能になっただけでなく、数々の革新的な機能とツールが追加され、テキストツーイメージ技術の大きな飛躍を象徴しています。

Googleのテキストから画像生成モデルImagen 3の「ImageFX」機能が全ユーザーに正式公開されました。より優れたプロンプト操作性を提供します。ユーザーは説明的なテキストを入力するだけで、システムが対応する画像を生成し、プロンプトを最適化して、生成結果を向上させるための複数の選択肢を提供します。さらに、Imagen 3には局所的な修正機能も備わっており、ユーザーはブラシツールを使用して画像の一部を修正し、関連する説明詞を入力すると、システムが自動的に修正後の画像を生成します。これにより、画像生成の柔軟性と利便性が大幅に向上します。

7月17日のSamsung新型スマートフォン発表会で、美图公司とSamsungは協力関係を深化させると発表しました。美图のAI奇想大模型は、Samsung Galaxy折りたたみ式スマートフォンGalaxy Z Fold6とZ Flip6ユーザーに「テキストから画像生成壁紙」と「落書きから画像生成」機能を提供します。キーワードを設定することで、ユーザーは芸術的な美学を取り入れた壁紙を生成したり、S Penで描いた落書きを芸術作品に変換したりできます。美图影像研究所は、そのAIモデルが光と影、色、構図においてプロレベルに達していると強調しています。特に「落書きから画像生成」機能は注目を集めています。

バイトダンスチームは7月19日（今週金曜日）に、最新のAIモデル技術の進展を初めて大々的に発表する予定です。発表内容は、テキストから画像生成、Soraに類似した新型ビデオなどの新しいAIモデルを網羅しており、特に長尺動画と高ダイナミックレンジ方向における革新的な技術が示される見込みです。OpenAIのSoraテキストから動画生成モデルに直接対抗するものとなる可能性があります。

英国の人工知能スタートアップ企業Stability AIは、Prem Akkarajuを新CEOに任命しました。Akkaraju氏は以前、VFX企業Weta DigitalのCEOを務め、Stability AIの投資家でもあります。Stability AIには、元Facebook社長のSean Parker氏など強力な投資家が名を連ねており、総投資額は1億ドルを超えています。

抖音のFlow部門がAIカメラアプリ「星绘」をリリースし、全く新しいビジュアル体験を提供します。「星绘」はAI分身機能を搭載しており、ユーザーは多様な分身効果をカスタマイズできます。写真や動画をアップロードすることで、自分自身のAI分身を生成し、仮想世界を自由に体験できます。「星绘」は、服装、職業体験、ヘアスタイル変更などの機能も提供し、AI分身をよりパーソナライズします。AI分身に加え、ユーザーは「星绘」でAI画像編集やテキストから画像生成による創作も楽しめます。

Stable Diffusion 3モデルがDiT（Diffusion Transformer）アーキテクチャを採用して公開されました。Stable Diffusion 3は品質が大幅に向上しており、他のテキストから画像生成システムを凌駕しています。Stable Diffusion 3のパラメータ数は8億から8BSDに増加しました。このアーキテクチャはSoraの中核開発メンバーとニューヨーク大学助教授の共同研究に基づいています。