GoogleチームのMobileDiffusionは、モバイル端末上で0.2秒という驚異的な速度でテキストから画像を生成することに成功しました。これは、拡散モデルの計算速度が遅いという課題を解決する画期的な成果です。
この高速化は、UNetの設計（マクロおよびミクロレベル）における最適化によって実現されました。パラメーターの削減とサンプリングの最適化により、モバイル端末でも優れた性能を発揮します。この技術は、効率的な拡散モデルの設計とモバイルアプリケーションへの展開に大きな影響を与えるでしょう。
【AIデイリー】へようこそ！ここは、毎日人工知能の世界を探求するためのガイドです。毎日、開発者に焦点を当て、技術トレンドを洞察し、革新的なAI製品アプリケーションを理解するのに役立つ、AI分野のホットなコンテンツをお届けします。
人工知能によるビデオ生成分野において、拡散モデルはその卓越した性能から注目を集めています。しかし、固有の反復的ノイズ除去特性により、生成プロセスは時間と計算コストがかかり、広く普及する上での大きな障壁となっていました。最近、北京航空大学、香港大学、上海人工知能研究所の研究チームは、AccVideoという革新的な技術を発表しました。この手法は、新規で効率的な蒸留方法と合成データセットを組み合わせることで、ビデオ拡散モデルの生成速度を驚異的な8.5倍に向上させることに成功しました。
先日、開発者scraedがGitHub上でLanPaintを公開しました。これは、追加のトレーニングなしで画像修復を行うツールです。このツールは、ユーザーが独自のモデルを含むあらゆる安定拡散モデル（SD）で高品質の画像修復を実現することを目的としています。LanPaintは、ノイズ除去の前にモデルに「思考」させることで、よりシームレスで正確な修復結果を得ます。LanPaintの主な特徴の一つは、ゼロトレーニング修復です。ユーザーはすぐに…
近年、大規模データセットと事前学習済み拡散モデルのおかげで画像再照明技術は進歩し、一貫性のある照明の適用がより一般的になりました。しかし、ビデオ再照明の分野では、高額なトレーニングコストと多様で高品質なビデオ再照明データセットの不足により、進歩は比較的遅れています。画像再照明モデルをビデオにフレームごとに適用するだけでは、光源の一貫性のなさや再照明された外観の一貫性のなさが原因で、最終的に生成されたビデオにちらつきが生じるなど、様々な問題が発生します。この問題を解決するために、研究チームはLight-Aを提案しました。
ニューヨーク大学、マサチューセッツ工科大学、Googleの研究チームは最近、拡散モデルにおける推論時間のスケーリングにおけるボトルネック問題に対処することを目的とした革新的なフレームワークを発表しました。この画期的な研究は、従来の単純なノイズ除去ステップの増加という方法を超え、生成モデルの性能向上のための新たな道を切り開きます。このフレームワークは主に2つの次元から展開されます。1つは検証器からのフィードバックを利用すること、もう1つはより最適なノイズ候補を発見するためのアルゴリズムを実装することです。研究チームは、256×256解像度の事前学習済みSiT-XLモデルをベースに、250回の固定ノイズ除去ステップを維持しながら…
ゲーム開発において、シーンの多様性と創造性は長年の課題でした。最近、香港大学と快手科技は共同で、GameFactoryという革新的なフレームワークを開発しました。これはゲーム動画生成におけるシーン汎化問題を解決することを目指しています。このフレームワークは、事前学習済みのビデオ拡散モデルを利用し、オープンワールドの動画データでトレーニングすることで、新しく多様なゲームシーンを生成できます。ビデオ拡散モデルは、高度な生成技術として近年、動画生成や物理シミュレーション分野で大きな可能性を示しています。
AIメディアテクノロジー企業Runwayは、最新のテキストから画像生成モデル「Frames」を発表しました。AIビデオモデルで知られるRunwayが、画像創作分野における影響力の拡大を目指した取り組みです。Framesは、特に映画のような視覚効果の生成において高い評価を得ており、ユーザーから広く好評を得ています。このモデルは2024年11月に初めて発表され、過去数週間はRunwayクリエイタープログラムのユーザーに先行体験版が提供されていました。
マイクロソフトリサーチは、特定の特性を持つ新素材を生成できる強力な人工知能システムMatterGenを発表しました。これは、バッテリーやソーラーパネルなどの重要技術の開発を加速する可能性があります。MatterGenの登場は、科学者による新素材発見の方法に根本的な変化をもたらします。従来の方法とは異なり、MatterGenは数百万もの既存化合物をふるいにかけるのではなく、必要な特性に基づいて新素材を直接生成します。これは、AI画像生成器がテキストの説明から画像を生成するのと同様です。
最近、MangaNinjaという線画着色手法が注目を集めています。線画と参照画像を入力するだけで、参照画像に基づいて対象の線画を着色できます。この技術は拡散モデルに基づいており、参照画像による線画着色に特化することで、着色の精度とインタラクティブな制御能力を大幅に向上させています。研究チームは2つの革新的な設計により、キャラクターの詳細な再現を確実にしています。まず、参照カラー画像と対象線画間の対応学習を促進するためのパッチ再配置モジュールを導入しました。次に、点駆動…
AI画像生成技術は急速に発展していますが、モデルのサイズが大きくなり、一般ユーザーにとっての学習や使用コストが高くなっています。今、"Sana"と呼ばれる新しいテキストから画像へのフレームワークが登場し、最大4096×4096ピクセルの超高解像度画像を効率的に、そして驚くべき速度で生成します。ノートPCのGPUでも動作可能です。Sanaの中核設計には、深層圧縮自己符号化器が含まれています。従来の自己符号化器が画像を8倍に圧縮するのに対し、Sanaが使用する自己符号化器は…
一枚の画像から、高品質で広視野角の3Dシーンを効率的に生成することは、長年にわたる研究課題でした。従来の手法は、多くの場合、多視点データに依存したり、シーンごとの最適化に時間を要したり、背景の品質や未観測領域の再構築に課題がありました。既存技術は、単一視点からの3Dシーン生成において、情報の不足から遮蔽領域の誤りや歪み、背景のぼやけ、未観測領域の幾何構造の推定困難といった問題を抱えています。回帰に基づくモデルは、新しい視点の合成を順伝播方式で行うことができますが、複雑なシーンでは…