グーグルの研究者らが最近、Transformerとニューラルアルゴリズム推論(NAR)を組み合わせた新しいモデル「TransNAR」を発表しました。このモデルは、アルゴリズムタスクにおいて優れた性能を発揮します。

image.png

従来のTransformerはアルゴリズム推論において欠点がありましたが、NARは構造化データの処理に優れ、強力な汎化能力を備えています。TransNARはクロスアテンションメカニズムを通じてTransformerとNARを深く統合することで、テキスト形式のアルゴリズム問題記述とグラフ表現の両方を処理し、より優れたアルゴリズム推論能力を実現しました。

TransNARのトレーニング戦略も非常に独特で、多段階トレーニング方法を採用しています。事前学習段階では、NARを独立してトレーニングし、さまざまなアルゴリズムタスクを実行することで、内在的な論理と計算手順を学習します。微調整段階では、TransNARはテキスト記述とグラフ表現の二重入力を受け取り、事前学習済みのNARが提供するノード埋め込み情報を利用して、クロスアテンションメカニズムによって自身のトークン埋め込みを調整します。

このプロセスにより、TransNARはアルゴリズムタスクにおける性能がベースラインのTransformerモデルをはるかに上回り、特に分布外の汎化能力において顕著な優位性を示しています。TransNARは20%以上の性能向上を示しました

ポイント:

⭐ グーグルがTransNARモデルを発表。TransformerとNARを組み合わせ、アルゴリズム推論能力を向上

⭐ TransNARはクロスアテンションメカニズムを採用し、TransformerとNARを深く統合。テキストとグラフ表現の両方で優れた性能を発揮

⭐ 多段階トレーニング戦略により、TransNARはアルゴリズムタスクにおいてベースラインのTransformerを明確に上回り、特に汎化能力において優れた性能を示す