ReFTは、大規模言語モデル（LLM）の推論能力を強化するためのシンプルかつ効果的な手法です。まず、教師ありファインチューニング（SFT）によってモデルを事前学習させ、その後、オンライン強化学習、具体的には本稿で用いられているPPOアルゴリズムを用いて、モデルをさらに微調整します。ReFTは、与えられた問題に対して多数の推論経路を自動的にサンプリングし、正解から自然に報酬を導き出すことで、SFTを大幅に上回る性能を実現します。ReFTの性能は、推論時の戦略（多数決やランキング再評価など）を組み合わせることで、さらに向上させる可能性があります。注目すべき点は、ReFTは追加の、あるいは拡張された訓練データに依存することなく、SFTと同じ訓練問題を用いて改善を達成する点です。これは、ReFTがより強力な汎化能力を持つことを示唆しています。