これは、130億パラメーターの事前学習済み双言語大規模言語モデルです。アラビア語と英語に対応しており、720億トークンのアラビア語データと2790億トークンの英語/コードデータで学習されています。アラビア語データは1.6エポック（英語/コードデータは1エポック）学習され、合計3950億トークンで学習されました。このモデルはTransformerデコーダー専用アーキテクチャ（GPT-3）に基づいており、SwiGLU非線形活性化関数を使用しています。ALiBi位置エンコーディングを実装しており、長いシーケンス長にも対応でき、文脈処理とモデル精度が向上しています。