メタ（Meta）

Metaはオープンソース戦略によりAI業界全体のイノベーションを加速させることを目指していた。前世代のLlama 2は2兆トークンで学習されていたが、推論やコーディングの性能向上が求められていた。

15兆トークン以上のデータで事前学習を行い、8Bと70Bの2つのパラメータサイズでリリース。128Kトークンの語彙を持つトークナイザーを採用し、Grouped Query Attention（GQA）で推論効率を最適化。30言語以上の多言語データを含み、コードデータは前世代の4倍に増量した。

オープンソース戦略によりエコシステム全体のイノベーションを加速できる。学習データの量と質の改善が性能向上の最大の要因であり、モデルアーキテクチャの効率化も重要。