ラ・サピエンツァ大学の分析によると、iGenius の大規模言語モデルである Model Italy は、イタリア語のデータでトレーニングされた他の LLM よりも貧弱です。最近 AI 分野でイタリア製初のユニコーンとなった企業は次のように答えました。
Model Italy は、 ウルジャン シャーカによって設立された IT 企業 iGenius によって開発された大規模言語モデル (LLM) であり、Cineca Interuniversity Consortium によって管理されている Leonardo スーパーコンピューターで、90% がイタリア語の情報で構成されるデータセットでトレーニングされました。
iGenius によると、わずか 2 日前、iGenius はイタリア初の AI ユニコーン企業となったが、同社はさらなる増資を経て、 アンジェロ・モラッティ氏のファンドと Intesa Sanpaolo グループの Eurizon が参入したという。
しかし、イタリアのデータでトレーニングされた LLM は Model Italy だけではありません。民間部門では Fastweb もあり、大学レベルでは、バーリ大学のLLaMAntino 、ピサ大学の Cerberus、ローマの La Sapienza の Faun、Camoscio、Dante、 Minervaなど、さまざまなプロジェクトがあります。
そして、ローマ大学自体がModel Italiaチェックポイントを非公式バージョンに変換し、さまざまな LLM を比較できるHugging Face プラットフォームで利用できるようにしました。
SAPIENZA によるイタリアモデルの分析
そこで、Sapienza 研究グループは、イタリア語に翻訳された LLM の 6 つの標準ベンチマークについて、Model Italy (Italy-9B) の機能の予備分析を実施しました。これらは、オープンソースで間もなくリリースされる新しい評価スイートの一部です。実験の再現性と透明性を促進します。
「私たちの分析では、Model Italia を、イタリア語でトレーニングまたは適応させた同様のサイズ (7B から 8B) の他の 4 つのモデルと比較しました。」
特に、 Italia 9Bと比較されるモデルは、 Anita 8B 、 Maestrale 7B 、 Qwen2-7B 、 Occiglot 7Bです。
同グループが明らかにしたように、イタリア語でゼロからトレーニングされたモデルは Italia 9B と Qwen2 です。 LLama3 の Anita、Mistral の Maestrale、Mistral の Occiglot は微調整によりイタリア語に適応したモデルです。
評価
iGenius がリリースしたモデルの非公式変換が使用されているため、分析には元のモデルのパフォーマンスが反映されていない可能性があると想定されていますが、研究者によると、考慮された 6 つのベンチマークと比較した Model Italia のパフォーマンスは他のすべてのベンチマークよりも低いとのことです。 、代わりに全員を倒すアニタ9Bと。
Hugging Face が作成したイタリア語を話すLLM のランキングでも、他の多くの企業に大きく遅れをとっています。
イジーニアスの答え
iGenius の製品管理責任者である Nicolas Pantaleo 氏は、Sapienza 氏が公開した LinkedIn の投稿に分析結果を返信し、Italia 9B を Hugging Face コミュニティに導入してくれたことに感謝するとともに、次のことを指摘したいと考えていました。 「彼らは、最終的なパフォーマンスに悪影響を与える多くの違いに気づきました。」
したがって、Pantaleo 氏は、「イタリアは間もなく iGenius の公式 Hugging Face プロフィールでも利用できるようになります」と保証し、モデルのさらなる技術的詳細が提供される予定です。
これは、Fri, 14 Jun 2024 20:14:30 +0000 の https://www.startmag.it/innovazione/ia-che-voto-da-la-sapienza-a-modello-italia-di-igenius/ で Start Magazine に公開された記事の自動翻訳です。