小規模言語モデル（SLM）は、企業がAIを導入する効率的で費用対効果の高い方法として見なすようになり、注目を集めています。
マイクロソフトは、数学的推論において大規模モデルを上回る性能を発揮すると述べ、自然言語処理も行えるとして、Phi-4を発表したばかりです。
SLMは、AIにおける言語の多様性のギャップを埋める一助にもなり得ると、メタの副社長兼主任AI科学者のヤン・ルカン氏は世界経済フォーラムに語りました。
Llama、Phi、Mistral、Gemma、Graniteは新しいスーパーヒーローチームのように聞こえるかもしれませんが、実際には、小規模言語モデル（SLM）の例です。これらの軽量で強力なモデルは、AIの世界で存在感を示し始めています。
大規模言語モデル（LLM）が見出しを独占してきた一方で、企業は、SLMの戦略的価値をますます認識しつつあり、AIを導入するための、より的を絞った、効率的で費用対効果の高い手法として注目しています。
この流れは、コストへの配慮やデータプライバシーへの懸念を含む複数の要因によって推進されていると、インフォシスの会長兼共同創業者であるナンダン・ニレカニ氏はフィナンシャル・タイムズに語りました。
「大企業を見ると、皆こう言っています。『どうすれば自社のAIの運命を自ら切り拓けるのか？』 非常に特定のデータで訓練された小規模言語モデルは、実際にかなり効果的です……誰もがモデルを構築するでしょうが、私は彼らがあれほど巨大なモデルを作る必要はないと考えています。」
世界経済フォーラムは、人工知能のためのガードレールをどのように構築しているのか？
AI卓越性センターは、分野を超えたリーダーをつなぎ、人工知能の急速な進化と、それが経済や社会に与える影響を理解するための場を提供しています。AI導入に関連する機会、リスク、トレードオフについて、十分な情報に基づく対話を支援しています。
信頼できる場や協働イニシアチブを通じて、センターはパートナーが共通理解を築き、AIのイノベーションと利用に対する責任あるアプローチに向けて共に取り組めるよう支援しています。
世界経済フォーラムのAIガバナンス・アライアンスは、『AI時代における産業の変革』と題した旗艦ホワイトペーパーシリーズを発表したばかりです。このシリーズは、各分野におけるAI導入を検証し、それぞれ異なるアプローチ、投資水準、そして業界ごとに直面する課題を浮き彫りにしています。
行動するAI：実験を超えて産業を変革する同白書は、AI対応のハンドヘルド端末、高度なエッジAI、『コンパクト』な言語モデルを統合することで、タスクの自動化、スケジュール管理、リアルタイム情報の提供によって仕事を革新する可能性があることを明らかにしています。
「これらのイノベーションにより、より迅速で情報に基づいた意思決定、効果的なコミュニケーション、そしてより生産的な行動が可能になります。重要なインサイトへの即時アクセスは、個人と職業上の意思決定を強化します。この変化は、インターネットがもたらした変革的な影響と同様に、個人や企業の働き方を大きく変えていく可能性があります。」
小規模言語モデル（SLM）とは何か？
LLMと同様に、OpenAIのChatGPTを支えるGPT-4などのSLMは、自然言語を理解し生成することができ、LLMに見られる人工ニューラルネットワークを合理化したバージョンを用いて構築されています。
しかしSLMは、特定のタスクで優れた性能を発揮するよう設計されています。焦点を絞ったデータセットで訓練されるため、顧客フィードバックの分析、製品説明の生成、さらには専門業界の専門用語の処理といったタスクに非常に効率的です。
すべての言語モデルはパラメータを使用します。パラメータとは、データから学習し予測を行うことを可能にする調整可能な設定です。SLMのパラメータははるかに少なく、それによりLLMと比べて速度と効率性が高まっています。
GPT-4のようなLLMが1,750億を超えるパラメータを持つことができる一方、SLMは通常、数千万から300億未満のパラメータです。
この縮小されたアーキテクチャにより、SLMは、カスタマーサービスのチャットボットやバーチャルアシスタントなど、特定の分野における自然言語処理タスクを、大規模な同等モデルよりもかなり少ない計算能力で実行できます。
SLMのコンパクトな設計は、次のような技術によって実現されています：知識蒸留、枝刈り、量子化。これらの手法によりSLMは、より少ない処理能力で大規模モデルの中核的な能力を捉えることができ、そのため、リソースに制約のある環境（例えばエッジデバイスやモバイルアプリケーション）に最適です。
SLMは企業にとってどのような利点がありますか？
SLMのより的を絞ったアプローチは、精度を向上させるだけでなく、データプライバシーと管理に関する懸念にも対応します。SLMを使用することで、企業はデータをより適切に管理でき、LLMで生じうる潜在的な著作権問題を軽減できます。
2024年12月、マイクロソフトは、Phiファミリーの最新のSLMであるPhi-4を公開しました。同社は、このモデルについて「数学関連の推論において、同等の大規模モデルを上回る性能を発揮する」と述べており、従来の言語処理も行える、としています。
マイクロソフトによると、SLMには次のような利点もあります：
訓練と応答時間の高速化：パラメータが少ないため、SLMはより迅速に訓練でき、リアルタイムのアプリケーションでより速い応答を提供できます。
エネルギー消費の削減：SLMのより小さいアーキテクチャにより、エネルギー使用量が少なくなり、より環境に優しいものになります。
費用対効果：計算要件とエネルギー消費が少ないことは、運用コストの削減につながります。
特定分野タスクにおける性能向上：SLMは特定の用途に合わせて調整でき、限定的な分野においてより高い精度を提供できる可能性があります。
エッジデバイスとの互換性：コンパクトなサイズにより、エッジデバイスへの導入が可能となり、ローカル処理を可能にし、レイテンシーを低減します。
SLMは、AIにおける言語の多様性のギャップを埋めるのにどのように役立つか
SLMは、AIにおける言語の多様性のギャップに対処する機会ももたらします。現在、ほとんどのAIチャットボットは、世界の7,000以上の言語のうち約100言語でしか訓練されていません。英語への強い偏りがあります。
この制約は、数十億人をデジタル経済から排除するおそれがあります。特定の言語や方言に焦点を当てることができるSLMは、このギャップを埋め、より包括的なAIシステムを構築する一助となり得ます。
例えば、Llama 3.2 1Bおよび3B、メタの最小のオープンソースモデルは、これまでのところ多言語テキスト生成機能を備えています。
講演の場は、世界経済フォーラムの持続可能な開発インパクト会議（SDIM）において、2024年9月、メタの副社長兼主任AI科学者のヤン・ルカン氏は、セネガルのデジタルヘルスケアを例に、ギャップを埋めるために多言語AIがどれほど必要かを強調しました。
Kera Healthのように、AIを活用したプラットフォームでは、人々が「AIアシスタントと話すことができますが、そのAIはフランス語に加えてウォロフ語、そしてセネガルのほかの3つの公用語で話せる必要があります」。
ルカン氏は、オープンソースAI（「AIのためのウィキペディア」）が変革を推進しうると述べ、地域住民にとって有用なシステムの構築やパートナーシップを可能にすると述べました。
「例えば、メタとインド政府との間にはパートナーシップがあり、将来のバージョンの[Llama]は、インドの少なくとも22の公用語すべて、そしておそらくは数百の地域言語や方言すべてで話せるようになります。」
『行動するAI』白書は、AIを活用したユニバーサル翻訳が、言語や方言を超えて専門家水準の正確な翻訳を提供することで、世界的なやり取りを変革する可能性があると指摘しています。
「これにより、コミュニケーションの壁が取り払われ、包摂性が促進され、地域文化の到達範囲が広がります。この技術は、学習教材を普遍的にアクセス可能にすることで教育機会を平等化し、効果的な多言語コミュニケーションを通じて医療を強化し、共同作業や貿易の効率化によってグローバルなビジネスを支えることができます。
芸術やメディアを通じて文化交流を促進し、情報を民主化し、相互につながった世界で社会に力を与えると同時に、絶滅危惧言語にグローバルな露出と関連性を与えることで、それらを保存します。」
小規模言語モデルの限界とは何ですか？
ただし、SLMにも限界があり、マイクロソフトが指摘するように次のようなものが含まれます：
複雑な言語を扱う能力の限界：SLMは、微妙なニュアンスを含む言語の理解や文脈上の機微の把握に苦戦する可能性があります。
複雑なタスクにおける精度の低下：多面的な推論や複雑なデータパターンに対しては、SLMは大規模モデルの精度に及ばない可能性があります。
性能の制約：効率的である一方、SLMは非常に高い要求水準のタスクに必要な堅牢な性能を発揮できない場合があります。
適用範囲の狭さ：SLMは通常、より小規模で専門的なデータセットで訓練されるため、大規模モデルと比べて柔軟性や一般的知識が限られています。
これらの限界があるにもかかわらず、SLMは、特にエッジコンピューティングやリアルタイム処理のシナリオにおいて、さまざまな分野での応用が増えつつあります。
SLMの登場は、企業のAI戦略における重要なパラダイムシフトを示しています。組織は実験的なアプローチから、より的を絞った、費用対効果の高い可能性のある目的主導の戦略的導入へと移行しています。
