大規模言語モデル(LLM)のパラメータ数を増やすと、小さなモデルには見られなかった能力が突然出現する――この「創発(emergence)」と呼ばれる現象は、AI研究において最も議論の的となっているテーマの一つです。本当に新しい能力が生まれているのか、それとも測定方法が生んだ錯覚に過ぎないのか。本記事では、創発の定義から論争の核心、そして最新の展開までを調査・考察してみました。参考になれば幸いです。
続きを読む
カテゴリー: 6.2 スケーリング則
スケーリング則