継続学習の課題とNested Learning誕生の背景

大規模言語モデルが抱える継続学習の限界

過去10年間で機械学習は目覚ましい進歩を遂げ、特に大規模言語モデル（LLM）は多くの分野で人間に匹敵する性能を示すようになりました。しかし、現在のLLMには本質的な制約が存在します。それは、時間とともに新しい知識やスキルを能動的に獲得しながら、古い知識を保持し続ける「継続学習」能力の欠如です。現在のLLMの知識は、入力ウィンドウの即座のコンテキストか、事前学習時に学んだ静的な情報に限定されています。

壊滅的忘却という根本的問題

単純なアプローチとして、新しいデータでモデルのパラメータを継続的に更新する方法がありますが、これは「壊滅的忘却（Catastrophic Forgetting）」という深刻な問題を引き起こします。新しいタスクを学習すると、古いタスクでの性能が著しく低下してしまうのです。これは、ニューラルネットワークのパラメータが新しい情報で上書きされ、以前の知識が失われてしまうためです。

研究者たちは従来、この問題をアーキテクチャの調整や最適化ルールの改善によって対処しようとしてきました。しかし、モデルのアーキテクチャ（ネットワーク構造）と最適化アルゴリズム（訓練ルール）を別々のものとして扱ってきたため、真に統合された効率的な学習システムを実現できませんでした。

人間の脳からのインスピレーション

継続学習と自己改善において、人間の脳は理想的なモデルです。脳は神経可塑性という驚くべき能力を通じて適応します。これは、新しい経験、記憶、学習に応じて脳の構造を変化させる能力です。この能力がなければ、人間は前向性健忘症のように即座のコンテキストに限定されてしまいます。現在のLLMも同様の制限を抱えており、その知識は入力ウィンドウの即座のコンテキストか、事前学習で学んだ静的情報に制限されています。

Nested Learningの革新的アプローチ

NeurIPS 2025で発表された論文「Nested Learning: The Illusion of Deep Learning Architectures」において、研究チームはこのギャップを埋める新しいアプローチを提案しました。Nested Learningは、単一の機械学習モデルを1つの連続的なプロセスとしてではなく、相互接続された多層の学習問題のシステムとして扱い、それらを同時に最適化します。この研究の核心的な主張は、モデルのアーキテクチャとそれを訓練するためのルール（最適化アルゴリズム）は本質的に同じ概念であり、単に最適化の異なる「レベル」であるというものです。

Nested Learningの技術的特徴と革新性

ネスト構造による新しい設計次元

Nested Learningパラダイムは、複雑な機械学習モデルが実際には、互いにネストされているか並行して実行される、一貫性のある相互接続された最適化問題の集合であることを明らかにします。これらの内部問題のそれぞれには、独自のコンテキストフロー、つまり学習しようとする情報の独自の集合があります。この視点は、既存の深層学習手法が本質的に内部コンテキストフローを圧縮することで機能していることを示唆します。

さらに重要なことに、Nested Learningは、より深い計算深度を持つ学習コンポーネントを構築できる、モデル設計の新しい次元を明らかにします。更新頻度率、つまり各コンポーネントの重みが調整される頻度を定義することで、これらの相互接続された最適化問題を「レベル」に順序付けることができます。この順序付けられた集合が、Nested Learningパラダイムの中核を形成します。

連想記憶としての学習プロセス

このパラダイムを説明するために、研究チームは連想記憶の概念を用います。連想記憶とは、ある事柄を別の事柄に基づいてマッピングし想起する能力です（例えば、顔を見て名前を思い出すなど）。重要な発見として、訓練プロセス自体、特にバックプロパゲーションプロセスが、連想記憶としてモデル化できることが示されました。モデルは、与えられたデータポイントをその局所誤差の値にマッピングすることを学習し、これがそのデータポイントがどれほど「驚くべき」または予期しないものであったかの尺度として機能します。

同様に、先行研究に従って、Transformerのアテンション機構のような主要なアーキテクチャコンポーネントも、シーケンス内のトークン間のマッピングを学習する単純な連想記憶モジュールとして形式化できます。このように、アーキテクチャと最適化アルゴリズムを統一的な枠組みで理解できることが、Nested Learningの大きな特徴です。

Deep Optimizers：最適化アルゴリズムの進化

Nested Learningの視点は、既存のアルゴリズムとアーキテクチャを改善する原理的な方法を即座に提供します。まず、Deep Optimizersという概念が導入されました。Nested Learningは最適化アルゴリズム（例：モメンタムベースの最適化）を連想記憶モジュールとして扱うため、連想記憶の観点から原理を適用できます。

研究チームは、多くの標準的な最適化アルゴリズムが単純なドット積類似度（2つのベクトルがどれだけ似ているかを、対応する成分の積の合計を計算することで測定する指標）に依存しており、その更新は異なるデータサンプルがどのように関連しているかを考慮していないことを観察しました。最適化アルゴリズムの基礎となる目的をL2回帰損失のようなより標準的な損失指標に変更することで、モメンタムのような中核概念の新しい定式化を導出し、不完全なデータに対してより耐性のあるものにしました。

Continuum Memory Systems：記憶のスペクトラム

標準的なTransformerでは、シーケンスモデルが短期記憶として機能し、即座のコンテキストを保持します。一方、フィードフォワードニューラルネットワークは長期記憶として機能し、事前学習の知識を保存します。Nested Learningパラダイムは、この概念を「Continuum Memory Systems（CMS）」と呼ばれるものに拡張します。ここで記憶は、それぞれ異なる特定の頻度率で更新されるモジュールのスペクトラムとして見られます。

この連続的な記憶システムは、継続学習のためにはるかに豊かで効果的な記憶システムを作り出します。短期記憶から長期記憶まで、様々な時間スケールでの更新が可能になり、人間の脳の記憶システムにより近い構造を実現しています。

Hope：自己修正型アーキテクチャの実装

概念実証として、研究チームはNested Learningの原理を使用してHopeを設計しました。これは、Titansアーキテクチャの変種です。Titansアーキテクチャは、記憶がどれだけ驚くべきものであるかに基づいて優先順位を付ける長期記憶モジュールです。強力な記憶管理能力にもかかわらず、パラメータ更新のレベルは2つしかなく、結果として一次のコンテキスト内学習となっています。

対照的に、Hopeは無制限レベルのコンテキスト内学習を活用でき、より大きなコンテキストウィンドウにスケールするためにCMSブロックで拡張された、自己修正型の再帰的アーキテクチャです。本質的に自己参照プロセスを通じて独自の記憶を最適化し、無限のループする学習レベルを持つアーキテクチャを作成できます。

実験結果と今後の展望

言語モデリングと常識推論での性能評価

研究チームは、Deep OptimizersとHopeの有効性を評価するため、言語モデリング、長文コンテキスト推論、継続学習、知識統合タスクに関する実験を実施しました。一般に公開されている多様な言語モデリングおよび常識推論タスクにおいて、HopeアーキテクチャはモダンなRecurrentモデルや標準的なTransformerと比較して、より低いperplexity（困惑度）とより高い精度を示しました。

長文コンテキスト処理での優位性

Hopeは、長文コンテキストのNeedle-In-Haystack（NIAH）下流タスクにおいて優れた記憶管理を示しました。このタスクは、大量の情報（干し草の山）の中から特定の情報（針）を見つける能力を測定するもので、長文処理能力の重要な指標となります。CMSが拡張された情報シーケンスを処理するための、より効率的で効果的な方法を提供することが証明されました。

特に注目すべきは、Hopeが長いコンテキストウィンドウにおいても一貫した性能を維持できる点です。従来のモデルではコンテキストが長くなるにつれて性能が低下する傾向がありましたが、Nested LearningとCMSの組み合わせにより、この問題が大幅に改善されました。

継続学習における実践的意義

Nested Learningパラダイムが深層学習の理解における一歩前進を表していることは、実験結果からも明らかです。アーキテクチャと最適化を、ネストされた最適化問題の単一の一貫したシステムとして扱うことで、設計のための新しい次元を解放し、複数のレベルを積み重ねることができます。その結果生まれたHopeのようなモデルは、これらの要素を統合する原理的なアプローチが、より表現力豊かで、有能で、効率的な学習アルゴリズムにつながることを示しています。

人間の脳との距離を縮める可能性

研究チームは、Nested Learningパラダイムが、現在のLLMの限定的で忘れやすい性質と、人間の脳の卓越した継続学習能力との間のギャップを埋めるための堅固な基盤を提供すると考えています。この新しい次元を研究コミュニティが探求し、次世代の自己改善型AIの構築を支援することに期待が寄せられています。

特に重要なのは、Nested Learningが単なる性能向上の手法ではなく、機械学習システムの設計に対する根本的な考え方の転換を促す点です。アーキテクチャと最適化を別々のものとして扱うのではなく、統合された多層システムとして捉えることで、より柔軟で適応的な学習システムの構築が可能になります。

今後の課題と研究の方向性

Nested Learningは画期的なアプローチですが、いくつかの課題も残されています。まず、計算コストの問題があります。複数のレベルで同時に最適化を行うため、従来の手法と比較して計算リソースが増加する可能性があります。また、各レベルの更新頻度をどのように設定するかという設計上の選択肢も、今後の研究課題となります。

さらに、様々な実世界のタスクにおける有効性の検証も必要です。本研究では主に言語モデリングと推論タスクで評価されましたが、画像認識、音声処理、強化学習など、他の領域での性能も確認する必要があります。研究コミュニティによる追試と拡張が、この新しいパラダイムの真の可能性を明らかにするでしょう。