AI入門：研究ロードマップ

AIの種類と分類体系

Narrow/General/Super AI、弱いAI/強いAI、記号主義/接続主義/統計的学習。AGIレベル定義。

主要論文：Searle (1980); Bostrom (2014); Morris et al. (2023) AGI Levels

関連概念：GOFAI 接続主義 ニューロシンボリック

機械学習の基礎概念

ERM、データ分割、過学習と正則化、バイアス・バリアンス分解、モデル選択、交差検証。

主要論文：Hastie et al. (2009) ESL; Arlot & Celisse (2010) CV Survey

関連概念：訓練/検証/テスト L1/L2正則化 早期停止

教師あり学習

分類・回帰。線形モデル、SVM、決定木、アンサンブル（RF, XGBoost）、ニューラルネットワーク。

主要論文：Cortes & Vapnik (1995) SVM; Breiman (2001) RF; Chen & Guestrin (2016) XGBoost

関連概念：カーネル法 勾配ブースティング 確率的モデル

教師なし学習

クラスタリング、次元削減、密度推定、生成モデル。VAE、GAN、自己教師あり学習。

主要論文：Kingma & Welling (2014) VAE; Goodfellow et al. (2014) GAN; Chen et al. (2020) SimCLR

関連概念：k-means PCA/t-SNE/UMAP 対照学習

強化学習

MDP、価値関数、方策勾配、Actor-Critic、深層強化学習、RLHF。

主要論文：Mnih et al. (2015) DQN; Schulman et al. (2017) PPO; Ouyang et al. (2022) RLHF

関連概念：Q学習 PPO/TRPO DPO

NN実装の基礎

活性化関数、重み初期化、正規化技法、正則化、最適化アルゴリズム。

主要論文：Ioffe & Szegedy (2015) BatchNorm; Kingma & Ba (2015) Adam; He et al. (2015) 初期化

関連概念：ReLU/GELU/SwiGLU LayerNorm/RMSNorm Dropout

深層学習アーキテクチャ概観

CNN、RNN/LSTM、Transformer、Vision Transformerの歴史と比較。

主要論文：LeCun et al. (1998); Hochreiter & Schmidhuber (1997); Vaswani et al. (2017); Dosovitskiy et al. (2021)

関連概念：畳み込み Self-Attention 残差接続

PAC学習理論

Probably Approximately Correct学習。仮説クラスの学習可能性を多項式サンプル複雑度で特徴づける。

主要論文：Valiant (1984) "A Theory of the Learnable", CACM

関連概念：サンプル複雑度 不可知論的PAC 計算効率

VC次元・Rademacher複雑度

仮説クラスの表現力を測る尺度。汎化誤差の上界を与える。

主要論文：Vapnik & Chervonenkis (1971); Bartlett & Mendelson (2002) JMLR

関連概念：Sauer-Shelahの補題 構造的リスク最小化 データ依存境界

統計的学習理論

経験的リスク最小化、バイアス・バリアンス分解、正則化の理論的基盤。

主要論文：Vapnik (1998) "Statistical Learning Theory"; Shalev-Shwartz & Ben-David (2014) textbook

関連概念：ERM 一様収束 No Free Lunch定理

情報理論的汎化境界

相互情報量に基づく汎化誤差の解析。深層学習の理論的理解への新アプローチ。

主要論文：Xu & Raginsky (2017); Steinke & Zakynthinou (2020)

関連概念：相互情報量 PAC-Bayes 圧縮境界

Kolmogorov複雑性・アルゴリズム情報理論

文字列の最小記述長。計算不可能だが、オッカムの剃刀の形式化として重要。

主要論文：Kolmogorov (1965); Li & Vitányi (2008) textbook

関連概念：MDL原理 ランダム性 不変性定理

Solomonoff帰納推論

万能事前分布に基づく最適な帰納推論。計算不可能だが理論的ゴールドスタンダード。

主要論文：Solomonoff (1964) "A Formal Theory of Inductive Inference"

関連概念：万能事前分布 収束性 予測最適性

AIXI・万能知能

Solomonoff帰納とベイズ最適決定を統合した理論的最適エージェント。

主要論文：Hutter (2005) "Universal Artificial Intelligence"; Legg & Hutter (2007)

関連概念：Pareto最適性 AIXItl MC-AIXI

知能評価・ベンチマーク設計

Turingテストの限界、サイコメトリックAI、ARC（抽象推論コーパス）。

主要論文：Chollet (2019) "On the Measure of Intelligence"; Hernández-Orallo (2017) textbook

関連概念：C-Test 流動性知能 Few-shot評価

万能近似定理

十分な幅のネットワークは任意の連続関数を近似可能。ただし深さの利点は別問題。

主要論文：Cybenko (1989); Hornik et al. (1989); Lu et al. (2017)

関連概念：幅 vs 深さ 近似効率 ReLUネットワーク

勾配降下法の理論

非凸最適化における収束性、損失地形、暗黙的正則化。

主要論文：Kingma & Ba (2015) Adam; Zhang et al. (2017) "Understanding deep learning requires rethinking generalization"

関連概念：損失地形 鞍点 暗黙的バイアス

Neural Tangent Kernel

無限幅極限でのニューラルネットワークのカーネル法としての理解。

主要論文：Jacot et al. (2018) NeurIPS

関連概念：Lazy training Mean field理論 Feature learning

良性過適合（Benign Overfitting）

補間学習器が良好な汎化性能を示す現象。古典的バイアス・バリアンス理解への挑戦。

主要論文：Belkin et al. (2019) "Reconciling modern machine learning"; Bartlett et al. (2020)

関連概念：二重降下 補間閾値 暗黙的正則化

RNN・LSTM・GRU

系列モデリングの古典的アプローチ。勾配消失問題とゲート機構による解決。Seq2Seq、限界。

主要論文：Hochreiter & Schmidhuber (1997) LSTM; Cho et al. (2014) GRU; Bahdanau et al. (2015)

関連概念：勾配消失 ゲート機構 Seq2Seq Attention

Attention機構

Seq2Seq AttentionからSelf-Attention、Multi-Head Attentionまで。QKVの理解。

主要論文：Bahdanau et al. (2015); Luong et al. (2015); Vaswani et al. (2017)

関連概念：Query-Key-Value Scaled Dot-Product Cross-Attention

Transformer革命

Self-Attention、Multi-Head、位置エンコーディング。BERT/GPT/T5の構造。

主要論文：Vaswani et al. (2017); Devlin et al. (2019) BERT; Brown et al. (2020) GPT-3

関連概念：Encoder-Decoder Causal Masking FFN

位置エンコーディング

正弦波、学習可能、相対位置、RoPE、ALiBi。長文脈外挿への対応。

主要論文：Vaswani et al. (2017); Su et al. (2021) RoPE; Press et al. (2022) ALiBi

関連概念：RoPE Position Interpolation YaRN

アーキテクチャ進化（2017-2025）

Pre-LN、RMSNorm、GQA、SwiGLU、FlashAttention。標準構成の変遷。

主要論文：Xiong et al. (2020) Pre-LN; Dao et al. (2022) FlashAttention; Ainslie et al. (2023) GQA

関連概念：Pre-LN vs Post-LN RMSNorm SwiGLU

Mixture of Experts (MoE)

条件付き計算。スパースゲーティング、負荷分散。Mixtral、DeepSeek-V3。

主要論文：Shazeer et al. (2017); Fedus et al. (2022) Switch; Jiang et al. (2024) Mixtral

関連概念：Expert並列 Top-K routing Auxiliary Loss

State Space Models (Mamba等)

長系列の線形時間処理。S4、選択的SSM、ハイブリッドアーキテクチャ。

主要論文：Gu et al. (2022) S4; Gu & Dao (2023) Mamba; Lieber et al. (2024) Jamba

関連概念：HiPPO 選択的状態空間 Parallel Scan

最新アーキテクチャ概観

2024-2025年の動向。LLaMA、Mistral、DeepSeek、Claudeの設計比較。

主要論文：Touvron et al. (2023) LLaMA; DeepSeek-AI (2024)

関連概念：効率的推論 長文脈 マルチモーダル

LLMとは何か

大規模言語モデルの定義、特徴、能力。基盤モデルの概念、言語モデリング、自己回帰生成。

主要論文：Vaswani et al. (2017); Brown et al. (2020) GPT-3; Bommasani et al. (2021)

関連概念：Next Token Prediction Foundation Model トークン化

スケーリング則

モデルサイズ・データ量・計算量と性能の冪乗則関係。Kaplan則、Chinchilla則、最適配分。

主要論文：Kaplan et al. (2020); Hoffmann et al. (2022) Chinchilla

関連概念：Compute-optimal Chinchilla則 Over-training

事前訓練とファインチューニング

訓練パラダイム：Pre-training、SFT、RLHF、DPO。LoRA等のPEFT手法。

主要論文：Ouyang et al. (2022) InstructGPT; Hu et al. (2022) LoRA; Rafailov et al. (2023) DPO

関連概念：Instruction Tuning RLHF QLoRA

創発的能力

スケールにより突然出現する能力。CoT、算術。測定アーティファクト議論。

主要論文：Wei et al. (2022); Schaeffer et al. (2023) "Are emergent abilities a mirage?"

関連概念：相転移 不連続メトリック 逆スケーリング

事前学習と微調整の役割分担

LIMA論文のSuperficial Alignment仮説。知識注入 vs スタイル学習の分離。

主要論文：Zhou et al. (2023) LIMA; Taori et al. (2023) Alpaca

関連概念：Superficial Alignment 品質 vs 量 少量データ微調整

In-Context Learning

プロンプト内の例示のみで新タスクを学習。Zero/Few-shot、理論的解釈。

主要論文：Brown et al. (2020) GPT-3; Xie et al. (2022); Olsson et al. (2022) Induction Heads

関連概念：Few-shot 暗黙的ベイズ推論 プロンプトエンジニアリング

主要モデル比較

GPT、Claude、Gemini、Llama、Mistral、DeepSeekの技術的特徴と性能比較。

主要論文：OpenAI (2023) GPT-4; Anthropic (2024) Claude 3; Meta (2024) Llama 3

関連概念：MoE 長文脈 オープン vs クローズド

マルチモーダルモデル

テキスト・画像・音声・動画の統合処理。ViT、CLIP、GPT-4V、拡散モデル。

主要論文：Dosovitskiy et al. (2021) ViT; Radford et al. (2021) CLIP; Liu et al. (2023) LLaVA

関連概念：Vision-Language 拡散モデル ネイティブマルチモーダル

モデル進化年表

2017年Transformerから2025年o3までのLLM進化。パラメータ・性能の爆発的拡大。

主要論文：Vaswani et al. (2017); Brown et al. (2020); OpenAI (2024) o1/o3

関連概念：GPT系譜 推論特化 エージェント

最適化手法

SGD、Momentum、Adam、AdamW。学習率スケジューリング、ウォームアップ、勾配クリッピング。

主要論文：Kingma & Ba (2015) Adam; Loshchilov & Hutter (2019) AdamW

関連概念：適応的学習率 Cosine Annealing Weight Decay

分散訓練

データ並列、テンソル並列、パイプライン並列。ZeRO、FSDP、3D並列。

主要論文：Rajbhandari et al. (2020) ZeRO; Shoeybi et al. (2019) Megatron-LM

関連概念：AllReduce MoE並列 DeepSpeed

効率的訓練技術

混合精度、勾配チェックポイント、FlashAttention、量子化訓練、torch.compile。

主要論文：Micikevicius et al. (2018); Dao et al. (2022) FlashAttention

関連概念：BF16 FP8 QLoRA

パラメータ効率的ファインチューニング

全パラメータ更新せずに特定タスクに適応。LoRA、Adapter、Prefix-tuning。

主要論文：Hu et al. (2022) LoRA; Houlsby et al. (2019) Adapter

関連概念：低ランク適忚 Soft Prompt Instruction Tuning

RLHF

人間フィードバックからの強化学習。報酬モデル訓練とPPOによる方策最適化。

主要論文：Christiano et al. (2017); Ouyang et al. (2022) InstructGPT

関連概念：報酬モデル PPO KL制約

Constitutional AI・DPO

原則ベースのアライメント、RLAIF、直接選好最適化。報酬モデルなしでの訓練。

主要論文：Bai et al. (2022) CAI; Rafailov et al. (2023) DPO

関連概念：RLAIF IPO KTO ORPO

プロンプトエンジニアリング

Zero/Few-shot、Chain-of-Thought、Tree of Thoughts、自己一貫性、推論時スケーリング。

主要論文：Wei et al. (2022) CoT; Yao et al. (2023) ToT; Wang et al. (2023)

関連概念：CoT Self-Consistency ReAct

Mechanistic Interpretability

モデル内部の計算メカニズム解明。回路発見、特徴可視化。→ 説明可能性手法

主要論文：Olah et al. (2020) Circuits; Elhage et al. (2022) Superposition

関連概念：Activation Patching Probing SAE

AI安全性理論

能力制御、目標整合性、長期的リスク。技術的・哲学的課題。

主要論文：Amodei et al. (2016) "Concrete Problems"; Hubinger et al. (2019) Deceptive Alignment

関連概念：Inner Alignment Mesa-optimization Scalable Oversight

評価指標

Perplexity、BLEU、ROUGE、BERTScore、人間評価、LLM-as-Judge。

主要論文：Papineni et al. (2002) BLEU; Zhang et al. (2020) BERTScore

関連概念：n-gram 意味的類似度 MT-Bench

ベンチマーク

MMLU、HellaSwag、GSM8K、HumanEval、HELM、Big-Bench、ARC-AGI。

主要論文：Hendrycks et al. (2021) MMLU; Cobbe et al. (2021) GSM8K

関連概念：知識 推論 コード生成

モデル比較

GPT、Claude、Gemini、Llama、Mistral、DeepSeekの特徴と性能比較。

主要論文：Zheng et al. (2023) Chatbot Arena

関連概念：Eloレーティング オープン vs クローズド

ベンチマーク汚染・限界

データ漏洩、Goodhartの法則、飽和問題。評価の信頼性。

主要論文：Sainz et al. (2023) Contamination; Raji et al. (2021) Benchmark Limitations

関連概念：Train-test overlap 動的ベンチマーク

Vision-Language Models

画像とテキストの統合理解。CLIP、GPT-4V、LLaVA。

主要論文：Radford et al. (2021) CLIP; Liu et al. (2023) LLaVA

関連概念：対照学習 Visual Instruction Tuning 画像エンコーダ

拡散モデル

ノイズ除去による生成。Stable Diffusion、DALL-E、Sora。

主要論文：Ho et al. (2020) DDPM; Rombach et al. (2022) Stable Diffusion

関連概念：Score Matching Classifier-Free Guidance Latent Diffusion

音声・動画モデル

Whisper、AudioLM、動画生成・理解。

主要論文：Radford et al. (2023) Whisper; Borsos et al. (2023) AudioLM

関連概念：音声認識 音声合成 時間的一貫性

Tool Use・Function Calling

外部API・ツールの呼び出し能力。計算、検索、コード実行の統合。

主要論文：Schick et al. (2023) Toolformer; Patil et al. (2023) Gorilla

関連概念：API呼び出し ReAct 自己検証

LLMエージェント

計画・実行・反省のループ。AutoGPT、BabyAGI、エージェントアーキテクチャ。

主要論文：Yao et al. (2023) ReAct; Shinn et al. (2023) Reflexion

関連概念：タスク分解 記憶 マルチエージェント

RAG（検索拡張生成）

外部知識ベースの検索と生成の統合。幻覚軽減、知識更新。

主要論文：Lewis et al. (2020) RAG; Gao et al. (2023) Survey

関連概念：Dense Retrieval Chunking Reranking

予測処理・自由エネルギー原理

脳の統一理論としての予測符号化。能動推論、生成モデル。

主要論文：Friston (2010); Rao & Ballard (1999)

関連概念：変分自由エネルギー 予測誤差 ベイズ脳

意識理論（IIT・GWT）

統合情報理論、グローバルワークスペース理論。意識の計算的アプローチ。

主要論文：Tononi et al. (2016) IIT 3.0; Dehaene et al. (2003) GNW

関連概念：Φ グローバル放送 ハードプロブレム

中国語の部屋・理解の問題

構文と意味論の分離。LLM時代における再検討。

主要論文：Searle (1980); Bender & Koller (2020) "Climbing towards NLU"

関連概念：記号接地 意味論 確率的オウム

ニューロシンボリックAI

記号主義と接続主義の統合。解釈可能性、因果推論、形式的検証。

主要論文：Garcez et al. (2019); Marcus (2020)

関連概念：記号的推論 知識グラフ 論理埋め込み

教科書・サーベイ

体系的学習のための基本文献。

学習理論：Shalev-Shwartz & Ben-David (2014) "Understanding Machine Learning"
深層学習：Goodfellow et al. (2016) "Deep Learning"
NLP：Jurafsky & Martin (2024) "Speech and Language Processing" 3rd ed.
LLMサーベイ：Zhao et al. (2023) "A Survey of Large Language Models"
知能理論：Hutter (2005) "Universal Artificial Intelligence"

主要会議・ジャーナル

最新研究のフォロー先。

機械学習：NeurIPS, ICML, ICLR, COLT, JMLR
NLP：ACL, EMNLP, NAACL, TACL
AI一般：AAAI, IJCAI, AIJ
ビジョン：CVPR, ICCV, ECCV

プレプリント・リソース

最新動向の把握。

arXiv：cs.LG, cs.CL, cs.AI, stat.ML
技術レポート：OpenAI, Anthropic, Google DeepMind, Meta AI
ブログ：Distill.pub, Lilianweng.github.io, Jay Alammar