1. 概要
1.1 二つのパラダイム
| 記号主義 | 接続主義 |
| 論理、ルール | ニューラルネット |
| 明示的知識 | 暗黙的学習 |
| 解釈可能 | 高性能だが不透明 |
| データ効率良い | 大量データ必要 |
1.2 統合の動機
- 両方の長所を組み合わせる
- 解釈可能性と性能の両立
- 少量データでの推論
- 構成的な一般化
2. アプローチ
2.1 ニューラル → シンボリック
知覚 → 記号抽出 → 推論
例:
- 画像からオブジェクト検出
- 関係を記号的に表現
- 論理推論で質問応答
2.2 シンボリック → ニューラル
知識埋め込み:
- 知識グラフをベクトル空間に
- 論理規則を微分可能に
- 制約としてニューラル学習に組み込み
2.3 統合型
- Neural Theorem Proving
- Differentiable Programming
- Program Synthesis
3. 主要技術
3.1 知識グラフ埋め込み
エンティティと関係をベクトル化:
(head, relation, tail) → スコア関数
TransE: h + r ≈ t
RotatE: h ∘ r ≈ t(回転)
→ 欠損リンク予測、推論
3.2 Neural Logic Programming
- 論理プログラムを微分可能に
- ルールの重みを学習
- 例: NeuralLP, DRUM
3.3 Concept Bottleneck Models
入力 → 概念予測 → 最終予測
中間の概念表現が解釈可能
人間が概念を修正して介入可能
4. LLMとの統合
4.1 アプローチ
- Tool use: LLMが計算機/検索を呼び出す
- Program synthesis: コード生成して実行
- Knowledge retrieval: RAGで知識ベース参照
4.2 利点
- LLMの弱点(計算、事実)を補完
- 根拠の追跡可能性
- 正確性の向上
5. 課題と展望
5.1 課題
- 記号表現の設計が難しい
- スケーラビリティ
- end-to-end学習との統合
5.2 期待される応用
6. 参考文献
- Garcez et al. (2019). "Neural-Symbolic Computing: An Effective Methodology for Principled Integration of Machine Learning and Reasoning"
- Marcus (2020). "The Next Decade in AI: Four Steps Towards Robust Artificial Intelligence"
- Koh et al. (2020). "Concept Bottleneck Models" ICML