はとはとブログ

iPhone、iPad、MacBook、古いPCなど、自宅にある複数のデバイスを連携させて1つのAIクラスターとして動作させるオープンソースツール「Exo」がGitHubで急上昇しています（32,700スター以上）。高価なNVIDIA製GPUを購入せずとも、手持ちのデバイスを束ねてローカルLLMを動かす「分散コンピューティングの民主化」について調査・考察してみました。参考になれば幸いです。