lyogavin/airllm

減少推論記憶體用量，讓 70B LLM 在單張 4GB GPU 上運行。 AirLLM 70B inference with single 4GB GPU

Jupyter Notebook 33k 3.5k

chinese-llmchinese-nlpfinetunegenerative-aiinstruct-gptinstruction-setllamallmloraopen-models

AI 分析 AI analysis

AI 閱讀專案 README 後撰寫的導讀。 Written by AI after reading the project README.

AirLLM 讓你用單張 4GB 顯卡就能跑 70B 大模型，甚至 405B Llama 3.1 只需 8GB、671B DeepSeek-V3 只要約 12GB，關鍵是不做量化或剪枝。如果你的硬體有限卻想玩超大模型，這專案值得一試；對初學者來說，pip install 後用 AutoModel 就能推理，上手門檻很低。

AI 推薦理由 Why AI picked it

92 AI AI 2026-08-19

記憶體優化機制是逐層或逐 expert 串流載入，並有可驗證的 VRAM 數據（405B 在 8GB、Kimi K3 低於 4GB），支援多種開源模型與 pip 安裝、notebook 範例。適合 GPU 資源受限但仍想執行大型模型的開發者，頻繁更新顯示成熟度佳。 AirLLM streams layers or MoE experts to cut memory usage, with measured figures like 405B on 8GB and Kimi K3 under 4GB. It supports many open models via pip and notebooks, targeting developers with limited GPU resources. Frequent updates indicate mature maintenance.

上榜紀錄 Trending history

最佳名次 #1 Best rank #1 上榜 24 天 24 days listed 首次上榜 2026-07-19 First seen 2026-07-19