lyogavin/airllm
在單張4GB GPU上運行70B模型推理。 AirLLM 70B inference with single 4GB GPU
chinese-llmchinese-nlpfinetunegenerative-aiinstruct-gptinstruction-setllamallmloraopen-models
AI 分析 AI analysis
AI 閱讀專案 README 後撰寫的導讀。 Written by AI after reading the project README.
AirLLM 讓你用單張 4GB 顯卡就能跑 70B 大模型，甚至 405B Llama 3.1 只需 8GB、671B DeepSeek-V3 只要約 12GB，關鍵是不做量化或剪枝。如果你的硬體有限卻想玩超大模型，這專案值得一試；對初學者來說，pip install 後用 AutoModel 就能推理，上手門檻很低。
AI 推薦理由 Why AI picked it
展示低資源運行大模型，實用且啟發性強。 Demonstrates running large models on low-resource GPUs, practical and inspiring.
上榜紀錄 Trending history
- 2026-07-19 每日 Daily #8