kvcache-ai/ktransformers

用於異構 GPU/CPU 上大型語言模型推論與微調的彈性框架，支援多種模型與最佳化。 A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations

Python 19k 1.5k 官網 Website

在 GitHub 開啟 View on GitHub

AI 分析 AI analysis

AI 閱讀專案 README 後撰寫的導讀。 Written by AI after reading the project README.

KTransformers 是一個專注於大型語言模型推論與微調的框架，透過 CPU-GPU 異構計算讓你在消費級硬體上跑得動 DeepSeek-V3 這類大模型。如果你只有一張 24GB 顯卡又想玩最新的開源 LLM，這專案值得研究；但底層涉及 CUDA 和 kernel 優化，初學者需要先熟悉 PyTorch 和基本模型架構。

上榜紀錄 Trending history

最佳名次 #3 Best rank #3 上榜 4 天 4 days listed 首次上榜 2026-07-20 First seen 2026-07-20

2026-07-25 每週 Weekly #18 +1,538
2026-07-24 每週 Weekly #17 +1,507
2026-07-21 每日 Daily #6 +458
2026-07-20 每日 Daily #3 +360