ByteNoteByteNote

ByteNote 字节笔记本 — AI、开发工具与效率软件发现

发现 AI Agent、开发工具、开源项目与效率软件,跟上每日科技与工程实践。

编辑精选

一张 4GB 显卡跑 2.8T 参数:AirLLM 的笨办法反而最有效

不量化、不蒸馏、不剪枝,AirLLM 用逐层流式加载把万亿参数模型的推理显存压到个位数 GB;Kimi K3 只需 3.72GB,DeepSeek-V3 约 12GB,还支持 LoRA 训练。Apache 2.0,38.3k 星。

字
字节笔记本·7 小时前·4 分钟
一张 4GB 显卡跑 2.8T 参数:AirLLM 的笨办法反而最有效