Issue 138 Kvcache Aiktransformers Github

想在家庭实验室中配备 请教几个配置问题 · Issue #138 · kvcache-ai/ktransformers · GitHub
想在家庭实验室中配备 请教几个配置问题 · Issue #138 · kvcache-ai/ktransformers · GitHub
如何查看当前使用的ktransformers版本号? · Issue #711 · kvcache-ai/ktransformers · GitHub
如何查看当前使用的ktransformers版本号? · Issue #711 · kvcache-ai/ktransformers · GitHub
[Feature] · Issue #1009 · kvcache-ai/ktransformers · GitHub
[Feature] · Issue #1009 · kvcache-ai/ktransformers · GitHub
v0.3版本复现 · Issue #856 · kvcache-ai/ktransformers · GitHub
v0.3版本复现 · Issue #856 · kvcache-ai/ktransformers · GitHub
【实测案例分享】入门家用电脑方案 · Issue #879 · kvcache-ai/ktransformers · GitHub
【实测案例分享】入门家用电脑方案 · Issue #879 · kvcache-ai/ktransformers · GitHub
这个框架能支持多少并发? · Issue #351 · kvcache-ai/ktransformers · GitHub
这个框架能支持多少并发? · Issue #351 · kvcache-ai/ktransformers · GitHub
参数说明在哪里? · Issue #184 · kvcache-ai/ktransformers · GitHub
参数说明在哪里? · Issue #184 · kvcache-ai/ktransformers · GitHub
[Bug] 模型加载后内存占用极低,运行速度慢 · Issue #1174 · kvcache-ai/ktransformers · GitHub
[Bug] 模型加载后内存占用极低,运行速度慢 · Issue #1174 · kvcache-ai/ktransformers · GitHub
能否支持SM75的设备 · Issue #134 · kvcache-ai/ktransformers · GitHub
能否支持SM75的设备 · Issue #134 · kvcache-ai/ktransformers · GitHub
推理速度问题 · Issue #446 · kvcache-ai/ktransformers · GitHub
推理速度问题 · Issue #446 · kvcache-ai/ktransformers · GitHub
16G显存无法启动 · Issue #683 · kvcache-ai/ktransformers · GitHub
16G显存无法启动 · Issue #683 · kvcache-ai/ktransformers · GitHub
[Bug] qwen3 with ktransformers backend broken · Issue #1250 · kvcache ...
[Bug] qwen3 with ktransformers backend broken · Issue #1250 · kvcache ...
[Bug] 最新源码编译失败 · Issue #1164 · kvcache-ai/ktransformers · GitHub
[Bug] 最新源码编译失败 · Issue #1164 · kvcache-ai/ktransformers · GitHub
ktransformers能不能做批量推理? · Issue #251 · kvcache-ai/ktransformers · GitHub
ktransformers能不能做批量推理? · Issue #251 · kvcache-ai/ktransformers · GitHub
有关双路服务器使用单路内存占用问题 · Issue #679 · kvcache-ai/ktransformers · GitHub
有关双路服务器使用单路内存占用问题 · Issue #679 · kvcache-ai/ktransformers · GitHub
硬件配置和实际运行效果的信息收集 · Issue #844 · kvcache-ai/ktransformers · GitHub
硬件配置和实际运行效果的信息收集 · Issue #844 · kvcache-ai/ktransformers · GitHub
麻烦更新群二维码,以及可以推荐一套硬件吗 · Issue #1345 · kvcache-ai/ktransformers · GitHub
麻烦更新群二维码,以及可以推荐一套硬件吗 · Issue #1345 · kvcache-ai/ktransformers · GitHub
[Bug] 多路请求下调度严重降低了性能 · Issue #1041 · kvcache-ai/ktransformers · GitHub
[Bug] 多路请求下调度严重降低了性能 · Issue #1041 · kvcache-ai/ktransformers · GitHub
[Bug] 超出预期的内存占用 · Issue #1055 · kvcache-ai/ktransformers · GitHub
[Bug] 超出预期的内存占用 · Issue #1055 · kvcache-ai/ktransformers · GitHub
Releases 相关疑问 · Issue #195 · kvcache-ai/ktransformers · GitHub
Releases 相关疑问 · Issue #195 · kvcache-ai/ktransformers · GitHub
cpufeature 不支持arm64 · Issue #302 · kvcache-ai/ktransformers · GitHub
cpufeature 不支持arm64 · Issue #302 · kvcache-ai/ktransformers · GitHub
模型输出结果会忽略掉开头的 · Issue #146 · kvcache-ai/ktransformers · GitHub
模型输出结果会忽略掉开头的 · Issue #146 · kvcache-ai/ktransformers · GitHub
[Bug] Cascade Lake架构不支持AVX512VPOPCNTDQ,0.2.3编译失败 · Issue #829 · kvcache ...
[Bug] Cascade Lake架构不支持AVX512VPOPCNTDQ,0.2.3编译失败 · Issue #829 · kvcache ...
KVCache现在还是用文件io吗,有考虑放内存吗 · Issue #600 · kvcache-ai/ktransformers · GitHub
KVCache现在还是用文件io吗,有考虑放内存吗 · Issue #600 · kvcache-ai/ktransformers · GitHub
可以给出详细的硬件配置清单吗? · Issue #84 · kvcache-ai/ktransformers · GitHub
可以给出详细的硬件配置清单吗? · Issue #84 · kvcache-ai/ktransformers · GitHub
这能在4090跑起来r1 ? 有没有高手真的能跑的 · Issue #494 · kvcache-ai/ktransformers · GitHub
这能在4090跑起来r1 ? 有没有高手真的能跑的 · Issue #494 · kvcache-ai/ktransformers · GitHub
server运行后,如何开启optimize? · Issue #543 · kvcache-ai/ktransformers · GitHub
server运行后,如何开启optimize? · Issue #543 · kvcache-ai/ktransformers · GitHub
v0.3 pre版本 使用AMX yaml报错 · Issue #617 · kvcache-ai/ktransformers · GitHub
v0.3 pre版本 使用AMX yaml报错 · Issue #617 · kvcache-ai/ktransformers · GitHub
[Bug] 回答时无限递归 · Issue #930 · kvcache-ai/ktransformers · GitHub
[Bug] 回答时无限递归 · Issue #930 · kvcache-ai/ktransformers · GitHub
[Bug] 运行 KT 0.3.2 版本时出错,KeyError: 'disk_path' · Issue #1460 · kvcache ...
[Bug] 运行 KT 0.3.2 版本时出错,KeyError: 'disk_path' · Issue #1460 · kvcache ...
[Bug] 部署Q4_K_M回答乱码 · Issue #1467 · kvcache-ai/ktransformers · GitHub
[Bug] 部署Q4_K_M回答乱码 · Issue #1467 · kvcache-ai/ktransformers · GitHub
Linux环境下安装ktransformers失败 · Issue #277 · kvcache-ai/ktransformers · GitHub
Linux环境下安装ktransformers失败 · Issue #277 · kvcache-ai/ktransformers · GitHub
没有复现样例里并发比单并发总token数多 · Issue #1146 · kvcache-ai/ktransformers · GitHub
没有复现样例里并发比单并发总token数多 · Issue #1146 · kvcache-ai/ktransformers · GitHub
[Bug] 模型推理过程出现nan · Issue #885 · kvcache-ai/ktransformers · GitHub
[Bug] 模型推理过程出现nan · Issue #885 · kvcache-ai/ktransformers · GitHub
为什么需要两个模型才能运行 · Issue #557 · kvcache-ai/ktransformers · GitHub
为什么需要两个模型才能运行 · Issue #557 · kvcache-ai/ktransformers · GitHub
Specify MAX_NEW_TOKENS for ktransformers server · Issue #92 · kvcache ...
Specify MAX_NEW_TOKENS for ktransformers server · Issue #92 · kvcache ...

Loading image details...

Source
Dimensions