Issue 901 Kvcache Aiktransformers Github

如何获取模型输出 · Issue #901 · kvcache-ai/ktransformers · GitHub
如何获取模型输出 · Issue #901 · kvcache-ai/ktransformers · GitHub
Specify MAX_NEW_TOKENS for ktransformers server · Issue #92 · kvcache ...
Specify MAX_NEW_TOKENS for ktransformers server · Issue #92 · kvcache ...
v0.3版本现在可用度怎么样了,后期还会更新吗。 · Issue #920 · kvcache-ai/ktransformers · GitHub
v0.3版本现在可用度怎么样了,后期还会更新吗。 · Issue #920 · kvcache-ai/ktransformers · GitHub
Two GPU configuration? · Issue #8 · kvcache-ai/ktransformers · GitHub
Two GPU configuration? · Issue #8 · kvcache-ai/ktransformers · GitHub
0.3版本报错 · Issue #591 · kvcache-ai/ktransformers · GitHub
0.3版本报错 · Issue #591 · kvcache-ai/ktransformers · GitHub
v0.2.4 并发首包时间差异巨大 · Issue #1144 · kvcache-ai/ktransformers · GitHub
v0.2.4 并发首包时间差异巨大 · Issue #1144 · kvcache-ai/ktransformers · GitHub
V0.2.1 官方预填充速度80多咋测出来的? · Issue #503 · kvcache-ai/ktransformers · GitHub
V0.2.1 官方预填充速度80多咋测出来的? · Issue #503 · kvcache-ai/ktransformers · GitHub
Rocm build error · Issue #900 · kvcache-ai/ktransformers · GitHub
Rocm build error · Issue #900 · kvcache-ai/ktransformers · GitHub
ktransformers能不能做批量推理? · Issue #251 · kvcache-ai/ktransformers · GitHub
ktransformers能不能做批量推理? · Issue #251 · kvcache-ai/ktransformers · GitHub
麻烦更新群二维码,以及可以推荐一套硬件吗 · Issue #1345 · kvcache-ai/ktransformers · GitHub
麻烦更新群二维码,以及可以推荐一套硬件吗 · Issue #1345 · kvcache-ai/ktransformers · GitHub
运行Deepseek R1 K4的V0.3的测试报错 · Issue #985 · kvcache-ai/ktransformers · GitHub
运行Deepseek R1 K4的V0.3的测试报错 · Issue #985 · kvcache-ai/ktransformers · GitHub
[Bug] 模型加载后内存占用极低,运行速度慢 · Issue #1174 · kvcache-ai/ktransformers · GitHub
[Bug] 模型加载后内存占用极低,运行速度慢 · Issue #1174 · kvcache-ai/ktransformers · GitHub
请问如何支持图灵架构的英伟达显卡2080ti? · Issue #649 · kvcache-ai/ktransformers · GitHub
请问如何支持图灵架构的英伟达显卡2080ti? · Issue #649 · kvcache-ai/ktransformers · GitHub
哥们,0.2版本在编译什么东西啊 · Issue #145 · kvcache-ai/ktransformers · GitHub
哥们,0.2版本在编译什么东西啊 · Issue #145 · kvcache-ai/ktransformers · GitHub
有没有可能把运行要求从显存+内存降低到内存+ssd? · Issue #191 · kvcache-ai/ktransformers · GitHub
有没有可能把运行要求从显存+内存降低到内存+ssd? · Issue #191 · kvcache-ai/ktransformers · GitHub
KVCache现在还是用文件io吗,有考虑放内存吗 · Issue #600 · kvcache-ai/ktransformers · GitHub
KVCache现在还是用文件io吗,有考虑放内存吗 · Issue #600 · kvcache-ai/ktransformers · GitHub
硬件配置和实际运行效果的信息收集 · Issue #844 · kvcache-ai/ktransformers · GitHub
硬件配置和实际运行效果的信息收集 · Issue #844 · kvcache-ai/ktransformers · GitHub
cpufeature 不支持arm64 · Issue #302 · kvcache-ai/ktransformers · GitHub
cpufeature 不支持arm64 · Issue #302 · kvcache-ai/ktransformers · GitHub
[Bug] · Issue #1338 · kvcache-ai/ktransformers · GitHub
[Bug] · Issue #1338 · kvcache-ai/ktransformers · GitHub
[Bug] 性能似乎有所下降 · Issue #1021 · kvcache-ai/ktransformers · GitHub
[Bug] 性能似乎有所下降 · Issue #1021 · kvcache-ai/ktransformers · GitHub
想在家庭实验室中配备 请教几个配置问题 · Issue #138 · kvcache-ai/ktransformers · GitHub
想在家庭实验室中配备 请教几个配置问题 · Issue #138 · kvcache-ai/ktransformers · GitHub
现在0324,最新的kt分支可以运行了吗? · Issue #1010 · kvcache-ai/ktransformers · GitHub
现在0324,最新的kt分支可以运行了吗? · Issue #1010 · kvcache-ai/ktransformers · GitHub
4090+192G DDR5能部署起多大的模型? · Issue #424 · kvcache-ai/ktransformers · GitHub
4090+192G DDR5能部署起多大的模型? · Issue #424 · kvcache-ai/ktransformers · GitHub
使用docker部署,启动报错 · Issue #250 · kvcache-ai/ktransformers · GitHub
使用docker部署,启动报错 · Issue #250 · kvcache-ai/ktransformers · GitHub
这能在4090跑起来r1 ? 有没有高手真的能跑的 · Issue #494 · kvcache-ai/ktransformers · GitHub
这能在4090跑起来r1 ? 有没有高手真的能跑的 · Issue #494 · kvcache-ai/ktransformers · GitHub
可以给出详细的硬件配置清单吗? · Issue #84 · kvcache-ai/ktransformers · GitHub
可以给出详细的硬件配置清单吗? · Issue #84 · kvcache-ai/ktransformers · GitHub
[Bug] 海光DCU运行中模型胡言乱语 · Issue #992 · kvcache-ai/ktransformers · GitHub
[Bug] 海光DCU运行中模型胡言乱语 · Issue #992 · kvcache-ai/ktransformers · GitHub
安装ktransformers出错 · Issue #292 · kvcache-ai/ktransformers · GitHub
安装ktransformers出错 · Issue #292 · kvcache-ai/ktransformers · GitHub
1T内存混合4*3090推理问题 · Issue #171 · kvcache-ai/ktransformers · GitHub
1T内存混合4*3090推理问题 · Issue #171 · kvcache-ai/ktransformers · GitHub
Web UI Error · Issue #325 · kvcache-ai/ktransformers · GitHub
Web UI Error · Issue #325 · kvcache-ai/ktransformers · GitHub
v0.3版本复现 · Issue #856 · kvcache-ai/ktransformers · GitHub
v0.3版本复现 · Issue #856 · kvcache-ai/ktransformers · GitHub
如何查看当前使用的ktransformers版本号? · Issue #711 · kvcache-ai/ktransformers · GitHub
如何查看当前使用的ktransformers版本号? · Issue #711 · kvcache-ai/ktransformers · GitHub
[Bug] 运行 KT 0.3.2 版本时出错,KeyError: 'disk_path' · Issue #1460 · kvcache ...
[Bug] 运行 KT 0.3.2 版本时出错,KeyError: 'disk_path' · Issue #1460 · kvcache ...
模型输出结果会忽略掉开头的 · Issue #146 · kvcache-ai/ktransformers · GitHub
模型输出结果会忽略掉开头的 · Issue #146 · kvcache-ai/ktransformers · GitHub
[Feature] 支持AMD GPU · Issue #807 · kvcache-ai/ktransformers · GitHub
[Feature] 支持AMD GPU · Issue #807 · kvcache-ai/ktransformers · GitHub
Network Graph · kvcache-ai/ktransformers · GitHub
Network Graph · kvcache-ai/ktransformers · GitHub

Loading image details...

Source
Dimensions