Issue 3068 Xorbitsaiinference Github

确保容器重启后,上次启动的模型本次仍旧运行 · Issue #3068 · xorbitsai/inference · GitHub
确保容器重启后,上次启动的模型本次仍旧运行 · Issue #3068 · xorbitsai/inference · GitHub
Docker部署Xinference时显示无GPU(实际有) · Issue #1778 · xorbitsai/inference · GitHub
Docker部署Xinference时显示无GPU(实际有) · Issue #1778 · xorbitsai/inference · GitHub
inference arm64 support · Issue #3076 · xorbitsai/inference · GitHub
inference arm64 support · Issue #3076 · xorbitsai/inference · GitHub
BUG: Yi-200k model deploy error · Issue #633 · xorbitsai/inference · GitHub
BUG: Yi-200k model deploy error · Issue #633 · xorbitsai/inference · GitHub
启动报错 · Issue #2687 · xorbitsai/inference · GitHub
启动报错 · Issue #2687 · xorbitsai/inference · GitHub
集群部署xinference注册自定义模型 · Issue #1327 · xorbitsai/inference · GitHub
集群部署xinference注册自定义模型 · Issue #1327 · xorbitsai/inference · GitHub
xinference无法正常运行 · Issue #2597 · xorbitsai/inference · GitHub
xinference无法正常运行 · Issue #2597 · xorbitsai/inference · GitHub
版本升级到0.10.0,加载自定义LLM报错 · Issue #1269 · xorbitsai/inference · GitHub
版本升级到0.10.0,加载自定义LLM报错 · Issue #1269 · xorbitsai/inference · GitHub
0.15.1运行minicpm3-4b 报错 · Issue #2317 · xorbitsai/inference · GitHub
0.15.1运行minicpm3-4b 报错 · Issue #2317 · xorbitsai/inference · GitHub
BUG: 请求频率过快,后端会崩掉 · Issue #1206 · xorbitsai/inference · GitHub
BUG: 请求频率过快,后端会崩掉 · Issue #1206 · xorbitsai/inference · GitHub
xinference并发处理问题 · Issue #1502 · xorbitsai/inference · GitHub
xinference并发处理问题 · Issue #1502 · xorbitsai/inference · GitHub
使用xinference部署模型,输出异常截断的问题 · Issue #1480 · xorbitsai/inference · GitHub
使用xinference部署模型,输出异常截断的问题 · Issue #1480 · xorbitsai/inference · GitHub
XINFERENCE_HOME环境变量问题 · Issue #771 · xorbitsai/inference · GitHub
XINFERENCE_HOME环境变量问题 · Issue #771 · xorbitsai/inference · GitHub
FP8量化支持 · Issue #1647 · xorbitsai/inference · GitHub
FP8量化支持 · Issue #1647 · xorbitsai/inference · GitHub
请问能将lora也纳入网页部署的选择内容吗 · Issue #1105 · xorbitsai/inference · GitHub
请问能将lora也纳入网页部署的选择内容吗 · Issue #1105 · xorbitsai/inference · GitHub
对于系统上的一些参数,文档上描述不是很全面,麻烦解答一下 · Issue #2676 · xorbitsai/inference · GitHub
对于系统上的一些参数,文档上描述不是很全面,麻烦解答一下 · Issue #2676 · xorbitsai/inference · GitHub
Xinference launch 不能指定一个端口启动模型 · Issue #2281 · xorbitsai/inference · GitHub
Xinference launch 不能指定一个端口启动模型 · Issue #2281 · xorbitsai/inference · GitHub
有计划支持通义千问的moe架构吗 · Issue #1223 · xorbitsai/inference · GitHub
有计划支持通义千问的moe架构吗 · Issue #1223 · xorbitsai/inference · GitHub
v10.2.post1,模型限流后会处于假死状态 · Issue #1344 · xorbitsai/inference · GitHub
v10.2.post1,模型限流后会处于假死状态 · Issue #1344 · xorbitsai/inference · GitHub
【建议】6.0版本可以考虑更换UI框架 · Issue #3068 · 2dust/v2rayN · GitHub
【建议】6.0版本可以考虑更换UI框架 · Issue #3068 · 2dust/v2rayN · GitHub
并发调用模型后,占用GPU显存越来越大,但是不会下降 · Issue #2470 · xorbitsai/inference · GitHub
并发调用模型后,占用GPU显存越来越大,但是不会下降 · Issue #2470 · xorbitsai/inference · GitHub
安装运行CosyVoice-300M报错 · Issue #2082 · xorbitsai/inference · GitHub
安装运行CosyVoice-300M报错 · Issue #2082 · xorbitsai/inference · GitHub
0.10.3版本无法下载m3e以及其他embedding模型 · Issue #1434 · xorbitsai/inference · GitHub
0.10.3版本无法下载m3e以及其他embedding模型 · Issue #1434 · xorbitsai/inference · GitHub
v0.13.3 Docker 镜像无法拉起 · Issue #1949 · xorbitsai/inference · GitHub
v0.13.3 Docker 镜像无法拉起 · Issue #1949 · xorbitsai/inference · GitHub
一张大显存的显卡(一个slot)可以运行多个语言模型 · Issue #2298 · xorbitsai/inference · GitHub
一张大显存的显卡(一个slot)可以运行多个语言模型 · Issue #2298 · xorbitsai/inference · GitHub
调用restful api时报错 · Issue #2720 · xorbitsai/inference · GitHub
调用restful api时报错 · Issue #2720 · xorbitsai/inference · GitHub
No module named 'ChatTTS' · Issue #1854 · xorbitsai/inference · GitHub
No module named 'ChatTTS' · Issue #1854 · xorbitsai/inference · GitHub
BUG replica=2时,系统报错 · Issue #1580 · xorbitsai/inference · GitHub
BUG replica=2时,系统报错 · Issue #1580 · xorbitsai/inference · GitHub
v0.14.3启动报错 · Issue #2167 · xorbitsai/inference · GitHub
v0.14.3启动报错 · Issue #2167 · xorbitsai/inference · GitHub
xinference launch无法挂载到GPU · Issue #1817 · xorbitsai/inference · GitHub
xinference launch无法挂载到GPU · Issue #1817 · xorbitsai/inference · GitHub
BUG Failed to load models · Issue #1031 · xorbitsai/inference · GitHub
BUG Failed to load models · Issue #1031 · xorbitsai/inference · GitHub
模型无法选择gpu,只有cpu选项 · Issue #2578 · xorbitsai/inference · GitHub
模型无法选择gpu,只有cpu选项 · Issue #2578 · xorbitsai/inference · GitHub
Dash-infer support maybe? · Issue #2107 · xorbitsai/inference · GitHub
Dash-infer support maybe? · Issue #2107 · xorbitsai/inference · GitHub
BUG: load model failed · Issue #666 · xorbitsai/inference · GitHub
BUG: load model failed · Issue #666 · xorbitsai/inference · GitHub
QUESTION · Issue #1016 · xorbitsai/inference · GitHub
QUESTION · Issue #1016 · xorbitsai/inference · GitHub
使用自带的聊天页面或者接入dify之后输出很慢 · Issue #2690 · xorbitsai/inference · GitHub
使用自带的聊天页面或者接入dify之后输出很慢 · Issue #2690 · xorbitsai/inference · GitHub

Loading image details...

Source
Dimensions