Gpu Issue 2470 Xorbitsaiinference Github
Issue with GPU inference. · Issue #4000 · ultralytics/ultralytics · GitHub
24GB GPU out of memory · Issue #17 · XPixelGroup/DiffBIR · GitHub
Broken output for GPU · Issue #304 · microsoft/BitNet · GitHub
AMD GPU · Issue #11 · alvinliu0/HumanGaussian · GitHub
并发调用模型后，占用GPU显存越来越大，但是不会下降 · Issue #2470 · xorbitsai/inference · GitHub
No GPU found. A GPU is needed for quantization · Issue #2468 ...
Xinference能否在AMD GPU上进行模型推理？ · Issue #2148 · xorbitsai/inference · GitHub
模型无法选择gpu，只有cpu选项 · Issue #2578 · xorbitsai/inference · GitHub
Docker部署Xinference时显示无GPU（实际有） · Issue #1778 · xorbitsai/inference · GitHub
xinference launch无法挂载到GPU · Issue #1817 · xorbitsai/inference · GitHub
Advertisement Space (300x250)
Cannot run models on the CPU while GPU is available · Issue #3852 ...
User specified GPU index X has been occupied with a vLLM model · Issue ...
embedding模型指定gpu启动报错 · Issue #2707 · xorbitsai/inference · GitHub
可以在有多余显存的GPU上再跑模型吗？ · Issue #2260 · xorbitsai/inference · GitHub
qwen-vl模型部署无法使用GPU问题 · Issue #1422 · xorbitsai/inference · GitHub
xinference无法正常运行 · Issue #2597 · xorbitsai/inference · GitHub
xinference-V2.3.0无法加载、启动自定义模型 · Issue #4723 · xorbitsai/inference · GitHub
同时指定gpu_id和副本参数可以运行 · Issue #1341 · xorbitsai/inference · GitHub
cuda 12.0不支持多卡并发推理? · Issue #2415 · xorbitsai/inference · GitHub
一张大显存的显卡（一个slot）可以运行多个语言模型 · Issue #2298 · xorbitsai/inference · GitHub
Advertisement Space (336x280)
0.10.3版本无法下载m3e以及其他embedding模型 · Issue #1434 · xorbitsai/inference · GitHub
使用xinference部署模型，输出异常截断的问题 · Issue #1480 · xorbitsai/inference · GitHub
启动服务器下载好的本地音频模型报错 · Issue #2691 · xorbitsai/inference · GitHub
虚拟空间可以看到显卡，但是无法调用 · Issue #3182 · xorbitsai/inference · GitHub
Xinference存在未授权访问漏洞 · Issue #3841 · xorbitsai/inference · GitHub
Issue · GitHub
对于系统上的一些参数，文档上描述不是很全面，麻烦解答一下 · Issue #2676 · xorbitsai/inference · GitHub
使用文档里的命令，启动embeeding模型，报错 · Issue #2140 · xorbitsai/inference · GitHub
显存占用，但是模型不能调用 · Issue #3273 · xorbitsai/inference · GitHub
v0.14.3启动报错 · Issue #2167 · xorbitsai/inference · GitHub
Advertisement Space (336x280)
XINFERENCE_HOME环境变量问题 · Issue #771 · xorbitsai/inference · GitHub
xinference并发处理问题 · Issue #1502 · xorbitsai/inference · GitHub
Failed to infer device type · Issue #2756 · xorbitsai/inference · GitHub
inference arm64 support · Issue #3076 · xorbitsai/inference · GitHub
BUG replica=2时，系统报错 · Issue #1580 · xorbitsai/inference · GitHub
BUG: failed to load models · Issue #496 · xorbitsai/inference · GitHub