-
Notifications
You must be signed in to change notification settings - Fork 500
Open
Description
1. 前期工作
前期已完成了WebAgent的克隆和WebDancer模型的克隆,并安装完了所有依赖,依赖编译时没有报错,确认torch的CUDA版本与机器显卡CUDA版本一致为12.1
2. 修改
运行deploy_model.sh
一开始报错bash找不到命令,检查后发现原文件命令为
sglang.launch_server --model-path $MODEL_PATH --host 0.0.0.0 --tp 4 --port 8004
在命令开头添加了python -m
可以正常运行
3. 问题
执行deploy_model.sh
后,报错提示
ImportError: /home/miniconda3/envs/webdancer/lib/python3.12/site-packages/sgl_kernel/common_ops.abi3.so: undefined symbol: _ZN3c108ListType3getERKNSt7__cxx1112basic_stringIcSt11char_traitsIcESaIcEEENS_4Type24SingletonOrSharedTypePtrIS9_EE
尝试过多轮重新安装及编译依赖均无法解决
4. 依赖版本
sgl-kernel 0.2.5
sglang 0.4.10.post2
Metadata
Metadata
Assignees
Labels
No labels