该要求仅针对标准模式,轻量模式使用在线模型,不需要安装torch等库,也不需要显卡即可运行。 开发者在以下环境下进行代码调试,在该环境下能够避免最多环境问题。 本框架使用 fschat驱动,统一使用 huggingface进行推理,其他推理方式(如 llama-cpp,TensorRT加速 ...