Vicuna是一个开源的聊天机器人，基于从ShareGPT收集的用户分享对话经过LLaMA微调后进行训练。它在超过90%的情况下，达到了OpenAI ChatGPT和Google Bard的水平，并在超过90%的情况下，表现优于LLaMA和斯坦福大学的Alpaca等其他模型。训练Vicuna的成本约为300美元。不同版本的Vicuna模型已经开源，包括7B和13B两个主要版本，其中13B-v1.5-16k支持更多token，对上下文沟通更友好。MT-Bench Score中，13B-v1.5-16k拿到了最高分；MMLU基准测试中，13B-v1.5拿到了最高分。这是Vicuna与其他模型的排名情况。

部署Vicuna的步骤如下：

1. **搭建conda环境**：搭建conda环境并不复杂，可以使用miniconda或Anaconda，并设置国内源。Pytorch必须安装，建议从官方torch网站获取安装命令，确保安装效率。

2. **下载Vicuna模型**：从Huggingface_lmsys仓库下载Vicuna模型，选择适合的版本。目前最强的开源版本是Vicuna-33B v1.3。对于7B模型，需要约14G显存；13B模型则需要28G显存。在Linux服务器上，可以考虑从本地U盘拷贝模型文件到服务器。

3. **安装FastChat**：FastChat可以使用pip安装或从源文件安装。运行FastChat时可能会遇到依赖包未安装的问题，确保所有依赖包都已安装。

4. **运行Vicuna**：在服务器的workspace中创建文件夹，将Huggingface下载的模型上传。运行Vicuna-7B需要约14GB显存，而运行Vicuna-13B则需要28GB显存。在ssh控制台运行Vicuna，并确保与控制器正确连接。可以通过Gradio启动Web服务器，让Vicuna在局域网内提供服务。运行后，通过局域网访问Web界面，根据提示操作，确保Vicuna模型正确运行。

Vicuna模型部署过程相对简单，对于单GPU用户来说，选择"lmsys/vicuna-7b-v1.5"版本是合适的选择。Vicuna对A卡、CPU，甚至是苹果M1芯片都支持，但对内存有较高要求，适合作为个人玩具或实验开发工具。

本文地址： http://www.goggeous.com/j/1/1301255

文章来源：天狐定制

版权声明：除非特别标注，否则均为本站原创文章，转载时请以链接形式注明文章出处。