ARM主机本地部署大语言模型

ChatGLM

自从ChatGPT问世之后，各大厂的大语言模型如雨后春笋般冒头，其中不乏一些优秀的开源模型可以自己部署玩玩。近期影响较大的有 Meta AI 的 LLama 、斯坦福基于 LLama 的 Alpaca 和清华大学的 ChatGLM 等。

其中 ChatGLM2 对中文支持最好，并且部署起来相对比较容易，因此这里选用该模型，下面是一些官方介绍：

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：

1. 更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。
2. 更长的上下文：基于 FlashAttention 技术，我们将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练。对于更长的上下文，我们发布了 ChatGLM2-6B-32K 模型。LongBench 的测评结果表明，在等量级的开源模型中，ChatGLM2-6B-32K 有着较为明显的竞争优势。
3. 更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。
4. 更开放的协议：ChatGLM2-6B 权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

部署

由于我的网站、代码仓库、网盘等服务都以 docker 的形式部署在我的个人服务器上，因此为了避免污染宿主机，ChatGLM 的部署也在 docker 镜像中进行。

做docker镜像

docker 玩的不是很熟，还不会写 dockercompose ，所以就用最简单的方式来做镜像😅。

拉取并启动 ubuntu 镜像

拉取 ubuntu jammy 作为基础镜像

sudo docker pull ubuntu:jammy

制作容器

sudo docker run -i -t -d --name ubuntu --network host ubuntu:jammy

进入容器

sudo docker exec -it ubuntu /bin/bash

安装编译环境

需要安装一些C++的编译环境和基础的软件环境

apt update
apt upgrade
apt install build-essential git cmake wget python3 python3-pip

编译fastllm

fastllm 是一个纯c++实现，无第三方依赖的高性能大模型推理库。

最重要的是，他提供了傻瓜式的部署流程😂

首先当前是先拉取代码

git clone https://github.com/ztxz16/fastllm.git

然后执行编译

cd fastllm
mkdir build
cd build
cmake .. -DUSE_CUDA=OFF # 我的是ARM服务器没有CUDA，因此不使用GPU编译，如果使用 cmake .. -DUSE_CUDA=ON
make -j

编译完成后，可以使用如下命令安装简易python工具包 (暂时只支持Linux)

cd tools # 这时在fastllm/build/tools目录下
python3 setup.py install

获取模型

huggingface 中提供了一下转换好的模型，直接下载就好，这里选用 INT 8 量化的版本 chatglm2-6b-int8.flm

# 请科学上网
wget https://huggingface.co/huangyuyang/chatglm2-6b-int8.flm/resolve/main/chatglm2-6b-int8.flm

运行demo程序

我们假设已经获取了名为model.flm的模型

编译完成之后在build目录下可以使用下列demo:

# 这时在fastllm/build目录下

# 命令行聊天程序, 支持打字机效果
./main -p model.flm 

# 简易webui, 使用流式输出 + 动态batch，可多路并发访问
./webui -p model.flm --port 1234 

# python版本的命令行聊天程序，使用了模型创建以及流式对话效果
python tools/cli_demo.py -p model.flm 

# python版本的简易webui，需要先安装streamlit-chat
streamlit run tools/web_demo.py model.flm 

实际效果展示

总结

跑是能跑，但由于 ChatGLM2-6B 只有62亿参数，所以对话质量一般般。

想折腾可以试试，真的想体验 ChatGLM2 还是去使用官方部署的千亿参数的智谱清言吧。