HuggingFace模型转一键llamafile包完整教程 通义千问成功案例分享

随着通义千问开源版的颁布，越来越多的用户宿愿能在本地部署这款低劣的中文大模型。但是，传统的部署模式往往须要复杂的环境性能，让很多非技术背景的用户望而生畏。当天，我要向大家引见一个反派性的打算：将通义千问转换为Llamafile格局，成功真正的一键运转！

无关 llamafile 的特点，我在上周的文章中做过总结。这次我给大家带来的是驰名的中文开源大模型“通义千问”的本地一键运转处置打算。

为什么选用通义千问？

通义千问（Qwen）是阿里云开源的大言语模型，具备以下特点：

一、为什么选用Llamafile部署打算？

相比于传统的Ollama和llama.cpp部署模式，Llamafile具备以下突出长处：

二、实战：将通义千问转换为Llamafile

上方咱们以广受欢迎的中文大模型通义千问(Qwen2.5-3B)为例，具体引见在Linux下的转换环节。

步骤1：下载Hugging Face模型

首先须要从Hugging Face下载模型文件：

from huggingface_hub import snapshot_downloadmodel_id = "Qwen/Qwen2.5-3B-Instruct"print("Downloading model: "+model_id)snapshot_download(repo_id=model_id, local_dir="Qwen2.5-3B", local_dir_use_symlinks=False, revision="main")

步骤2：转换为llama.cpp格局

2.1 预备环境

git clonellama.cpppip install -r requirements.txt

2.2 转换为GGUF格局

上方的命令会将模型转换为GGUF格局。

python llama.cpp/convert_hf_to_gguf.py ./Qwen2.5-3B --outfile Qwen2.5-3B.gguf --outtype q8_0

以下是转换成功的画面。

步骤3：生成Llamafile

3.1 下载Llamafile运转时

wgetllamafile-0.8.16.zip

3.2 转换为Llamafile格局

./llamafile-0.8.16/bin/llamafile-convert Qwen2.5-3B.gguf

转换成功后，你将获取Qwen2.5-3B.llamafile文件。

运转方法

./Qwen2.5-3B.llamafile

双击Qwen2.5-3B.llamafile.exe 后的命令行显示画面

我的 i5 笔记本纯 CPU 运转也能到达 7 tokens/秒

三、总结与展望

经过Llamafile格局，咱们终于可以像运转个别软件一样经常使用通义千问了！这不只让AI技术变得愈加平民化，也为通义千问这样低劣的中文模型提供了更好的经常使用体验。

未来，咱们等候看到：

补充说明：本教程以通义千问3B版本为例，更大的模型（如7B、14B版本）也可以经常使用相反的方法转换，但须要相应更多的系统内存。倡导依据自己的电脑性能选用适宜的模型版本。

本文转载自​​，作者：​​