ollama如何使用gguf模型

1. 准备模型文件 首先,确保系统已安装最新版本的 Ollama,并将下载好的 .gguf模型文件存放在一个固定的绝对路径下(例如 Windows 环境下的 C:\ollama-models\ )

2. 编写 Modelfile 配置文件 进入用于导入的文件夹(如 C:\ollama-models\ ),创建一个名为Modelfile的纯文本文件(注意该文件没有任何后缀名)。 用文本编辑器打开该文件,在文件内写入 FROM 指令并跟上 GGUF 文件的完整绝对路径,例如: FROM C:\ollama-models\你的模型名.gguf 。 如果你的路径中包含空格,需要使用双引号将路径包裹起来。如果还需要挂载 LoRA 适配器,可以在文件中另起一行写入 ADAPTER <适配器绝对路径> 。

3. 执行编译与导入命令 打开系统的终端(如 Windows 的 PowerShell/CMD 或 Linux/Mac 的 bash),使用 cd 命令切换到存放了Modelfile**文件的目录中。 输入命令 ollama create <自定义模型名称>(例如 ollama create my-gemma )并回车执行。Ollama 会读取当前目录下的 Modelfile ,并将 GGUF 文件编译注册到 Ollama 的内部系统中,这可能需要花费几分钟时间生成sha256。

4. 验证与运行模型 编译完成后,可以在终端运行 ollama list 命令,如果看到你自定义的模型名称,则说明导入成功。