Ollama简介

Ollama 是一款本地大语言模型工具，使用户能够快速运行 Llama 2、Code Llama 和其他模型。用户可以自定义和创建他们自己的模型。

使用Ollama

先说一下我的电脑情况，垃圾配置，19 年的华为 Matebook14，参数如下：

由于配置比较垃圾，我估计最多能跑 7B 的模型。 事实证明也是如此：本机器可以流畅跑 Gemma 2B，Qwen 4B，Qwen 1.8B，较卡顿跑出 Qwen 7B，Gemma 7B，Code Llama 7B。实测在 Linux mint 上跑的效果好过 Windows，遗憾 Linux mint 没有分配足够空间，内存爆满，所以最后又转到了 Windows。下面就是安装过程。

Linux 安装

用以下命令直接安装：

Windows 安装

以下文章有详细的安装和使用教程：

常用命令

• 拉取模型：ollama pull llama2

• 运行模型：ollama run llama2

• 删除模型：ollama rm llama2

• 列出所有模型：ollama list llama2

使用 WebUI 调用本地大模型

使用 OpenWebUI

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 WebUI，适用于各种 LLM 运行程序，支持的 LLM 运行程序包括 Ollama 和 OpenAI 兼容的 API。 官方文档：需要安装 Docker，不推荐。

使用 LobeChat

前面讲过，最近更新支持本地模型调用了，缺点是还需要 Docker 部署。

使用 ChatBox

这应该是最简单最容易上手的，只要安装即可。

Chatbox 官网 - 办公学习的 AI 好助手，官方免费下载 (chatboxai.app)

使用也很简单，启动 ollama，然后打开 ChatBox 按如图配置即可 (会自动检测，几乎不用手填写)：

吐槽

等我有钱了一定要买一台好电脑！！！！

Prev

我即将的澳门读研之旅

Next

港澳求学通上线！