Windows上安装Ollama本地大语言模型

微信：S20306 字数: 29309 阅读耗时: 73 分钟 2024/03/12 博客独享热度: 46 评论: 0

Ollama 是什么？

Ollama 是一个开源框架，专门设计用于在本地运行大型语言模型。它将模型权重、配置和数据捆绑到一个包中，优化了设置和配置细节，包括 GPU 使用情况，从而简化了在本地运行大型模型的过程。Ollama 支持多种模型，如 Llama 2、Code Llama、Mistral、Gemma 等，并允许用户根据特定需求定制和创建自己的模型。
无需GPU，仅需CPU也可运行Ollama本地大语言模型。
当然你使用GPU运行效果会更好。

安装教程

安装并运行Ollama

访问官方下载Windows版本的Ollama安装包
官网地址：https://ollama.com/download/windows
安装下载的Ollama安装包，太简单。。。
Win+R键打开运行，输入cmd后按Enter键。
输入下面的命令验证Ollama版本，以确定Ollama是否被安装成功。
```
ollama -v
```

下载你所需要使用的模型
Ollama是专为在Docker容器中部署LLM而设计的，简化了部署和管理流程，目前它支持的模型如下：
注意：应该至少有8GB的可用内存来运行7B模型，16GB的可用内存来运行13B模型，以及32GB的内存来运行33B模型。

Model	Parameters	Size	Download（运行模型命令）
Llama 2 或 Llama2-chinese	7B	3.8GB	ollama run llama2 或 ollama run llama2-chinese
Mistral	7B	4.1GB	ollama run mistral
Dolphin Phi	2.7B	1.6GB	ollama run dolphin-phi
Phi-2	2.7B	1.7GB	ollama run phi
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
Llama 2 13B	13B	7.3GB	ollama run llama2:13b
Llama 2 70B	70B	39GB	ollama run llama2:70b
Orca Mini	3B	1.9GB	ollama run orca-mini
Vicuna	7B	3.8GB	ollama run vicuna
LLaVA	7B	4.5GB	ollama run llava
Gemma	2B	1.4GB	ollama run gemma:2b
Gemma	7B	4.8GB	ollama run gemma:7b

根据你的需要复制对应模型的拉取命令，粘贴到终端内，等待它拉取完成。
（拉取模型或许会因为网络限制，导致速度非常缓慢，可以自行挂梯子解决。）
```
#演示就以拉取llama2:13b模型为例，复制下面的命令粘贴到cmd窗口中。
#格式为ollama pull 模型名

ollama pull llama2:13b
```
拉取完成之后根据你的模型，执行下面的命令运行。
```
#格式为ollama run 模型

ollama run llama2:13b
```

随便问他个问题

Microsoft Windows [版本 10.0.22621.3235]
(c) Microsoft Corporation。保留所有权利。

C:\Users\84483>ollama -v
ollama version is 0.1.28

C:\Users\84483>ollama pull llama2:13b
pulling manifest
pulling 2609048d349e... 100% ▕████████████████████████████████████████████████████████▏ 7.4 GB
pulling 8c17c2ebb0ea... 100% ▕████████████████████████████████████████████████████████▏ 7.0 KB
pulling 7c23fb36d801... 100% ▕████████████████████████████████████████████████████████▏ 4.8 KB
pulling 2e0493f67d0c... 100% ▕████████████████████████████████████████████████████████▏   59 B
pulling fa304d675061... 100% ▕████████████████████████████████████████████████████████▏   91 B
pulling be61bcdf308e... 100% ▕████████████████████████████████████████████████████████▏  558 B
verifying sha256 digest
writing manifest
removing any unused layers
success

C:\Users\84483>ollama run llama2:13b
>>> 用中文介绍一下你自己

1. 我是一个语言模型AI，作为一种智能技术，我能够训练并理解、生成和解释不同的语言类型，包括中文和英文等。
2. 我专注于提供机器翻译、对话系统以及问答系统等多种服务，以帮助人们更好地理解和交流信息。
3. 除了语言能力，我还可以进行大数据分析、计算机视觉以及自然语言处理等技术，以掌握并适应不同的用户需求。
4. 我的目标是为用户提供更加智能化和个性化的服务，帮助他们更好地获取信息、完成任务以及解决问题。


>>> Send a message (/? for help)

安装并运行Open-WebUi

在Docker官网下载Docker Desktop并安装，很简单。。。
官网地址：https://www.docker.com/products/docker-desktop/
安装完Docker并重启电脑后，Win+R键打开运行，输入cmd后按Enter键。

复制并修改下面的命令，粘贴到命令窗口内执行。
运行这一步时要挂梯子，不然会获取令牌失败，容器会一直重启。

#第一个3000端口是Open-WebUi的外部访问端口，你可以自己更换。
#将/D/AI换成你本地的文件夹，用于存储容器数据，格式为D盘新建的AI文件夹，如演示一样/D/AI

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v /D/AI:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main