Llama

🏠 首页 / AI / llama

llama #

安装 #

MacOS:

brew install ollama

Linux:

curl -sSL https://ollama.com/install.sh | sh

安装完成之后,查看安装版本:

ollama -v

启动 #

ollama start

# 通过注入 OLLAMA_HOST 环境变量设置监听地址
# OLLAMA_HOST=0.0.0.0 ollama start

下载并运行大模型 #

Llama3 目前可供下载的大模型有两个版本:8B 和 70B,本地运行容量有限,选择 8B 版本即可,大小大概 5G 左右。

# 如果没下载模型,运行会自动先下载
ollama run llama3

# 下载大模型
# ollama pulll llama3

执行完成后,会直接进入一个交互界面,可以直接进行对话了。

执行生成命令 #

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "Why is the sky blue?",
  "stream": false
}'

« 动手学深度学习