基于Ollama创建Gemma定制化AI模型

• 基于Ollama创建Gemma定制化AI模型
  • 什么是Gemma？
  • 前提准备
  • 开始实践
  • Modelfile定制化
  • 参数说明
    • FROM
    • PARAMETER
    • TEMPLATE
    • SYSTEM
    • ADAPTER
    • LICENSE
    • MESSAGE
  • 上传到Ollama官网中

什么是Gemma？

Gemma模型使用了和Gemini同源的技术，总共有20亿参数和70亿参数两种规模，每个规模又分预训练和指令微调两个版本。
其中20亿参数版本可以直接在笔记本电脑上运行，而70亿参数版本在一系列语言理解、推理、数学等标准测试上击败了主流开源模型Llama-2和Mistral，一度登顶Hugging Face开源大模型排行榜，成为目前全球最强的开源大模型。

接下来我们通过Ollama来下载gemma:2b。

前提准备

请提前安装好Ollama应用。
可以参考我这篇博客进行安装：https://www.tnblog.net/hb/article/details/8200

开始实践

首先执行如下命令拉gemma:2b到本地。

ollama pull gemma:2b

下载完成后我们可以看看gemma:2b大小。

ollama list

我们发现只有1.7G，然后我们运行gemma:2b。

ollama run gemma:2b

问一些问题，它能做相应的回答。

Modelfile定制化

接下来我们通过编写Modelfile进行定制化应用。
创建一个gemma-test-1.Modelfile文件，并写入如下内容（这里面的参数待会讲）：

FROM gemma:2b
PARAMETER temperature 0.1
PARAMETER num_ctx 4096
SYSTEM """
Determine the return result based on the content of the question.
If the question is about obtaining,get or downloading today's PLT file, you should answer '1'.
If the question is about obtaining,get or downloading today's dwg file, you should answer '2'.
If the question is about obtaining,get or downloading yesterday's PLT file, you should answer '3'.
If the question is about obtaining,get or downloading yesterday's dwg file, you should answer '4'.
If the question is about obtaining,get or downloading a dwg file with the provided date, you should answer '5' and answer the provided date (format: yyyy-MM-dd, Example:2024-02-26).
Your response should be direct and only based on the file type mentioned in the question, avoiding providing irrelevant information or suggestions.
"""
TEMPLATE """
{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
"""
# 设置其他相关参数以优化性能和回答质量
PARAMETER repeat_penalty 1.1
PARAMETER top_k 40
PARAMETER top_p 0.9
PARAMETER stop "<|im_start|>"
PARAMETER stop "<|im_end|>"
LICENSE """
this is license,Bob create it.
"""

我这里主要的规则就是：
1.我输入：下载今天的plt文件。AI回答：1。
2.我输入：下载今天的dwg文件。AI回答：2。
3.我输入：下载昨天的plt文件。AI回答：3。
4.我输入：下载昨天的dwg文件。AI回答：4。
5.我输入：下载具体时间的dwg文件。AI回答：5。并返回指定的时间。
接下来我们通过执行如下命令通过gemma:2b生成自己的gemma-test-1AI模型。

ollama create gemma-test-1 -f gemma-test-1.Modelfile

很快，生成成功后将它跑起来，问一些问题。

ollama run gemma-test-1:latest

我们发现它回答得几乎没有问题。

参数说明

定义的参数有点像dockerfile一样的配置

FROM

FROM指令定义了创建模型时要使用的基本模型。

FROM <model name>:<tag>

PARAMETER

PARAMETER指令定义了模型运行时可以设置的参数。

PARAMETER <parameter> <parametervalue>

有效参数如下表所示：

TEMPLATE

TEMPLATE要传递到模型中的完整提示模板。
它可以包括（可选）系统消息、用户消息和模型的响应。

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
"""

SYSTEM

SYSTEM指令指定要在模板中使用的系统消息（如果适用）。

SYSTEM """<system message>"""

ADAPTER

ADAPTER指令指定要应用于基本模型的 LoRA 适配器。
该指令的值应该是绝对路径或相对于 Modelfile 的路径，并且文件必须是 GGML 文件格式。
适配器应该从基本模型进行调整，否则行为是未定义的。

ADAPTER ./ollama-lora.bin

LICENSE

LICENSE指令允许您指定共享或分发与此模型文件一起使用的模型的合法许可。

LICENSE """
<license text>
"""

MESSAGE

MESSAGE指令允许您指定模型在响应时使用的消息历史记录：

MESSAGE user Is Toronto in Canada?
MESSAGE assistant yes
MESSAGE user Is Sacramento in Canada?
MESSAGE assistant no
MESSAGE user Is Ontario in Canada?
MESSAGE assistant yes

上传到Ollama官网中

首先到官网中注册一个账号。
https://ollama.com/library
然后开始创建模型。

然后通过查看本地key配置到Ollama官网上。

cat ~/.ollama/id_ed25519.pub

然后更具它的提示创建并上传。

ollama create bob/gemma-test-1 -f gemma-test-1.Modelfile
ollama push bob/gemma-test-1

现在就能在官网中看到了。