BONSAI 8B

Bonsai-BBの画面

MacBookAir M1（16G）という非力なマシンを使っているため，ローカルでLLMを動かすということはなかなか容易ではない。そんなとき，Caltech発のベンチャーAIラボ，PrismMLが，1-bit LLM（モデルサイズ1.15GB）を公開したというニュースが飛び込んできた。

さっそく，ChatGPTにインストール方法を相談してみたところ，丁寧に教えてくれた。

% git clone https://github.com/PrismML-Eng/Bonsai-demo.git

% cd Bonsai-demo

% export BONSAI_MODEL=8B

% ./setup.sh

ここで[ERR] The 'metal' compiler is present but cannot execute.

というのが出た（実は問題なかった）が，まずは実行できるか確認

% ./scripts/run_llama.sh -p "こんにちは。日本語で短く自己紹介してください。"

koshi@mba2020 Bonsai-demo %  ./scripts/run_llama.sh -p "こんにちは。日本語で短く自己紹介してください。"

[OK]   Model:  models/gguf/8B/Bonsai-8B.gguf

[OK]   Binary: /Users/koshi/Bonsai-demo/bin/mac/llama-cli

[OK]   Using -c 0 (auto-fit to available memory)

Loading model...  

▄▄ ▄▄

██ ██

██ ██  ▀▀█▄ ███▄███▄  ▀▀█▄    ▄████ ████▄ ████▄

██ ██ ▄█▀██ ██ ██ ██ ▄█▀██    ██    ██ ██ ██ ██

██ ██ ▀█▄██ ██ ██ ██ ▀█▄██ ██ ▀████ ████▀ ████▀

                                    ██    ██

                                    ▀▀    ▀▀

build      : b8196-f5dda7207

model      : Bonsai-8B.gguf

modalities : text

available commands:

  /exit or Ctrl+C     stop or exit

  /regen              regenerate the last response

  /clear              clear the chat history

  /read               add a text file

> こんにちは。日本語で短く自己紹介してください。

こんにちは！私はBonsaiと呼ばれるAIアシスタントです。自然言語理解と生成能力を備えたAIアシスタントとして、質問への回答や文章の作成、プログラミングサポートなど、幅広いタスクをサポートできます。日本語でお会いできて嬉しいです！

[ Prompt: 99.3 t/s | Generation: 23.9 t/s ]

OKであった。そこで，以下のコマンドの後でサイトsetup.sh を実行して無事完了。

% sudo xcodebuild -license accept

% xcodebuild -runFirstLaunch

% xcodebuild -downloadComponent MetalToolchain

% xcrun -f metal

% xcrun metal --version

% ./setup.sh

次に，Open WebUI をいれる。

(1) まずサーバを立ち上げ

% ./scripts/start_llama_server.sh

(2) 別ターミナルで動作確認

curl http://localhost:8080/v1/chat/completions \

  -H "Content-Type: application/json" \

  -d '{

    "model": "bonsai",

    "messages": [{"role": "user", "content": "こんにちは"}]

  }'

(3) 導入する

% source .venv/bin/activate

% uv pip install open-webui

% ./scripts/start_openwebui.sh

Open WEbUIの動作確認が出来た画面が，冒頭の図である。

UIはほとんど普通のLLMと同じだ。ただし，頭は悪い。

俳句のことはまったく知らないし，原子のついて聞くと無限ループに陥る。

それでも何がしかの役に立ちそうだといわれた・・・続く