Llama3をUbuntuで動かしてみる

わたしたちのラボでは、GPT-３などLLMを使った心理実験を試みています。以下の実験では色の連想をAIとヒトを比較し、その起源を探っています。

Origin of the ease of association of color names: Comparison between humans and AI

https://doi.org/10.1177/20416695221131832

この実験にはひとつ大きな課題があり、対象をGPT-3にしていたので、日々変化をし続けるGPT-3のせいで再現性がとりにくい実験になっていました。しかし、Llamaというローカル環境でもきびきび動くLLMが出現したことで非常に実験がやりやすくなりました。

LlamaはWindowsでもMacでも動くようですが、ここではUbuntuで動かしてみました。

１）GPUが動くような環境を用意（以下のURL参照）。ここでは７０Bという最も重いモデルを動かしますので、４０Gb程度のGPUメモリーが必要になります。もっと軽いモデルもあります。

https://doraemonkokoro.blogspot.com/2021/09/ubuntu-20041lts-cuda-rtx-a6000.html

２）ollamaをインストール（llamaを動かす環境のようなもの）

$ curl -fsSL https://ollama.com/install.sh | sh

３）llama3を起動

$ ollama run llama3:70b

これだけです。軽いモデルが欲しい場合はllama3:70bをllama3:8bとしてください。あとはプロンプトがでてきますので、チャットすることができます。コードを書けば自動でプロンプトのやり取りをすることも可能です。日本語は苦手なので、基本英語での使用になります。

４）llama3の終了

/byeとプロンプトを入れると終了です。