2024年5月2日木曜日

Llama3をUbuntuで動かしてみる


わたしたちのラボでは、GPT-3などLLMを使った心理実験を試みています。以下の実験では色の連想をAIとヒトを比較し、その起源を探っています。

Origin of the ease of association of color names: Comparison between humans and AI

https://doi.org/10.1177/20416695221131832

この実験にはひとつ大きな課題があり、対象をGPT-3にしていたので、日々変化をし続けるGPT-3のせいで再現性がとりにくい実験になっていました。しかし、Llamaというローカル環境でもきびきび動くLLMが出現したことで非常に実験がやりやすくなりました。

LlamaはWindowsでもMacでも動くようですが、ここではUbuntuで動かしてみました。

1)GPUが動くような環境を用意(以下のURL参照)。ここでは70Bという最も重いモデルを動かしますので、40Gb程度のGPUメモリーが必要になります。もっと軽いモデルもあります。

https://doraemonkokoro.blogspot.com/2021/09/ubuntu-20041lts-cuda-rtx-a6000.html


2)ollamaをインストール(llamaを動かす環境のようなもの)

$ curl -fsSL https://ollama.com/install.sh | sh


3)llama3を起動
$ ollama run llama3:70b

これだけです。軽いモデルが欲しい場合はllama3:70bをllama3:8bとしてください。あとはプロンプトがでてきますので、チャットすることができます。コードを書けば自動でプロンプトのやり取りをすることも可能です。日本語は苦手なので、基本英語での使用になります。

4)llama3の終了
/byeとプロンプトを入れると終了です。

0 件のコメント:

コメントを投稿

【本を出版しました】神経科学者と学ぶ深層学習超入門

神経科学者と学ぶ深層学習超入門 を 羊土社 から出版いたしました。 本書は、基生研で働く生命系研究者である渡辺の目線から執筆した深層学習の入門書です。 数式やプログラムに慣れない方に配慮しつつ、文章では伝えきれない部分には、手描きイラストを多数掲載し、理解しやすさを心がけました。...