「Gemma」を、Google Colabで、試す方法

AI News 最新情報

Googleは21日、AI「Gemini」のオープンモデルにあたる「Gemma」を公開しました。「Gemma 2B」と「Gemma 7B」という2つのサイズが用意されています。

Gemmaとは

Googleが開発した大規模言語モデル(LLM)の一つです。Gemmaは、Googleの別のLLMであるGeminiに使われた技術を活用して開発された軽量版のLLMで、商用利用や研究目的で自由に使えるオープンなモデルです。
Gemmaは、Googleが提供するオンラインプラットフォーム「Colab」で簡単に利用できます。Colabは、ブラウザ上でPythonのコードを実行できるサービスで、Gemmaのモデルやライブラリをインポートするだけで、Gemmaの機能を試すことができます。Colabでは、Gemmaのサンプルコードやチュートリアルも提供されています。

GemmaをColabで使う方法

Gemma in PyTorch  |  Google AI for Developers

リンク先を開きます。

無料のColabで動作するのは、Gemma 2B models と 7B int8 quantized models のようです。

Run in Google Colab をクリックすると Colab が起動します。

予め、Colab のメニューから
 ランタイム
 ランタイムのタイプの変更
 ハードウェア アクセラレータ
 T4 GPU
 保存
を選択しておきましょう。

Kaggle access の[ ]をクリックします。

Kaggle のページが開くので、初めての人は登録しましょう。

登録が済んだら、Create New Token のボタンをクリックします。
kaggle.json というファイルがダウンロードされるので、ノートパッドなどで開いて中身を確認し、Username と Token の欄にコピー貼り付けして、Login ボタンをクリックします。

完了したらInstall dependencies の[ ]をクリックします。
ファイルをダウンロードするため結構時間がかかります。
以下のエラー表示が出るかもしれませんが、問題ありませんでした。

ERROR: pip’s dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.

完了したら、Download model weights の VARIANT: と MACHINE_TYPE: を選択します。
VARIANT: は、2B 系か 7B it quant を選びましょう。
MACHINE_TYPE: は、cuda を選びましょう。2B 系なら cpu を選んでも遅くなるものの動作しましが、7B it quant は動作しませんでした。

選択が終わったら、上から順番に実行していきましょう。処理が完了してから次を実行するようにしてください。

Setup the model まで実行して、エラーが出なければ準備完了です。

Run inference の下のセルの赤線部分を指示したいプロンプトに書き換えます。

プロンプトに書き換えたら、実行しましょう。

これを学習させて、組み込むことになるのでしょうから、現時点で答えが変でも仕方がないですね。
それよりも、GPU を使わず CPU だと動作が遅いのが気になりますね。

おわりに

いかがだったでしょうか。
もっと、簡単に、お手軽に試してみたいという方は、こちらの記事をご覧ください。

タイトルとURLをコピーしました