LM StudioだけでPLaMo翻訳を使う
LM Studioいいですよね。LLMがローカルでお手軽に動かせて。
自分のメインマシンはAMD Ryzen 5 5600GのAPUマシンで最初、ollamaとROCmで頑張ってLLMを動かそうとしてました。しかし、ROCmをAPUで無理やり動かしているので遅い。いや、CPUの半分ぐらいの速度にはなっているので、めちゃくちゃ遅いわけではないけれど、それでもやっぱり遅さが体感でわかります。
やっぱり、APUとなんちゃってROCmでLLMを動かすのは無理なのかな?と思っていたところ、LM StudioとVulkanを使えば、そこそこの速さで動くことが判明。それにめちゃくちゃ衝撃を受けてしまって、あっさりとLM Studioに乗り換えました。
ちなみにollamaは、CUDAとROCm以外面倒を見たくないそうでllama.cppでは使えるVulkanサポートを切り捨ててます。パッチを作った人も店晒しにされててかわいそう。
それはさておき少し前にLLMを使った翻訳モデルのplamo-2-translateが発表されました。これのGGUF版のplamo-2-translate-ggufを作成して公開している方がいらっしゃって、これを使うとLM StudioでPLaMo翻訳が使えます。
が、しかし。LM Studioのチャット画面に英文を放り込んでも翻訳できません。やっぱりフロント画面作ってローカルAPI経由で翻訳するしかないのか…と思ってたらLM Studioのプリセットを投稿されてる方がいて、これを使うとLM Studioのチャット画面から翻訳が使えるようになりました!
ということで前フリが長かったけれど、LM Studioのチャット画面から翻訳を使う方法です。
LM Studioのチャット画面から翻訳を使う方法
最初に、LM StudioのモデルダウンロードからPLaMo翻訳のGGUFのplamo-2-translate-ggufをダウンロードしておきます。
次に下のURLからplamo 2 translate en2ja.preset.jsonとplamo 2 translate ja2en.preset.jsonの2つのJSONファイルをダウンロードします。
LM Studioに戻ってチャット画面を開いてplamo-2-translate-ggufモデルを読み込んだら、画面右側にあるスパナのアイコンのShow settingsを開きます。そして、プリセットの「プリセットの選択」をクリックして「インポート」ボタンをクリックします。
インポートダイアログが開いたら、ダウンロードしておいたplamo 2 translate en2ja.preset.jsonとplamo 2 translate ja2en.preset.jsonをインポートします。
あとは登録したシステムプリセットのen2jaかja2enを翻訳に合わせて選んで、翻訳したい文章をチャットダイアログに貼り付ければ翻訳できます。