ちえラジChat、火曜日の配信です。 今回はプログラミングの話題として、最近気になっている「ローカルLLM」の可能性についてお話ししました。
ローカルLLMという選択肢
最近、「はんなりプログラミングの会」というイベントでも話題に上がることが多いのが、このローカルLLMという存在です。
ChatGPTやGeminiといった、いわゆる「クラウドAI」とは異なり、自分の手元のパソコン上で動作させるAIのことを指します。 クラウドAIに対して小さいのでSLM（小規模言語モデル）やローカルLLMなんて呼ばれたりもしますね。
性能面ではもちろん商用の大規模なものには及びませんが、それでも1〜2年前のクラウドAIと同じくらいの力は持っていると言われています。 実際にウェブ記事の要約などを試してみると、意外としっかり動いてくれるなという印象です。
ローカルだからこその強み
自分が一番「すごいな」と感じているのは、Windowsの機能を呼び出すような感覚で、プログラムからAIを自由に呼べるというところです。
クラウドAIのAPIを使うと、どうしても一回ごとのコストが気になってしまいます。 「塵も積もれば山となる」で、未読メールの要約などを本気で回そうとすると、すぐに安めのサブスクリプション費用を超えてしまいます。
その点、ローカルLLMなら回数を気にせず何度でも呼び出せます。 この「気兼ねなく使える」という利点を、もっと活かしていきたいなと考えています。
情報収集の幅を広げるために
自分は普段、SBCast.や「まちのえんがわキャスト」などで多くの方のお話を伺っています。 ただ、皆さんの活動をすべて追いかけるのには、どうしても限界があって・・・。
そこで、AIに要約を届けてもらい、「ここは！」という時だけ元のサイトを読みに行く。 そんな使い方ができれば、自分自身の活動の幅もさらに広がるのかなと思っています。
音声でニュースを生成してみるなど、他にもいろいろと試してみたいことが浮かんできています。 技術をうまく取り入れて、日々の活動を楽しくしていければいいですね。
今回の音声配信はこちらから聴くことができます。
関連リンク： はんなりプログラミングの会 - connpass
明日は水曜日、「まちのえんがわキャスト」についてお話しする予定です。 ではでは。
