土曜日
昨日のPodcastを収録して家に帰ってきてギリギリ当日に公開できたような気がする。眠すぎてもうろうとしながら編集をしていたと思う
ローカルLLMで遊んでいる。好きなラジオのあの回はどれだっけ？となることが多いので書き起こしをLLMに要約させて必要な要素をまとめる、みたいなことをしている。
最終的にはWebブラウザから探せるようにしたくてあれこれワークフローを組み立てるみたいなことをしていて、Windmillというサービスを見つけた
パッとみ複雑そうであれこれやっているけど、とりあえずエンドツーエンドで動くところまでできた。
整ったら公開をしていこう。
ローカルLLMを試していく上で、ChatGPTやClaudeのような体験は得られないのだなぁと思ったりした。RAGとかWeb Fetchみたいなのは自前でやらないといけないし、少し凝ったことをやろうとすると車輪の再発明って感じがする。いや、もう少しなんか良い方法があるんだろうな。
あくまでも単体のテキストファイルの処理をやるとかは結構簡単で良い感じ
あとたまたま使っているGPUがZOTAC GAMING GeForce RTX 3090 Trinity 24GBというやつでVRAMが24GBと比較的潤沢なのも助かるという感じ。高性能なモデルを使おうと思うとそれだけメモリがいるという理解なのでOllamaから選べるやつだと qwen3:32bというやつが普通に動くのですごい。これを qwen3:8bとかにするとメモリの使用量は確かに減るのだけど出力される結果の精度は落ちるような感覚。