水曜日
自宅にあるWindowsマシンのGPUでqwen3:32bというモデルを動かしてOllamaのAPIから呼び出して使っているのを外出先からも呼び出したい、ということになった。こういうのはOpenAIとかClaudeのAPIを使えばいいとなりがちだけど従量課金なのでやや気が引ける、という感じ
やっていることとしては、
会話で話したことを記録するくん
会話で話したことの関係性を記録するくん
1つ目はpgvectorでベクトル検索をする、2つ目はGraphitiをつかうという感じ。そのサマライズをするのにLLMをつかっている。気軽のバンバン呼び出しているので従量課金だとやや不安がある、という経緯がある
最初は形態素解析をしてバシバシ関連キーワードを抽出してたけど、意味合いとか文脈を持った上でサマリしてくれるLLMの方が最終的に精度がよかった。
そんで、自宅のLANの中にいる時はWindowsマシンの固定IPにアクセスすればいいんだけど昨日久しぶりにオフィスに行ったら接続できなかったので外出先からでもアクセスできるようにした。
といってもやったことはCloudflareのTunnelをつかって持っているドメインでトンネルを掘ってあとは適切な認証の仕組みを入れるだけだった。全部WebのUI上からできるので便利だった。
外部の記憶装置に対してコンテキストや記録を残していくと過去に同じようなことをやったときに勝手に調べてくれたりするので便利で重宝している。プランニングはしたけど、一度寝かしたい時は保存しておいてあとから読み出すこともできる。この時にplansディレクトリに書き出しておくこともできるが、書き出してくれたmarkdownファイルの存在を意識しなくて済むのは便利かなぁ。
この仕組み自体は多分半年もすれば無用になりそうだけど、この仕組み自体も構成だけは自分の頭の中でやって実装はClaude Codeがやってくれたので実質無料
実際に動かしている様子
やろうとしていることはラズパイで ipod-gadget を動かそうとしているんだけどなぜか車で利用できなくて調査している。
https://github.com/oandrew/ipod-gadget
ラズパイ側でビルドして車に持ち込んで接続テストをするというのを繰り返しているけど普通に日をまたぐことがあるのでそこまで会話した内容を記録している。