LLMに学習された知識、外部から与える知識
X で流れてきた以下の中島大輔氏[1]のツイートで共有されている講評が興味深かった。
大学のレポートに AI を使うことについて書かれているが、なんとこの講評それ自体が AI を使いつつ書かれたものであった、ということが明かされる。 AI を使って文章を整えるとしても、個人の体験や思考などをちゃんとおり混ぜた上で書かせるとこうも読ませる文章も書き出せるのだなあと思った次第。
LLM に文章を書かせる場合、LLM が学習している知識を引き出す場合と、外部から与えた情報を元に文章を作らせる場合がある。 この 2 つの間でグラデーションでその割合が変化しているのだと思う。
ChatGPT などは会話中に Web 上の情報を検索してその結果を元に返答の文章を作っていたりするので、外部の情報を取り込んだ上で返答をしているとも言える。 とはいえ ChatGPT のチャット欄は LLM に質問して答えてもらうためのインタフェースである。
書かせたい内容をちゃんと用意した上で、自然言語を作ったり整えたりする用途として自然言語をドリブンするための仕組みとして LLM を使う感覚もそれはそれで重要かもなあと感じるなど。
LLM が内部に持っている情報ではなく、どのようなことを書かせたいかを外部に持って書かせると、このくらい読む価値がある文章ができるというのは良い話である。
LLM に書かせた技術記事などを読んでいると、どこまでがお前の主張でどこからが LLM が間を埋めるために生成したあまり意味のない隙間埋めの文章なのか、というのが気になることが多い。 気になるというのは、つまり隙間埋めのためだけの滑らかに接続するためだけの当たり障りのない、平均へ回帰してそうな、びっくり度合いの低いというか読んでいて新しい情報が入ってこない文章をここ最近の Zenn など見ていてよく目にすることがあるという話。 Zenn の新着投稿などを見るに、LLM を漫然と使うと違う人が違うネタで生成させているのにも関わらず、何か均質的な面白みがあまりない文章になる。 LLM が統計的にありそうな文章を生成しているからなのか、すごい平均への回帰というか同じような文章が生成されているような気がしてしまう。
なので LLM といえば没個性というか、誰が生成したかによらず同じような結論の同じようなトーンの文章が生成されるのかなあという感覚があった。 その感覚をある程度否定してくれたような感覚があって良い。
ちゃんと個人の知識や経験などを外部から情報として与えて、それを自然言語としてまとめたりするのに LLM を使う、という構成だと結構面白い文章を生成できるのね。