エピソード1の感想一覧

知識DBの大きさなんですが、正確には不明なものの「かなり巨大」とは推定できます。

Stable Diffusionのモデル（≒知識DB)は大体数GBくらいに収まっていますが、こやつについては少なく見積もっても数百GB、妥当なところだとTB級のサイズじゃないかなあって感じがしてます。

おっしゃるように、モデルを持ち歩けるくらいポータブルに収まるかはポイントだと考えてます。たとえば、いずれクライアントにいれられるくらいのサイズになるのなら、それこそスマホの中に機能として
組み込むこともできそうですよね。

ただ、あくまで現時点での所感にはなるのですが、結局「知性」の発現のためにはとにかく「量」が問題になる気はするのですよね。

この手の言語モデルと呼ばれる代物では、どうもモデルが一定サイズを超えると途端に抽象概念を理解しだすという現象が見られているのですが、こっち専門の研究者でも今持って理由は未解明だそうです。ただ、人間と動物の比喩でいうと脳の（ストレージとしての）サイズが性能の差を生んだと考えられるわけで、AIで知性を再現しようとすると脳を肥大化させるということに相当するアプローチが必要なのかもしれません。

人間の脳が確かペタバイト級の記憶容量があるとどっかで読んだのですが、ChatGPTとの対比でいうとかなり物理サイズ辺りでの容量が大きいですよね。ポータブル化を進めるにはもう知識情報を圧縮するとか不要な学習結果を捨てる（人間でいう「忘れる」）みたいなアプローチとかが必要かもしれないなと感じています。

ChatGPTはオープンでないので色々推測しなければいけないのですが、いくつか論文は公開されているので多少わかるところはあります。

マスターの「頭脳」をそのままに、セッション単位で訂正するが基本的なやり方っぽいですね。この辺りの基盤にはRLHF（Reinforcement Learning from Human Feedback、人間のフィードバックを基にした強化学習）という技術が使われてるらしいです。通常の強化学習はフィードバックがもっと機械的なのですが、人間によるフィードバックを直接強化学習に介入させる技術だそうな（まだ論文読めてないですが）。

ユーザーの入力をフィードバック……については、数週間前に「upvote」「downvote」するボタンが入ったのですよね。回答が良いときはupvoteして「より理想的な回答」を記入することができて、おかしいときはdownvoteして「有害」「正しくない」「助けにならない」とかにチェック入れられるのですが、使う人間がイジワルしそうな機能なので、運営側がどう活用してるのかはちょい不明です。

ただ、この一ヶ月くらいで回答精度が改善されたと思われるものが結構あったりするので、βテストの現時点でユーザーのフィードバックをうまく取り込む方法があったりするのかもしれません。

信頼性をどう上げていくのかは私もどうやっていくのかなあというのは疑問に思っているところです。Microsoftが巨額の出資なんてニュースも出ましたし、自社のBingと組み合わせていくなんて戦略でいるなんて噂もあるので、そこら辺はなんとかしてくれるんじゃないかと楽観的でもありますが。