感想一覧
▽感想を書く感想絞り込み
[一言]
アスキーアートは形式上は一次元の文字列ではあるんですが、それがアスキーアートであるので二次元化して把握はしているんでしょうね。「そういうものだ」という事が判っていれば、ある意味画像認識と同様な学習が(LLMで)なされているのかもしれませんね。
アスキーアートは日本文化だと思いますので、タグ付けも基本的には日本語で行われているのだろうと考えますが、英語コンテキストでも同じものを解釈できるかどうかについては興味がありますね。画像認識、というイメージで言えば言語から独立してもよさそうに思うのですが。
「この」シチュエーションに最適なアスキーアートを教えてください、って尋ねたら、現場ネコが出てきたり…/w
アスキーアートは形式上は一次元の文字列ではあるんですが、それがアスキーアートであるので二次元化して把握はしているんでしょうね。「そういうものだ」という事が判っていれば、ある意味画像認識と同様な学習が(LLMで)なされているのかもしれませんね。
アスキーアートは日本文化だと思いますので、タグ付けも基本的には日本語で行われているのだろうと考えますが、英語コンテキストでも同じものを解釈できるかどうかについては興味がありますね。画像認識、というイメージで言えば言語から独立してもよさそうに思うのですが。
「この」シチュエーションに最適なアスキーアートを教えてください、って尋ねたら、現場ネコが出てきたり…/w
エピソード5
そうですね。おそらくは、ですが結果的には画像認識と類似のことが起きているような感じはします。
確かに、英語コンテキストで同じようにアスキーアートを解釈できるのかは試してみるとおもしろそうです。
アスキーアートを教えてくださいという問いもいいですね。別途試してみますw
確かに、英語コンテキストで同じようにアスキーアートを解釈できるのかは試してみるとおもしろそうです。
アスキーアートを教えてくださいという問いもいいですね。別途試してみますw
- 久野真一
- 2023年 02月01日 03時25分
[一言]
更新ありがとうございます。
文字列、という時にはデータはＰＣやＡＩにとってはあくまでも一列、であると私は思っていたのですが、アスキーアートが読めるということは改行もきちんと読み、かつ、上下の繋がりも意識しているということなのでしょうか。
このエッセイ拝読し始めて、初の“怖さ”を感じています。
どこまで認識するようになるんだろう……
続きを楽しみにしております。
作者様に感謝。
更新ありがとうございます。
文字列、という時にはデータはＰＣやＡＩにとってはあくまでも一列、であると私は思っていたのですが、アスキーアートが読めるということは改行もきちんと読み、かつ、上下の繋がりも意識しているということなのでしょうか。
このエッセイ拝読し始めて、初の“怖さ”を感じています。
どこまで認識するようになるんだろう……
続きを楽しみにしております。
作者様に感謝。
エピソード5
改行はちゃんと認識してると思います。上下というか、全体として「どういう図か」を意識しているといった印象でしょうか。
原理的には出来るだろうと思っていましたが、いざ出来るとビックリですね。
原理的には出来るだろうと思っていましたが、いざ出来るとビックリですね。
- 久野真一
- 2023年 01月24日 21時23分
[良い点]
大変興味深く拝見しました。
（現時点ではまだ完全ではないにしても）単なる情報集約に留まらない「論理構築」めいたものも備えたbotが登場するとなると、学生へのレポートの出題がますます難しくなるだろうな、と思いました。
（学生が現時点で使いこなせるかは別としても）レポート課題に対応／関連しそうな「質問文」をいくつかアレンジして投げ、その結果を踏まえて文章化するなら、学生が何も考えてなかったとしても「論理的っぽい」レポートぐらいを作成するのは造作もなくなりそうな気がします。現状、ネット等で拾った情報を「つなぎ合わせた」だけのレポートだと、しばしば論理に問題があるので採点ではじけるのですが、論理性を提供する（と言って良いのか分かりませんが）bot等のツールによってそうした形でのチェックが難しくなるのでしょうから。
まあもっとも、そういった利用が普通になる頃には、「ＡＩをいかに適切に使いこなすのか」等に教育の重点自体がシフトしていくのかもしれません。
他の方の感想と相通ずるものですが、linuxのコマンドに懐かしさを覚えました（大学のサーバーがunixで、telnetを使っていたりしたことを思い出しました。ブラウザはw3mではなくlynxでしたが）。
[気になる点]
どういった英文であれば「ChatGPTに間違えられにくい」のか、というような、質問文に対するスコア評価めいたものをどなたか探究されているのかは気になるところです。
（学習が進んでいけば、質問文による回答の「揺れ／ぶれ」は収束していくのかもしれません。ただそれでも、ChatGPTを評価者とした「質問文の英文としての解釈／理解のしやすさ」を数値化できそうなので、それを用いてある種の「自然な英文」の要因分析ができるのでは、という憶測です。もちろん、我々が感じる「自然な英文」とそうしたものが整合的かどうかは全く分からないのですが）
[一言]
活動報告の方で集中講義をなさる、と書かれていたような気がしたのですが（うろ覚えで失礼します）、時期的にそろそろでしょうか。質の良い履修者に恵まれることを願っています。
大変興味深く拝見しました。
（現時点ではまだ完全ではないにしても）単なる情報集約に留まらない「論理構築」めいたものも備えたbotが登場するとなると、学生へのレポートの出題がますます難しくなるだろうな、と思いました。
（学生が現時点で使いこなせるかは別としても）レポート課題に対応／関連しそうな「質問文」をいくつかアレンジして投げ、その結果を踏まえて文章化するなら、学生が何も考えてなかったとしても「論理的っぽい」レポートぐらいを作成するのは造作もなくなりそうな気がします。現状、ネット等で拾った情報を「つなぎ合わせた」だけのレポートだと、しばしば論理に問題があるので採点ではじけるのですが、論理性を提供する（と言って良いのか分かりませんが）bot等のツールによってそうした形でのチェックが難しくなるのでしょうから。
まあもっとも、そういった利用が普通になる頃には、「ＡＩをいかに適切に使いこなすのか」等に教育の重点自体がシフトしていくのかもしれません。
他の方の感想と相通ずるものですが、linuxのコマンドに懐かしさを覚えました（大学のサーバーがunixで、telnetを使っていたりしたことを思い出しました。ブラウザはw3mではなくlynxでしたが）。
[気になる点]
どういった英文であれば「ChatGPTに間違えられにくい」のか、というような、質問文に対するスコア評価めいたものをどなたか探究されているのかは気になるところです。
（学習が進んでいけば、質問文による回答の「揺れ／ぶれ」は収束していくのかもしれません。ただそれでも、ChatGPTを評価者とした「質問文の英文としての解釈／理解のしやすさ」を数値化できそうなので、それを用いてある種の「自然な英文」の要因分析ができるのでは、という憶測です。もちろん、我々が感じる「自然な英文」とそうしたものが整合的かどうかは全く分からないのですが）
[一言]
活動報告の方で集中講義をなさる、と書かれていたような気がしたのですが（うろ覚えで失礼します）、時期的にそろそろでしょうか。質の良い履修者に恵まれることを願っています。
学生へのレポート課題が難しくなるだろうという懸念はもっともでして、英語圏だと既に
https://www.businessinsider.jp/post-264343
こんな話もあるみたいですね。厄介なのが完全にAIで生成されたレポートだと見抜く方法がない辺りでしょうか。もうちょっと未来には部分的な利用はOKとかそういう方向にシフトしてくのかもしれません。
「どういった英文ならChatGPT（ないし類似品）に間違えられにくいのか」というのは興味深い観点だと思います。今のところそっち方面の研究はあまり見かけませんが、ツールとして一般的になればそういう研究も増えてくるかもしれません。
私見ですが、現状の仕組みと経験則では
・質問文には（ChatGPTが想像しにくいだろう）文脈情報を入れる
・丁寧な文章にする。既存の学習データのせいかわからないですが、あんまり乱暴な書き方をすると、ChatGPTが「頑なに見える」返答をする傾向があるような気がします。
辺りかなあと思っています。
集中講義は2月11日辺りなので、そろそろといったところですね。講義資料が全然できてないので急いで準備しなきゃですが。ちょっと特殊な経緯の講義なのですが、希望者が100名近くになりそうとかいうのを聞いてます。ちょっと緊張しそうですね(^^:
https://www.businessinsider.jp/post-264343
こんな話もあるみたいですね。厄介なのが完全にAIで生成されたレポートだと見抜く方法がない辺りでしょうか。もうちょっと未来には部分的な利用はOKとかそういう方向にシフトしてくのかもしれません。
「どういった英文ならChatGPT（ないし類似品）に間違えられにくいのか」というのは興味深い観点だと思います。今のところそっち方面の研究はあまり見かけませんが、ツールとして一般的になればそういう研究も増えてくるかもしれません。
私見ですが、現状の仕組みと経験則では
・質問文には（ChatGPTが想像しにくいだろう）文脈情報を入れる
・丁寧な文章にする。既存の学習データのせいかわからないですが、あんまり乱暴な書き方をすると、ChatGPTが「頑なに見える」返答をする傾向があるような気がします。
辺りかなあと思っています。
集中講義は2月11日辺りなので、そろそろといったところですね。講義資料が全然できてないので急いで準備しなきゃですが。ちょっと特殊な経緯の講義なのですが、希望者が100名近くになりそうとかいうのを聞いてます。ちょっと緊張しそうですね(^^:
- 久野真一
- 2023年 01月23日 11時26分
[一言]
週末のテストをもう解析に掛けるとは、仕事が速い…
それにしても、ですねえ。日本人にとっての英語だから、まだ少しは易しいのかもしれないけれど。ChatGPTにも負ける学生は、と言われてしまうと/w
国語は、多分まだ難しいでしょうね。漢文・古文もあるし、なんだか文章も多くなったという話もあるし。現代文だけでも、結果を見てみたくなりますね。
週末のテストをもう解析に掛けるとは、仕事が速い…
それにしても、ですねえ。日本人にとっての英語だから、まだ少しは易しいのかもしれないけれど。ChatGPTにも負ける学生は、と言われてしまうと/w
国語は、多分まだ難しいでしょうね。漢文・古文もあるし、なんだか文章も多くなったという話もあるし。現代文だけでも、結果を見てみたくなりますね。
エピソード4
この仕事の速さ、凄いですよね。ChatGPTにも負ける学生は、がもっと進んでそのうち「お前、AI以下」みたいな話が出てくるんではと半分くらいマジで思ってますw
おっしゃる通り、私も国語はまだ難しいと考えてますし、リンク先記事の著者も同じように考えてそうですね。この辺りは日本語の学習データをもっと増やすことで解決する問題かもですが。
おっしゃる通り、私も国語はまだ難しいと考えてますし、リンク先記事の著者も同じように考えてそうですね。この辺りは日本語の学習データをもっと増やすことで解決する問題かもですが。
- 久野真一
- 2023年 01月17日 10時55分
[一言]
重ね感想で失礼致します。
スマホ……いやガラケーでもすでに、“電話機”ではなくて“電話もできるハンドヘルドコンピュータ”ですよね。懐中電灯になったり鏡になったり、オンラインでなくともローカルで出来ることも結構ありますし。電源切れたらただの箱ですけど(^^;
入力についてはまさに仰る通りだと思います。熱を込めた感想（いつも長文ですみません）を書きたかったり、大事な連絡事項をメールしたりするときは、夜勤終えて帰宅してから自宅のＰＣで作成します。スマホの画面もそれなりに大きくなりましたけどそれでも老眼(爆)にはツラいし、手が大きくて指がごついのでスマホのソフトキーボードだと入力でいらつく(^^;ことも多いので。
キーボードについては外付け折り畳みってのもありますが、そこまでするならノーパソ持ち歩くだろうし、そこまでするほど急ぎのものはない生活送っております(^^)
今の若い子は逆にパソコンの物理キーボードだと入力遅いかできないかだそうですね(^^;隔世の感があるなあ……
雑感で失礼いたしました。
作者様に感謝。
重ね感想で失礼致します。
スマホ……いやガラケーでもすでに、“電話機”ではなくて“電話もできるハンドヘルドコンピュータ”ですよね。懐中電灯になったり鏡になったり、オンラインでなくともローカルで出来ることも結構ありますし。電源切れたらただの箱ですけど(^^;
入力についてはまさに仰る通りだと思います。熱を込めた感想（いつも長文ですみません）を書きたかったり、大事な連絡事項をメールしたりするときは、夜勤終えて帰宅してから自宅のＰＣで作成します。スマホの画面もそれなりに大きくなりましたけどそれでも老眼(爆)にはツラいし、手が大きくて指がごついのでスマホのソフトキーボードだと入力でいらつく(^^;ことも多いので。
キーボードについては外付け折り畳みってのもありますが、そこまでするならノーパソ持ち歩くだろうし、そこまでするほど急ぎのものはない生活送っております(^^)
今の若い子は逆にパソコンの物理キーボードだと入力遅いかできないかだそうですね(^^;隔世の感があるなあ……
雑感で失礼いたしました。
作者様に感謝。
エピソード3
ですね。ガラケー時代も「ハンドヘルドコンピュータ」だったのですが、スマホになって決定的に変わったのは
・OSの中身がLinuxという「普通のPCで使われているもの」で「誰でも設計図を見られるもの」がベースになったこと
・開発者がアプリを「自由に」作れるようになったこと
・ユーザ体験がPCにかなり近づいた
・性能もPCとあんまり変わらないレベルになった
辺りかなと。そのおかげでガラケー時代とは比較にならないくらい、色々なアプリが出てくるようになった気がします。
パソコンネイティブ（笑）だとやっぱりそう思いますよね……。
・OSの中身がLinuxという「普通のPCで使われているもの」で「誰でも設計図を見られるもの」がベースになったこと
・開発者がアプリを「自由に」作れるようになったこと
・ユーザ体験がPCにかなり近づいた
・性能もPCとあんまり変わらないレベルになった
辺りかなと。そのおかげでガラケー時代とは比較にならないくらい、色々なアプリが出てくるようになった気がします。
パソコンネイティブ（笑）だとやっぱりそう思いますよね……。
- 久野真一
- 2023年 01月17日 10時59分
[一言]
誰が最初にこれをやろうと考えたのか/w
何を学習したからこれが出来るようになったのか、に興味があります。
・入力と出力の凡例が示されたシェルの実行サンプル
・シェルの外部仕様書(このコマンドは何を出力する、みたいな)
・シェルの内部仕様書(コマンドの実装の記述)
・実プログラムソース
のどれから学んだんでしょう。学習セットを変えた場合に、どれなら実行できるようになるんでしょうね。
案外、Linuxのソースを読み込んで理解していたり…
誰が最初にこれをやろうと考えたのか/w
何を学習したからこれが出来るようになったのか、に興味があります。
・入力と出力の凡例が示されたシェルの実行サンプル
・シェルの外部仕様書(このコマンドは何を出力する、みたいな)
・シェルの内部仕様書(コマンドの実装の記述)
・実プログラムソース
のどれから学んだんでしょう。学習セットを変えた場合に、どれなら実行できるようになるんでしょうね。
案外、Linuxのソースを読み込んで理解していたり…
エピソード3
元々は海外の奇特なエンジニアが試したのがTwitter経由で拡散したというのが知ってる経緯ですね。何故それをやろうと思ったのかはなんともw
ChatGPTの「大規模言語モデル」という性質を考えると「言語」（理論的には文字列の集合）とみなせるものは何でも学習可能であろうというのが現在わかってることなんですが、シェルだって「言語」なわけで、他の「言語」同様に実行サンプルを元に「シェルを学習」したのかもしれません。
ただ、それだけだと各コマンドについてこれだけ「うまく」摸倣できるだろうかという思いがありまして、ソースコードなんかも読みに行ってるのかもしれません。いずれにしても、別にこんな変な目的のために学習させたわけもなく、謎は広がるばかりです。
ChatGPTの「大規模言語モデル」という性質を考えると「言語」（理論的には文字列の集合）とみなせるものは何でも学習可能であろうというのが現在わかってることなんですが、シェルだって「言語」なわけで、他の「言語」同様に実行サンプルを元に「シェルを学習」したのかもしれません。
ただ、それだけだと各コマンドについてこれだけ「うまく」摸倣できるだろうかという思いがありまして、ソースコードなんかも読みに行ってるのかもしれません。いずれにしても、別にこんな変な目的のために学習させたわけもなく、謎は広がるばかりです。
- 久野真一
- 2023年 01月15日 08時29分
[一言]
なんか、微妙に昔のPrologとか思い出してしまいます。論理DBを組み合わせて結論を推論するような。まああれはバックトラックとかしていわばしらみつぶしで当たっていたのですが、それに比べるとなんだか処理は一方向的な感じがして効率がよさそうにも。
興味深いのが、言語によって回答が違う点。これは、例えば「方程式を解く」というなにか概念のようなものが有った時に、それが言語ごとに構築されている、ということですよね。
一つの学習のやり方として、入力を(学習データも)一度共通言語に翻訳して学習し、最後に結果を共通言語から個別言語に戻す、というのもあると思います。その場合、どの言語でも概念は共通になるでしょうが、ちょっとそうじゃないのかなという気がします。
「答えは英語で」という風なクエリを渡した場合には、多分日本語の回答を翻訳する、という処理をしてそうな気がする(判らないけど)。
そうなら、言語ごとの知識の分断、という問題が出てきそうです。〇島はどこの領土、みたいなクエリが言語ごとに自分の都合の良い答えを返したり/w
そしてまた、言語として不完全なものは、知識の構築が進まない、という事にもなりそう。漢字を捨て去った某表音文字言語なんて、内容を把握することにまず一段のハードルが出てきそう。本当かどうだか、「防水」と「放水」が同じ記述なので、撒いてはいけない所に水を撒いて線路をだめにしちゃったとかあったような。そんな文書を読まされて、学習させられるとしたらちょっとかわいそう/w 発音できるけれど、内容が把握できない言語…
クエリを英語に翻訳して、最後に結果をもう一度日本語に翻訳すれば正しい答えになるのだとしたら、「ほにゃららという問題を英訳して解釈し、その結果を日本語訳して表示してください」と指示したら、正しい答えが返ったりはしませんかねえ。
なんか、微妙に昔のPrologとか思い出してしまいます。論理DBを組み合わせて結論を推論するような。まああれはバックトラックとかしていわばしらみつぶしで当たっていたのですが、それに比べるとなんだか処理は一方向的な感じがして効率がよさそうにも。
興味深いのが、言語によって回答が違う点。これは、例えば「方程式を解く」というなにか概念のようなものが有った時に、それが言語ごとに構築されている、ということですよね。
一つの学習のやり方として、入力を(学習データも)一度共通言語に翻訳して学習し、最後に結果を共通言語から個別言語に戻す、というのもあると思います。その場合、どの言語でも概念は共通になるでしょうが、ちょっとそうじゃないのかなという気がします。
「答えは英語で」という風なクエリを渡した場合には、多分日本語の回答を翻訳する、という処理をしてそうな気がする(判らないけど)。
そうなら、言語ごとの知識の分断、という問題が出てきそうです。〇島はどこの領土、みたいなクエリが言語ごとに自分の都合の良い答えを返したり/w
そしてまた、言語として不完全なものは、知識の構築が進まない、という事にもなりそう。漢字を捨て去った某表音文字言語なんて、内容を把握することにまず一段のハードルが出てきそう。本当かどうだか、「防水」と「放水」が同じ記述なので、撒いてはいけない所に水を撒いて線路をだめにしちゃったとかあったような。そんな文書を読まされて、学習させられるとしたらちょっとかわいそう/w 発音できるけれど、内容が把握できない言語…
クエリを英語に翻訳して、最後に結果をもう一度日本語に翻訳すれば正しい答えになるのだとしたら、「ほにゃららという問題を英訳して解釈し、その結果を日本語訳して表示してください」と指示したら、正しい答えが返ったりはしませんかねえ。
エピソード2
疑問が鋭いですね……。
この例題は典型的にはPrologのプログラムのようなものを想定して書きました。内部的にはPrologよりも効率が良い処理をしているとは思います（学習データから確率的な推定をしているはずなので）。それと「曖昧に（）の中に当てはまる」みたいに書いたのから、おおまかにやりたいことを（結果的にでも）推定してるのはやっぱり凄いと思うところです。
漢字の「読み」は現時点ではうまく学習できてないなあという感じがします。データセットとして「漢字の読み」についての文章を生成して食わせるとかいうことはできるかもとは思いますが（大規模言語モデルの改善についての研究という感じでいけるかもしれません）。
おっしゃる通り、実はクエリを英訳してから質問すると回答精度が途端によくなるので、「ほにゃららという問題を英訳して解釈し、その結果を日本語訳して表示してください」系のハックは使えたりしますね。
この例題は典型的にはPrologのプログラムのようなものを想定して書きました。内部的にはPrologよりも効率が良い処理をしているとは思います（学習データから確率的な推定をしているはずなので）。それと「曖昧に（）の中に当てはまる」みたいに書いたのから、おおまかにやりたいことを（結果的にでも）推定してるのはやっぱり凄いと思うところです。
漢字の「読み」は現時点ではうまく学習できてないなあという感じがします。データセットとして「漢字の読み」についての文章を生成して食わせるとかいうことはできるかもとは思いますが（大規模言語モデルの改善についての研究という感じでいけるかもしれません）。
おっしゃる通り、実はクエリを英訳してから質問すると回答精度が途端によくなるので、「ほにゃららという問題を英訳して解釈し、その結果を日本語訳して表示してください」系のハックは使えたりしますね。
- 久野真一
- 2023年 01月15日 08時09分
[一言]
とても興味深いです。
色々と疑問というか知りたいことは出てくるのですが。まあ先を読むと解る事でもあったり。
将来的な提供においてどうなのかは判りませんが、現状ではマスターの「頭脳」はそのままに、セッション単位でそれを多少訂正する、という感じなんでしょうかね。つまり、セッションをつなぎなおすと、SAOの主人公の誤りはまた同じことに戻ってしまうのかな。
ユーザーの入力をフィードバックして学習させるというのもやり方ではあると思いますが、そうすると変なのを学習させる輩が出てきたりして、それは運営方針に合わないんでしょうね。実際には、何らかのうまいフィードバック方法を考えないといけないんでしょうけれど。
学習の手間とコストは膨大だと思いますが、最終的に集約された知識DB(?)の大きさはどんなサイズなんでしょうね。StableDiffusionとかも学習は大変でしょうが、学習結果は比較的ポータブルですよね。ChatGPTの学習結果がオフラインで持ち歩けるかどうか、って将来的にかなり大きなキーポイントになりそうな気がするんですが。
しかし、信頼性が上がればなあ。六法を暗記するというような今一つ不毛な作業は不要になるかもしれないなあ/w
とても興味深いです。
色々と疑問というか知りたいことは出てくるのですが。まあ先を読むと解る事でもあったり。
将来的な提供においてどうなのかは判りませんが、現状ではマスターの「頭脳」はそのままに、セッション単位でそれを多少訂正する、という感じなんでしょうかね。つまり、セッションをつなぎなおすと、SAOの主人公の誤りはまた同じことに戻ってしまうのかな。
ユーザーの入力をフィードバックして学習させるというのもやり方ではあると思いますが、そうすると変なのを学習させる輩が出てきたりして、それは運営方針に合わないんでしょうね。実際には、何らかのうまいフィードバック方法を考えないといけないんでしょうけれど。
学習の手間とコストは膨大だと思いますが、最終的に集約された知識DB(?)の大きさはどんなサイズなんでしょうね。StableDiffusionとかも学習は大変でしょうが、学習結果は比較的ポータブルですよね。ChatGPTの学習結果がオフラインで持ち歩けるかどうか、って将来的にかなり大きなキーポイントになりそうな気がするんですが。
しかし、信頼性が上がればなあ。六法を暗記するというような今一つ不毛な作業は不要になるかもしれないなあ/w
エピソード1
知識DBの大きさなんですが、正確には不明なものの「かなり巨大」とは推定できます。
Stable Diffusionのモデル（≒知識DB)は大体数GBくらいに収まっていますが、こやつについては少なく見積もっても数百GB、妥当なところだとTB級のサイズじゃないかなあって感じがしてます。
おっしゃるように、モデルを持ち歩けるくらいポータブルに収まるかはポイントだと考えてます。たとえば、いずれクライアントにいれられるくらいのサイズになるのなら、それこそスマホの中に機能として
組み込むこともできそうですよね。
ただ、あくまで現時点での所感にはなるのですが、結局「知性」の発現のためにはとにかく「量」が問題になる気はするのですよね。
この手の言語モデルと呼ばれる代物では、どうもモデルが一定サイズを超えると途端に抽象概念を理解しだすという現象が見られているのですが、こっち専門の研究者でも今持って理由は未解明だそうです。ただ、人間と動物の比喩でいうと脳の（ストレージとしての）サイズが性能の差を生んだと考えられるわけで、AIで知性を再現しようとすると脳を肥大化させるということに相当するアプローチが必要なのかもしれません。
人間の脳が確かペタバイト級の記憶容量があるとどっかで読んだのですが、ChatGPTとの対比でいうとかなり物理サイズ辺りでの容量が大きいですよね。ポータブル化を進めるにはもう知識情報を圧縮するとか不要な学習結果を捨てる（人間でいう「忘れる」）みたいなアプローチとかが必要かもしれないなと感じています。
Stable Diffusionのモデル（≒知識DB)は大体数GBくらいに収まっていますが、こやつについては少なく見積もっても数百GB、妥当なところだとTB級のサイズじゃないかなあって感じがしてます。
おっしゃるように、モデルを持ち歩けるくらいポータブルに収まるかはポイントだと考えてます。たとえば、いずれクライアントにいれられるくらいのサイズになるのなら、それこそスマホの中に機能として
組み込むこともできそうですよね。
ただ、あくまで現時点での所感にはなるのですが、結局「知性」の発現のためにはとにかく「量」が問題になる気はするのですよね。
この手の言語モデルと呼ばれる代物では、どうもモデルが一定サイズを超えると途端に抽象概念を理解しだすという現象が見られているのですが、こっち専門の研究者でも今持って理由は未解明だそうです。ただ、人間と動物の比喩でいうと脳の（ストレージとしての）サイズが性能の差を生んだと考えられるわけで、AIで知性を再現しようとすると脳を肥大化させるということに相当するアプローチが必要なのかもしれません。
人間の脳が確かペタバイト級の記憶容量があるとどっかで読んだのですが、ChatGPTとの対比でいうとかなり物理サイズ辺りでの容量が大きいですよね。ポータブル化を進めるにはもう知識情報を圧縮するとか不要な学習結果を捨てる（人間でいう「忘れる」）みたいなアプローチとかが必要かもしれないなと感じています。
- 久野真一
- 2023年 01月15日 08時48分
ChatGPTはオープンでないので色々推測しなければいけないのですが、いくつか論文は公開されているので多少わかるところはあります。
マスターの「頭脳」をそのままに、セッション単位で訂正するが基本的なやり方っぽいですね。この辺りの基盤にはRLHF（Reinforcement Learning from Human Feedback、人間のフィードバックを基にした強化学習）という技術が使われてるらしいです。通常の強化学習はフィードバックがもっと機械的なのですが、人間によるフィードバックを直接強化学習に介入させる技術だそうな（まだ論文読めてないですが）。
ユーザーの入力をフィードバック……については、数週間前に「upvote」「downvote」するボタンが入ったのですよね。回答が良いときはupvoteして「より理想的な回答」を記入することができて、おかしいときはdownvoteして「有害」「正しくない」「助けにならない」とかにチェック入れられるのですが、使う人間がイジワルしそうな機能なので、運営側がどう活用してるのかはちょい不明です。
ただ、この一ヶ月くらいで回答精度が改善されたと思われるものが結構あったりするので、βテストの現時点でユーザーのフィードバックをうまく取り込む方法があったりするのかもしれません。
信頼性をどう上げていくのかは私もどうやっていくのかなあというのは疑問に思っているところです。Microsoftが巨額の出資なんてニュースも出ましたし、自社のBingと組み合わせていくなんて戦略でいるなんて噂もあるので、そこら辺はなんとかしてくれるんじゃないかと楽観的でもありますが。
マスターの「頭脳」をそのままに、セッション単位で訂正するが基本的なやり方っぽいですね。この辺りの基盤にはRLHF（Reinforcement Learning from Human Feedback、人間のフィードバックを基にした強化学習）という技術が使われてるらしいです。通常の強化学習はフィードバックがもっと機械的なのですが、人間によるフィードバックを直接強化学習に介入させる技術だそうな（まだ論文読めてないですが）。
ユーザーの入力をフィードバック……については、数週間前に「upvote」「downvote」するボタンが入ったのですよね。回答が良いときはupvoteして「より理想的な回答」を記入することができて、おかしいときはdownvoteして「有害」「正しくない」「助けにならない」とかにチェック入れられるのですが、使う人間がイジワルしそうな機能なので、運営側がどう活用してるのかはちょい不明です。
ただ、この一ヶ月くらいで回答精度が改善されたと思われるものが結構あったりするので、βテストの現時点でユーザーのフィードバックをうまく取り込む方法があったりするのかもしれません。
信頼性をどう上げていくのかは私もどうやっていくのかなあというのは疑問に思っているところです。Microsoftが巨額の出資なんてニュースも出ましたし、自社のBingと組み合わせていくなんて戦略でいるなんて噂もあるので、そこら辺はなんとかしてくれるんじゃないかと楽観的でもありますが。
- 久野真一
- 2023年 01月15日 08時17分
[一言]
更新ありがとうございます。
お願いされた文章を読み取って、自分の蓄積しているデータの中から合致するものを次々と組み合わせて結果を出力、ってことなのでしょうか。なぜこんなことができるのか……
メイクディレクトリとかチェンジディレクトリとか、会社に入って最初に一生懸命勉強したＤＯＳコマンドが出てきて、懐かしさに涙しそうになりました。当時はパソコンなんぞ職場になく、ワークステーションのターミナルが数台、伝票入力用にあるだけ。入力してる女の子の作業の合間を縫ってMultiplanをコマンドで起動して管理会計資料作ってました。
ようやく管理会計用にパソコン買ってもらえることになって（ラップトップ機でプラズマディスプレイでした）、上司から先輩と私にＤＯＳコマンド学習命令が出て、覚えたのはいいのですが……それで同僚や他の先輩らにマウント取れたのは１年にも満たず、Win3.0のマシンが５台導入され、みんなが普通にＰＣ扱える時代がきてしまいました(苦笑)。
あれで言語とか学ぶ気力なくしたんだよなあ……トオイメ
続きを楽しみにしております。
作者様に感謝。
更新ありがとうございます。
お願いされた文章を読み取って、自分の蓄積しているデータの中から合致するものを次々と組み合わせて結果を出力、ってことなのでしょうか。なぜこんなことができるのか……
メイクディレクトリとかチェンジディレクトリとか、会社に入って最初に一生懸命勉強したＤＯＳコマンドが出てきて、懐かしさに涙しそうになりました。当時はパソコンなんぞ職場になく、ワークステーションのターミナルが数台、伝票入力用にあるだけ。入力してる女の子の作業の合間を縫ってMultiplanをコマンドで起動して管理会計資料作ってました。
ようやく管理会計用にパソコン買ってもらえることになって（ラップトップ機でプラズマディスプレイでした）、上司から先輩と私にＤＯＳコマンド学習命令が出て、覚えたのはいいのですが……それで同僚や他の先輩らにマウント取れたのは１年にも満たず、Win3.0のマシンが５台導入され、みんなが普通にＰＣ扱える時代がきてしまいました(苦笑)。
あれで言語とか学ぶ気力なくしたんだよなあ……トオイメ
続きを楽しみにしております。
作者様に感謝。
エピソード3
これについては私も何故なのかがさっぱり、というところですね……。一つ言えるのは、
「Linuxターミナル」という言葉から、実際の「Linuxターミナルの動作」につながる情報を何らかの形で持っているということですが、単なる「丸暗記」ならこういう高度なモノマネができるわけもなく、何らかの（人工的な）知性を感じてしまう、というのが正直なところです。
確かに、mkdirとかcdはDOSでも共通のコマンドですものね。Microsoft Multiplanなんてのは歴史で聞いたことがあるだけの代物なので色々面白そうなお話ですね。
「みんなが普通にPC扱える時代」については、私はちょっと複雑な思いがありますね。スマホという「ポータブルだけど制限されたPC」が一人一台あるわけですが（実際、非iPhoneなスマホの内部はAndroidという名前のただのLinuxだしこの比喩はほぼ適切だと思います）、喜ばしいと思うと同時に、ラップトップのキーボードなら早くできるものを全部スマホでやってるせいで作業速度遅いよねみたいな例を散見したりするので。
「Linuxターミナル」という言葉から、実際の「Linuxターミナルの動作」につながる情報を何らかの形で持っているということですが、単なる「丸暗記」ならこういう高度なモノマネができるわけもなく、何らかの（人工的な）知性を感じてしまう、というのが正直なところです。
確かに、mkdirとかcdはDOSでも共通のコマンドですものね。Microsoft Multiplanなんてのは歴史で聞いたことがあるだけの代物なので色々面白そうなお話ですね。
「みんなが普通にPC扱える時代」については、私はちょっと複雑な思いがありますね。スマホという「ポータブルだけど制限されたPC」が一人一台あるわけですが（実際、非iPhoneなスマホの内部はAndroidという名前のただのLinuxだしこの比喩はほぼ適切だと思います）、喜ばしいと思うと同時に、ラップトップのキーボードなら早くできるものを全部スマホでやってるせいで作業速度遅いよねみたいな例を散見したりするので。
- 久野真一
- 2023年 01月15日 08時24分
感想を書く場合はログインしてください。