この記事は、以下の記事の答え合わせです。
最初に。
見かけた記事は、
日本の特許としては、特許6884871、だ、そうです。
余談
transformerか、transformersか、気になってましたが。。。
Transformer でOK
答え合わせ
時期
最近公開されたという記事じゃないのね。。。 納得！
（2017年だと思ったんだ！！！無理やり2019と書きましたが。。。 1点get｡)
内容
(今後の記事で､のんびり書きます)
AIのtransformerの特許の記事をチラッと見かけたので、読む前に予想してみる。
(この記事､すべて､記憶で書いてます｡｡｡)
その前に、、、、
たぶん権利化された特許が公開されたという記事だと思うが。。。。
時期がおかしくないか。。。
attention is all you need みたいなのが出たのは？2019❓？あたり
その直前ぐらいに出願しているはず
もう5年ぐらい過ぎているが。。。。権利化まで、寝かせられる期間が長いのかな。。。。
内容を想像。。。
上記、例の有名な画であるが。。。。 この段階での新規の内容として、、
①（細かいのから）位置情報がわかるようにした
ポジショニングのためのsin波みたいなのを入れた
②エンコーダ側、デコーダ側ともに、複数の層にした
③エンコーダ側を学習し、エンコーダ＋デコーダ側を学習する
単なる文章があれば、それ自体で学習できる。 ただ、それ自体は新しくないので、それを、この構成で学習する
④まず、self-attentionみたいな層がある
⑤情報のつながり方、、、resnetみたいな（直接と処理後の両方を）
って､感じかな｡｡｡｡
コメント
いま､世間のモデル､巨大だけど｡｡｡｡ どこが巨大になるのかが良く理解できてないことがわかった｡｡｡｡
「AGIのレベルを1万倍ぐらい超えた知能をASIとすると、私はASIが10年以内に来ると思ってます。しかも、このASIの人工知能が『超知性』に進化する。その超知性が10年以内にやってくると思っています」って。
結局、考えるのは一個人の頭だから。寿命、成長-学習の時間、頭脳の量的限界、人間は不利すぎですね。。。 ～AIの将来を科学的に予想するNo.11～
最近のChatGPTとかのレベルを見ると、人間は不利な感じがする。
結局、考えるのは一個人の頭だから。
寿命、成長-学習の時間、頭脳の量的限界、人間は不利すぎですね。。。
(↓ 出典 wikipedia)
ぅおーーーー。しんどいね。『GPT-4o. の Free プランの制限に達しました。』 戦いの日記（乞うご期待）
しんどい
こんなんでました。2024/11/02 11:50頃｡
4時間待ちか。。。。
GPT-4o. の Free プランの制限に達しました。 制限が 15:49 以降. にリセットされるまで、回答では別のモデルが使用されます。
これからどんどん追い込まれるのかな。。。
戦いの日記
2024/11/02 17:40
再開し、その後、また、ストップ
あれ？処理量の制限でなく、時間制限か？？ もうだめだ。。。
2024/11/04 18:49
2024/11/15 5:52
2024/11/16 13:05
戦いの日記、つづく（乞うご期待）
ChatGPTが質問に質問を返さない理由 ～AIの将来を科学的に予想するNo.10～
ChatGPTが質問に質問を返さない理由
ChatGPTは、すばらしい。
しかし、雑に質問したり、回答が難しい問題に対して、質問に質問を返すことは、一般にない。
これには、3つの理由がある。
- 自分のいまの回答がどの程度正しいか、把握していない。
- 上記と重なるが、自分が何がわからないのかわからない。
- 更に、上記が解決したとして、その質問に対する質問に回答を得たとしても、元の質問とその回答を有機的につなぐことができない。
ChatGPTに上記意見について、★見解を求めた。
テキストで、、、
この記事は、ChatGPTの長所を称賛しつつ、その限界についても言及しています。以下に、この記事のポイントについての意見を述べます。
長所の強調
• ChatGPTは素晴らしい：この評価に同意します。ChatGPTは多くの場面で役立ち、ユーザーの質問に対して迅速かつ的確な回答を提供できます。
限界についての指摘
1. 自分の回答の正確さを把握していない：
o これは正しい指摘です。ChatGPTは、生成された回答の正確性や信頼性を直接評価する能力を持っていません。そのため、ユーザーにとって重要な情報に対しては、他の信頼できるソースを併用することが推奨されます。
2. 自分が何がわからないのかわからない：
o この点も重要です。ChatGPTはユーザーの質問の文脈や意図を完全に理解できない場合があり、その結果、適切なフォローアップ質問ができないことがあります。
3. フォローアップ質問の有機的なつながりの欠如：
o ChatGPTは一貫性のある対話を保つために設計されていますが、複雑な質問や多段階の問題解決には限界があります。フォローアップ質問の意図を正確に捉え、元の質問と適切に結びつけることが難しい場合があります。
総括
• ChatGPTは非常に優れたツールであり、多くの場面で有益ですが、その限界を理解し、適切に利用することが重要です。特に重要な情報を求める場合や複雑な問題を解決する際には、他の情報源や専門家の助言を併用することが推奨されます。
ChatGPTの回答に対するコメント
微妙に指摘を、ずれて、浅くとらえていると思う。
以下は、少し、違うと思う。
『・・・ユーザーの質問の文脈や意図を完全に理解できない場合があり、その結果、適切なフォローアップ質問ができないことがあります。』
意図の理解の話をしていない。自分が何がわからないかの認識の欠如について指摘したんだ。
『・・・複雑な質問や多段階の問題解決には限界が』
単に多段階の問題解決の話じゃない。
自己注意Self-Attention の解説でわかりやすいと思った記事N選 (N＝21）（🏆 勝手に。。。リピート）
【1】この記事（2018)が理解できれば、Transformerが理解できたと言えるのでは？
コメント
- 『・・・もし、学習の結果、その要素から値を読み込んだ方がよければ対応するクエリとキーは近づくように更新され』のあたりが、仕組みがよくわからない。
- 『・・・位置情報が使えない。そのため、入力に位置情報を表すチャンネルを追加する。例えば、』、位置情報が入れられることはわかるが、それが上手く利用できる仕組みがわからない。
- ちょっと、理解できる気がしていない。。。。（最初から、まずい。。。）
進捗
まだ、1件目。
