とりあえず、ブログ始めるにあたって何から書こうかとおもっていましたが まずは旬なChatGPT、GPT-4からにしましょう。
いやぁ、この手のAIは学生時代にエライザを人工無能って言っていたころから自分の中では実現性はかなり疑問符でした。 と思っていたのに、来ちゃいましたね。びっくりしました。
マジでちゃんとした（まぁ、基本的な仕組み考えると信頼性についてはこれからの課題でしょうけど）回答返すし、なんだったらそこらへんの人より賢いらしい。 ただ、動かすためのリソースも尋常じゃなく（昔でいうスパコンクラス並み）が必要だから、まぁ自分としては利用者であり開発に使うものじゃないよねって雰囲気もバシバシ感じて距離感もあったのだ。
と思っていたのに、半年？一年もしないうちに動いちゃうんだよパソコンで。びっくり。 PCのリソースレベルで動くOSS実装が出てきちゃった。
色々もう出てきていて乱立していますが、試したのは以下のもの。
まぁ流石に知識ベースの指標であるパラメタ数が1750億個(175B)とかで、次世代のgpt-4になるとさらに100兆個とほぼ1000倍になっていてもうどれだけすごいかわからんくらい。
で、今出てきているOSSは知識ベースは最大で30BのものがほとんどでchatGPTの1/5くらい。
ただ、会話くらいなら成立するくらいに利用できるのがびっくり。
今、個人的には RWKVが注目中でこれだと RTX3090があればほぼ実用的なスピードで応答を返します。なんだったらchatGPTよりも速いくらい（でも内容の質はChatGPTがかなり勝るが)
とここまで書いて、ChatGPTに要約してもらったw
ブログを始めるにあたり、最新のAIであるChatGPTやGPT-4について触れることに決めた。昔から人工無能のエライザに疑問を持っていたが、最新のAIは信頼性も高く、賢いと言われている。ただし、リソースが必要であり、個人が開発に使うものではないと感じていた。しかし、最近はRWKVやGPT4ALL、vicunaなどのOSSが登場し、RTX3090を使用すれば実用的なスピードで応答できるようになってきている。
実にこの記事の中身のなさが端的に現れてw
ただ、ちょっとニュアンスが違うところ(RTX3090を使用すれば実用的なスピードで応答できるようはRWKVにかかっているのでここも含めて欲しかった)もあるのでおまかせにはまだできないな。
さらに研究者ならどう書くか、という観点でchatGPTに書きなおしてもらった。
ブログを始めるにあたり、最初は何を書こうか迷っていましたが、まずはChatGPTやGPT-4の最新情報について紹介しようと思います。 私は学生時代に「エライザ」という人工無能を知って以来、この手のAIの実現可能性について疑問を持っていました。しかし、最近ではChatGPTやGPT-4など、信頼性の高い回答を返すAIが登場しました。ただし、これらのAIを動かすためにはスパコンクラスのリソースが必要であり、開発者や専門家以外には利用が難しいという雰囲気もありました。 しかしながら、最近ではRWKV、GPT4ALL、vicunaなどのオープンソース実装が登場し、個人でも利用が可能になってきました。これらの実装は、パラメータ数が1750億個（175B）を超え、次世代のGPT-4になると100兆個以上になるなど、非常に高度な知識ベースを持っています。 これらの実装を試してみると、会話などの一般的なタスクにおいても十分な性能を発揮することがわかりました。私は現在、RWKVが特に注目されており、RTX3090があれば非常に高速に応答を返すことができます。ChatGPTよりもさらに速い場合もあります。
やっぱり、私の文章が頭が悪い感じになっていることもわかって悲しいw
