スポンサーリンク
1: あやかのニュース速報! 2023/06/23(金) 20:52:55.81 ID:e25IpPbm

LLaMaやFalconといった小型の大規模言語モデル(LLM)が矢継ぎ早にリリースされる中、Microsoft ResearchのAI研究チームが、プレプリントサーバーのarXivで、Transformerベースのモデル「phi-1」を発表しました。このモデルは、パラメーター数がGPT-3.5の100分の1以下の13億しかないにもかかわらず、テスト用データセット・HumanEvalでGPT-3.5を上回る成績を収めたことが報告されています。

以下は、phi-1のパフォーマンスを他のモデルと比較したものです。phi-1はプログラミング能力を評価するためのデータセットであるHumanEvalで50.6%、MBPPで55.5%と、高い精度を示しました。この結果はGPT-4の67%には及びませんが、パラメーター数が1750億のGPT-3.5を上回るものでした。

phi-1がいかに軽量なのかについて、論文の著者のひとりであるセバスチャン・ビューベック氏は「他のHumanEval50%超えのモデルは1000倍も大きいです。例えば、WizardCoderはモデルサイズが10倍、データセットが100倍でした」と説明しています。

「Textbooks Are All You Need(必要なのは教科書だけ)」と題された論文によると、このモデルはインターネットから収集された教科書品質のデータセット60億トークンと、GPT-3.5から生成された教科書データセット10億トークンを使い、8台のNVIDIA A100によるわずか4日間のトレーニングで作られたとのこと。

※以下省略。記事全文はソース元にて

2023年06月22日 20時00分
https://gigazine.net/news/20230622-phi-1-large-language-model-microsoft/

■引用元記事
Microsoft Releases 1.3 Bn Parameter Language Model, Outperforms LLaMa
https://analyticsindiamag.com/microsoft-releases-1-3-bn-parameter-language-model-outperforms-llama/

■論文
Textbooks Are All You Need
https://arxiv.org/abs/2306.11644

12: あやかのニュース速報! 2023/06/24(土) 08:21:10.48 ID:SuFUrpg5
>>1
(゚∀。)ナルヘソ

 

3: あやかのニュース速報! 2023/06/23(金) 21:10:51.15 ID:PNxDtWak
しかしパラメーター数増やしてもGPT-4を超えられないと言うオチなんだろ
なんでGPT-3.5とか言ってんだ

 

6: あやかのニュース速報! 2023/06/23(金) 21:35:34.56 ID:jBPouB/n
>>3
人知を超えることを目的でやってるやつと
そこそこ性能をコンパクトにの違いやろな🥺

 

9: あやかのニュース速報! 2023/06/24(土) 07:32:13.50 ID:J4/w8xto
>>3
データ処理の技術ってだいたい似たようなアプローチになるよな。
最初は高性能を目指すんだけど、だんだん高性能なものは似たような品質になってきて区別がつきにくくなって、低性能でも高効率なものに関心が移りはじめる。

 

4: あやかのニュース速報! 2023/06/23(金) 21:21:37.65 ID:BfSGHr4d
生成AIエロ動画早よ!

 

5: あやかのニュース速報! 2023/06/23(金) 21:33:35.01 ID:UtRR2059
電力食い過ぎ

 

7: あやかのニュース速報! 2023/06/23(金) 21:53:37.79 ID:Afh/PwsZ
MSのあれは性格がよくない感じ

 

10: あやかのニュース速報! 2023/06/24(土) 07:50:27.83 ID:XCVB+ReI
私のγ-GPTは530 です。

 

11: あやかのニュース速報! 2023/06/24(土) 08:08:32.54 ID:wIT8R2Op
トレーニングでそうなるなら現実世界もそうなってほしいわ

 

13: あやかのニュース速報! 2023/06/24(土) 09:44:07.97 ID:wIT8R2Op

Windowsにチャットgpt搭載するから軽量化が必要なんだろ
そしてロボットに組み込まれるようになる

近い将来はプロジェクターに表示されたバスケットボールでシュートできるようになるの

 

14: あやかのニュース速報! 2023/06/24(土) 10:52:34.43 ID:wIT8R2Op
フット用とか膝用のVRをつけて感触とかも再現できるようになってバーチャルコート上でサッカーできるようになる
コートの幅も解像度の可変のように自由自在に変更できる

 

15: あやかのニュース速報! 2023/06/24(土) 11:02:44.01 ID:wIT8R2Op

こういったホログラフィックマッピングを使えば三次元で映像を映すことができる

これを使ってバーチャルキーボードがあるように、すでに接触によるポインティング動作が可能になっている

 

16: あやかのニュース速報! 2023/06/24(土) 11:28:19.09 ID:wIT8R2Op

これができればバーチャファイターも3d空間でできるようになる

http

s://xr-hub.com/wp-content/uploads/2019/02/gif-32-2.gif

マリオ64のラジコンが出る

 

引用元: 【AI】Microsoftがたった13億のパラメーターでGPT-3.5超えのパフォーマンスをたたき出す「phi-1」を発表 [oops★]

新着情報


2024年4月23日
NEW! エアコンの正しい切り方教える

2024年4月23日
NEW! 公務員「30歳で年収500万です」←この薄給が嫉妬される理由

2024年4月22日
NEW! 【画像】あのちゃん、最新のメスガキショット

2024年4月22日
NEW! 【画像】創価大学のJDがこれwwwwwwwww

2024年4月22日
NEW! 【芸人】カズレーザー、国民年金延長案に「ナンセンス…若い子からしたらこれ何のため払ってるの?って」

2024年4月22日
NEW! 小学校PTAで600万円の使途不明金、会計担当の行動に疑義…東京・大田区

2024年4月21日
NEW! マイナカード取得も4割携行せず デジタル庁アンケート

2024年4月21日
NEW! 【ゲームセンター】ゲーセンにあるのが「クレーンゲーム」ばかりな謎 ビデオゲームはなぜ消えた

2024年4月21日
NEW! YouTube「広告ブロッカー使うやつは使えなくしてやる!」←使えなくなってるか?

2024年4月21日
NEW! 子供「学校終わったら俺ん家でファミコンやらね?」←今の子供は絶対ないらしいな。

2024年4月20日
就活生「いなば食品に総合職で内定!」 いなば「あなたは実は一般職でしたー」

2024年4月20日
Apple幹部「Macのメモリは8GBでおk。ほとんどのユーザーは16GBもいらん」

2024年4月20日
【朗報】全ゲーマーが待っていた究極のゲーミングマウスパッドついに発売

2024年4月20日
【悲報】ワクチン2億4000回分を破棄…6600億円の損失を計上

2024年4月20日
経済評論家「GAFAMは終わった。これからはMAAANの時代になる」

2024年4月19日
コストコでまず色々買います。そしてそれを自分のお店で少し高くして売ります 大反響になります

2024年4月19日
【株価】日経平均一時800円超下落、3万7300円台で推移

2024年4月19日
【千葉】「免許返納したのに」「年寄りへ配慮ない」 利用者困惑、小湊バス大幅減便で 平日26→1本の路線も

2024年4月19日
中古のレクサスって安くね?

2024年4月19日
ランクルが盗まれまくってるらしいけど

2024年4月19日
【G7のパスポート保有率ランキング】日本は17%で最下位!…世界最強パスポートなのに 77%の1位はどこ?

2024年4月19日
【悲報】若者が多い街ランキング1位原宿、2位新大久保、3位下北沢、4位渋谷、5位池袋。渋谷オワコン [389296376]

2024年4月18日
【経済】「月収100万円超の同僚も多い」32歳タクシー運転手は半年足らずで月給60万円に。家賃21万円の4LDKに引っ越し予定

2024年4月18日
【速報】男、全員こういう部屋に憧れてる

2024年4月18日
大沢あかねの“美人化”が止まらない、おぎやはぎ矢作が劇団ひとりに「なんかあったのか?」

2024年4月18日
【訪日観光客にとってお得感が強い日本】サイゼリヤの高品質と低価格に仰天! 「なぜこの味でこんなに安くできるのか不思議」 「物価が抑えられているすばらしい国」

2024年4月18日
【リクルート1万人調査】働く人の平日ランチ代、外食1243円で4年連続増

2024年4月18日
【衝撃】東京よりも名古屋の方が豊かで裕福な生活をしていたと発覚・・・東京よりも5万自由に使える [389296376]

2024年4月17日
【岸田総理】「資産形成で豊かな人生を」投資詐欺の犯罪者「確実検挙プラン」6月策定へ

2024年4月17日
【画像】橋本環奈(25)のスタイルが凄いwwwww

おすすめの記事