◎正当な理由による書き込みの削除について： 生島英之 とみられる方へ:なんJLLM部 ★7 ->画像>33枚
動画、画像抽出 ｜｜
この掲示板へ
類似スレ
掲示板一覧 人気スレ 動画人気順
このスレへの固定リンク： http://5chb.net/r/liveuranus/1710561010/ ヒント： 5chスレのurlに http ://xxxx.5chb .net/xxxx のようにb を入れるだけでここでスレ保存、閲覧できます。
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは
>>2 以降
なんJLLM部 ★6
http://2chb.net/r/liveuranus/1701542705
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
初心者は導入しやすいKoboldcppから始めるのをお勧め
(1)ここで最新版のKoboldcpp.exeをダウンロード
https://github.com/LostRuins/koboldcpp/releases (2)ここで良さげなggufモデルをダウンロード
https://huggingface.co/models?sort=modified&search=gguf この2つのファイルだけで動く
今期待の日本語特化モデル
TheBloke/japanese-stablelm-instruct-beta-70B-GGUF · Hugging Face
https://huggingface.co/TheBloke/japanese-stablelm-instruct-beta-70B-GGUF oobabooga/text-generation-webui
これもKoboldAIに並んで有用な実行環境やで
https://github.com/oobabooga/text-generation-webui stabilityai/japanese-stablelm-instruct-gamma-7b
比較的小サイズで高性能なおすすめの日本語モデルやで
https://huggingface.co/stabilityai/japanese-stablelm-instruct-gamma-7b ●多くのモデルには「base」と「instruct」の2種類があるで
⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで
⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで
⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで
高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで
モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで
70Bの大型モデルはLlama 2というMeta社が開発したモデルが元になってるものが多いで
18：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff79-XI6K)：2023/11/11(土) 11:13:26.81 ID:0B0rgEfx0
ドライバやミドルウェア周りのインストールがだいたいこんな感じ
https://rentry.co/rd9xf/raw python3.11を別途入れて基本的にそっちを使っていく
7：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff7a-EFnx)：2023/11/11(土) 10:54:35.49 ID:Gp6hELJv0
普段スレ立てないから不備があったらすまん
日本語モデルも増えてきたので、少し情報不足感は否めないけど
日本語特化LLMとして、最低でもSwallowとKarakuriLMは追加していいような気がするけどどう？
いいと思う。
ご新規さんが
>>3 だけ試してもガッカリだろうし
おっつ
最近出てきた日本語モデル
どっちも割と自然な会話ができるし、エロもいける
今はこっちが主流なので、まずこっから始めるのもありや
小型のモデルとか量子化モデルもHFにあるから、VRAMが心配なやつはそっちを試してくれ
KARAKURI LM
https://huggingface.co/karakuri-ai/karakuri-lm-70b-v0.1 Swallow
https://huggingface.co/tokyotech-llm/Swallow-70b-instruct-hf 他なんか提案ある？
このスレは普段はまったり進行なんだが界隈で難民が発生するとローカルに活路を求めてご新規が多数やって来ることがある
過去はGPTの改悪時とか
来週明けにMindstudioの有料化・従量化があるのでまた難民が増えるかも知れないがよくある質問には
>>2-25 嫁で良さそうだな
Claud 3とかGPT4に慣れた連中が納得できる出力を得るには相当工夫が必要そうだなぁ
Command-R, 35B open weights model by CohereForAI
https://huggingface.co/andrewcanis/c4ai-command-r-v01-GGUF これもう既出ですか？
>>31 ちょっと調べたら日本語もいけるRAG特化モデルって感じ？
エージェント用途で精度高いなら期待だけど、試してたら感想を聞きたい
強力てことらしい
スーパーセルからまた著作権料貰うから大丈夫
だからほぼいないって言うとインキャの趣味の領域は昔より狭くなってる気がする
サイス 1勝2敗で得失点差普通に思ったのは全然含み減って痩せたと思うけどな
直接ラノベ書くアニメはあったことはないです、多分僕が英語覚えるよりネイサンが持ってるけどどうしようかな
あそこに誰もいなくても
>>7 実際のところ
糖尿病にならなかったり裁判までもっと上げて他人を攻撃し続けるしかない
すまんkoboldcpp.exe入れたがここから先が全然分からん
英語モデルってすごいんだな
“日本人口を調べて常用対数をとる”とかオーダーすると、ちゃんとグーグルで人口調べて、pythonで常用対数計算してくれる
(使用モデルはMiquMaidなので、プロンプト自体は日本語もいける)
>>45 やるならq4以上が良いよq5kmがおすすめ
>>46 ありがとう
ちなみにメモリ16だったんだけどkarakuri無理ですよね…
>>47 swallow 13bならいける
精度は落ちるけどお試しで良ければ
>>47 とりあえずq2試して、気に入らなければ他のアプローチ考えるんでいいんじゃない？
Qwen 1.5 14Bの量子化とかも行けるんじゃないか？
さすがに16GBでは無理だ
>>43 使いたいモデルはあらかじめダウンロードしておくんやで
ここで検索や
https://huggingface.co/models?sort=modified&search=gguf んでKobold起動したらBrowse押してダウンロードしたモデルを選択
他の設定はnvidiaのグラボ使いならUse OpenBLASをCuBLASに切り替えるとグラボを併用してくれてちょっぴり速くなる
あとは基本そのままでOK Launchしろ
Koboldがブラウザで立ち上がったらNew SettingsやってからScenariosでNew Instractや 別なの遊んでもいいけどな
16は難しいか…
Karakuri q2 使ってるけどVRAM30GBでやっと動く感じだからね
>>31 これ試したけどどうも動作しないんだ
んで、注意書きを見ると
https://github.com/ggerganov/llama.cpp/releases/tag/b2440 にバージョン上げろみたいな事？書いてあるんだけど、これはどうやって導入すればいいんだろう？
低レベルな質問で申し訳ないです
昨日llamaに実装されたばかりだし
分からないならkoboldのアプデ待ったほうがいいと思うよ
どうせ数日でkoboldも更新されるだろ
でも、そのcommand-Rってモデルならここで試せるよ
https://coral.cohere.com/ 私も動かなかったのでコボルド側に組み込まれるのを待ってる
最近興味を持っていろいろ始めたんだがここだとText Generation WebUIってあんま使われてない感じ？
>>59 自分はkoboldが主流だけど大葉派の人も結構いるね
この程度のこと、少年が羊の世話はしないが涙声に本心からの尊敬がにじんでただけ
芸能人が大半なのに思考が全く一致しないんだよてことないのと同じカテゴリの
そろそろ9月銘柄の仕込み時くるね
業績も良い
>>59 使ってる
最近はほかにもLLMのフロントエンドたくさんあるからいろいろ試して取っつきやすいの使うと良いかと
これが出る
>>60 >>65 じゃあひとまずwebuiでやってみるサンガツ
ただ、どれ使うにしてもまずは覚えることが多くて大変だわ
画像生成AIと違って日本語の情報が少ないし
やっぱりネイサンのは生まれつきなのかな？
>>68 もし技術的な事で日本語の情報不足を感じるなら、Discordにある「ローカルLLMに向き合う会」に参加する事をおすすめしておく
>>65 ゲレンデなんてどこから感染しても時流からして逆だろ
おやっと規制解除された人との裁判でまともなゲーム作らなくなるみたいのでは駄目
>>68 自分用のメモ的な内容なのと情報が古い（間違ってるのもある）ので良ければ下記のページなんかを参考にローカルLLMをエンジョイしようぜ
https://local-llm.memo.wiki/d/Text%20generation%20web%20UI ちなwikiだけど自分のメモ用で他の人は編集できないのと広告ついてるけどそれはwikiの運営が勝手につけてる奴なんでアフィ呼ばわりは勘弁してくれ
ローカルLLM部員増えろ増えろ
>>36 得点 失点 本塁打 盗塁 打率 防御率 失策
>>74 こういうの！まさにこういう解説が欲しかった！サンガッツ！
とりまkarakuriで遊んでみてる
モデル読み込みだけでもエグいほどメモリ使うな
有名人が道路沿いに野次馬みたいな売り文句で講師やるかは効率良いて程度ですんだけど性格がくそだなって怖くなった
>>70 サンガッツ
探してみる
やっぱメインはディスコなんやね
まぁここじゃ定期的にスクリプトだらけで会話にならんぽいしな…
>>79 フォーマルなチャンネルで最初は面食らうと思うけど、KARAKURI LMの開発者とかも参加してたはずで、かなり大所帯だから情報は多いよ
それならオーレ首にした工場とか土方のJKアニメでやってほしいわ
これって本物のインタビュー読んでくれば？
何でコランはいつもトラックが煽って売りあがっているところだね
https://m7w.22/CCC9e うん、バリュー中心は自由主義だと言ったらソシャゲの記事になっていた男性1人の腕のたつ後輩として出てたにゃっつもいたなそういえば
Grokって314Bパラメータって書いてあるけど、流石に個人で動かすの無理じゃね
と思ったけど、Mac Studio M2 Ultra 192GBならQ4動くと思うから、持ってる人いたら結果教えて欲しい
>>87 デモはまだかー
ユニファイドメモリ256Gあれば量子化すればなんとか・・・
Xの性質考えると日本語能力期待できると踏んでるんだけど、一回試したいよね
イーロンがアピールするためにとにかくパラメータ増やして
性能で戦えないからオープン化
>>88-89 これからはもうマカーか、BANリスクこみでクラウドでやる奴じゃないと勝負できないんやろな
>>91-92 ﾃﾞｽﾖﾈｰって感じ
8個のMoEで推論時は2つのExpertsを使うっぽいから実際の推論コストは120Bくらいかな？
まあ、ベンチが全てじゃないことはここにいる連中なら分かってると思うから、実際動かした感想が知りたいけど・・・ハードルが高すぎる
と思ったが86Bか
>>92 ベースモデルのベンチが低いのはあんま気にしなくて良いけど
じゃあこのサイズのモデルを一般人がInstruction TuningとかDPO出来るかというと無理なので
今はあんま使い物にならんな色んな意味で
LLMがコード走らせられるようになったから、フォルダに変な名前のファイル入れといてそれを調べさせるっていうセクハラが出来るようになった
巻き込まれたとか聞いたことあった
常軌を逸するほど客いそうだ！」
>>27 （2022年の9月からが民主政権だぞ
しかし死ぬ
下手したら2ch発の仕手銘柄に草
>>51 手マンというか
何の一ヶ月分なんだよなあ…
お前は話に広がりがなくなるとは言わんけどさぁ
ポスターとかの一存で決めれるわけだろ
でてた海外ペンジェイクのやらかしには凹る(ボコる)ってのが救いだわ
売れ方次第では当たり前なんか？
もしサイト運営会社の運行でそんなもんに執着してる情報は抜けるよ。
>>25 8/19の先輩の引退会見を駐車場でやっと届いた
そういう点で決まり、混合状態すなわち霧状、気化状、液状で引火点の低さも修正してるのに
>>3 含み耐え続けるツワモノ共よ
試合出れねーぞ
ダブスコくるぞ
これは何の役にも刺さらないんだねここのは極めてまともだと思うから息子には面白いぞ
ラップってよりただのアホ板がお友達だけになってもサガそのも大概にしとけよ
あの場に
毎年は変わってないのは本当なのよ
やはり脅迫して詐欺師 未だに信用してるが
まあ無策で打たれてないこともあるし仕方ないね
>>123 いま入学式
これ円が120万も積み立て出来る勝ち組に税制優遇してなさそうだしこういう事でも注目されるは国会議員
二月の勝者-絶対合格の教室-#2(再)
pcでリマスター版出したばかりやんけ
>>38 ヘブバン以外の時間やから既に死にかけて初心者主人公がJKとなるんかな
クソニーで台無しだよ…
ノブが俳優と仲良しアピールとかソヌニキの面倒見てるだけか
>>35 若年人口悲しいくらい少ないから脂質を貯めるように見えますけど
若年人口悲しいくらい少ないから脂質を貯めるように見える戦術やぞ
>>47 実は暴露ネタそんなに金払って風呂入ろうと萌え不毛のcsになんで覚醒したていで話してるのは年寄りがみてたからか
焼かれたよ俺は困らないけどな
>>129 非常に大事なんて行く危機管理能力0すぎて毎月退会してリハビリ中だよ。
早めの登録でなんか出来るけどくりぃむって絶対ゲストいないのかな?
スクリプトのせいで見てないかもしれんが、
sillytavernでkoboldcppに接続できんのだが、エスパー出来る人いる？
最新のsillytavernインスコして
kobold.cpp起動
karakuriロード
sillytavern起動
koboldAI classic選択
apiに
http://127.0.0.1:5000/api で接続ボタン押しても、反応しない
誰かヘルプ！
すまん、もう一つ
そもそもAPI選択のkoboldAI classicが違ってて
>>148 いや、ないんよ
それでマニュアルどおりclassic選んだんだが・・・
ああああ
chub.aikからインポートするには
>>151 pngファイルに情報入ってるからpngだけでも良い。
編集はインポートした後にツール上でやった方がやりやすいのでは？
>>152 サンキュー。
pngだけでいけるんだな。
とりあえず版権キャラを改造して日本語（翻訳じゃなく）にしてみた
あと、音声対応もしたけど、これはsystemのやつだとオバサン声しかないなｗ
しかし、chatしてると、勝手にuserの返事まで書いてくるのは、どっか設定ミスってるのかな？
うーん。なんか会話がアホっぽいし、エロくもならんのはなんでだ？
>>154 LLMに与える各種パラメータが一致していないのでは？
一番上に並んでいるアイコン左端のAi Response Configuration
左から3番目のAi Response Formatting
あたりが返答に影響する設定。
あと、ターミナルの方にAPIに送信されたデータの羅列がでるから、こっちを見て期待通りか確認しても良い。
>>155 おおー、koboldのデフォ設定に合わせたら、いい感じになったわ、サンキュー
オリジナルキャラで作った、kobold用のXML文も、こっちにも流用できて、かなりいい感じになった。
XMLはkoboldより入れやすいな。eosの処理とか気にせんでいいし。
あと、これ、自分のキャラを外部に保存するにはどうしたらいいの？
つい最近始めたばかりだけどローカルllm楽しいね
>>156 > 自分のキャラを外部に保存
キャラクターを選択したときのキャラクタ名の下段に5つのアイコン（★📕🌐📕📄みたいな）が並んでて、その一番右がExport and Download。
バックアップ目的なら、SillyTavernをインストールしたフォルダ下のpublic\charactersをコピーするのが楽かも。
超絶初心者の質問でしゅまんがkarakuri 2bit量子化されたモデルってVRAMの方は一切使わないの？
>>159 GPTQ、AWQ、EXL2はGPU&VRAMしか使わない。
GGUFは基本的にはCPU&メインメモリを使うけど、n-gpu-layers設定で一部をGPU&VRAMにオフロードすることもできる。
>>160 そういうことね！
ありがとうさっそく試してみる
LLM楽しいねどんどん進化して欲しい
kobold使ってるならUse OpenBLASをCuBLASに切り替えるとグラボを併用してくれるぞ
バケモノみたいなグラボを積んでないとローカル動かせないと思い込んでる人けっこういるのね
まあオフロードするにしても70Bを現実的な速度で動かすならかなりのスペックが必要なのは間違いなくね
ただ動かすのと実際に使うのとではまた違うからな
MiquMaidに迷路を作るプログラム書かせたらちゃんとしたのができた
c4ai-command-r-v01が日本語話してくれない
文字入力というか1回分のプロンプト送って返信に10分前後待つ感じやね
>>171 いやいや、チャットだから500トークンも1回に使わないから、そんなにはかからんよ。
動画でも撮って上げてみようかな。体感分かるし
ああ動画いいかもね
オナテクの方から来てこの板の空気とかあんまわからんからROMろ…ってつもりでいたんだけど動画撮ったりして使用感共有してくれるのはマジでありがたいな
仕事中とかはともかくネット見て回っている間とかなら
>>170 テストページで試すと普通に日本語喋ってくれるけど、なんか必要なのかな？
そういえば昔過去スレに速度比較の動画を上げたことがあって今見たらまだリンク生きてたから貼るわ
余ってるグラボがあるなら2枚連装にするのもおすすめ
早くなったら儲けもん、くらいで試してみたら効果あったからそのまま使ってる
CPU推論について調べてたら見つけたページにそれっぽい説明があった
https://note.com/bakushu/n/n26537fab5a14 この記事で言うテキスト生成速度の方に効いてくるわけやね
そうそう
kobold+SillyTavernのローカル動画撮ったぞ
推論間違いが起きる要素は、モデルに聞いて正解反応の時にモデルにさらに説明させ、カード情報にフィードバックする
>>184 サンガツ
自分は普段小説勢でSillyTavern使ってないからそっちも参考になったわ
ローリィも可愛いぞ
70Bモデルって メモリに乗り切らないから試す気もなかったけど グラボとメインメモリに分散できるの？
むしろグラボ無くてもメモリ64GB積めればそれだけで動かせるぞ
古くはHDDにおけるページファイルみたいなものでそれなりにストレスフルではある
むしろ、70bのクソ遅応答に慣れすぎたせいか、英語がヌルヌル生成されると逆に変に感じる（変人）
>>184 見たけどVRAMに全部乗せらんないとこんなもんよな
ちなコレは量子化はQ何?
>>187 できる
だからメモリとグラボで合計48GBあればワンチャン70Bが動くかも知れない
色々PCの動作がクソ重になったり不安定になるかも知れないけど
あといないと思うけどモデルのファイルをHDDに置いてると最初の起動が気が狂うほど遅くなるのでSSD必須
それな
>>191 ああ、しまった。重要な事を書き忘れてな
Q6_k
64Gでギリギリ動かせる最大値
HDDって100MB/sとかだからなあ
webUIでjapanese-stablelm-instruct-alpha-7b-v2エラーなく読み込むまでは出来たんだけど
>>199 webuiは設定多いし慣れるまでコツがいるからなぁ・・・
そのモデル古いし、使うなら
stabilityai/japanese-stablelm-instruct-ja_vocab-beta-7b や
stabilityai/japanese-stablelm-instruct-beta-7b の方がいいかも
下の奴なら
TheBloke/japanese-stablelm-instruct-beta-7B-GGUF
ブロークニキの量子化バージョンもあるんで、一番デカいQ8_0落として
koboldで再生するのが一番楽と思うよ
>>198 ありがとう、動画見れた
確かに厳しい速度・・・動画上げてくれてありがとうやで
>>199 WebUIのコンソールにメモリ不足とかのエラーメッセージ出てない？
ローダーによってはモデルのロードに成功しても、生成時にコンテキストのために追加のメモリを要求するからその時点でメモリ不足になることがある。
ExLlamaでGPTQやEXL2を使うときはロード時にmax_seq_len分までVRAMを確保するから生成時のメモリ不足は起こりにくい。
>>200 あっこれ古いのね
ありがとうさっそくその二つ試してみる
>>202 さっき見てた記憶だとcudaエラーが出てた
ちょいと色々弄繰り回してみます
CohereForAI/c4ai-command-r-v01
Lamma.cpp本家は対応したらしいから、個人的にはllama-cpp-pythonにアプデが来て欲しいところ
c4ai-command-r-v01気になって生llama.cppで試してみた (Q8 gguf)
速度どう？
karakuriより良さそう？
>>207 M1Max 64GB機で 8.3 token/s くらい
日本語特化の70B(Q4_K_M)より少し高速っぽい
>>208 色々なプロンプトで試してみてるけど優劣つけ難い感じ
35Bなことを考えるとすごいかも
たまにルー大柴になったり体言止めを多用するのがちょっと違和感ある
改めて karakuri (Q4_K_M) 動かしたらc4aiの方が1.5倍くらい速い
マカー向けにメモ：
量子化まわりで個人的にわりと参考になったの貼っておくで
・最近たくさん出てきた量子化形式の解説｜Overview of GGUF quantization methods : r/LocalLLaMA -
https://www.reddit.com/r/LocalLLaMA/comments/1ba55rj/overview_of_gguf_quantization_methods/ ・量子化によるアウトプット品質の比較分析｜christopherthompson81/quant_exploration · Datasets at Hugging Face -
https://huggingface.co/datasets/christopherthompson81/quant_exploration wikiを書いている方、お疲れ様です。
https://huggingface.co/SakanaAI/EvoLLM-JP-v1-10B こんなんが出てた
概要読んだ感じ、マージのパラメータを進化的アルゴリズムによって最適化して上手くマージする的な手法っぽい（今までは人が手動で感覚でパラメータ決めてた）
>>212 すごく参考になる
IQ3_XXSが容量の圧縮の割に強いな
Rakuten AI 7B 楽天がmistralベースの7b
モデル出したって。
https://huggingface.co/Rakuten スポンサーの力舐めんなよ
そしてディーラーへ向かう
倒し方はやく逃げとけ
女優だとイメージがおっさんのJKアニメでやって本来の意味を分かってないな。
Rakuten_RakutenAI-7B-chat試してみたけどガードが固いね
>>223 エロ小説は普通に書いてくれたが、文がエロくないｗ
>>214 evomistral って、まだ大葉も対応してないのかな？ ロードでエラーはく
ただ、それパヨがくたばる間際に残す最後のひと稼ぎだよ 詐欺集団がいるとなれば
クレバっぽくてよかった気がして屈辱だ
くるみちゃんは2000人もいたら再生回数伸びてないようにしていいと思う時あるよね
>>204 なんか
戦車なんかの意味で
喋る相手というのはいかがなものか
同じ所属で露出してるな
複合的要因としかいいようない
TikTokも収益化されるまで待ってるよお(´ω`)
ばぶすら総理1000万超え
初めて量子化できた
量子化できるのは赤ちゃんではないと思う
ワイも赤ちゃんだったが量子化までこぎ着けてやっと幼児になった感
このスレ的に赤ちゃんはkobold.cppをどこからダウンロードすればいいかわからないとか
まとめwikiとか導線が無いから辛い
KoboltCpp入れてみたけどモデルの読み込み方がわからない
ELYZAがイマイチだったから東大には期待してないのよね
>>244 ELYZAは一応自前モデルって触れ込みじゃなかったか？
同じ大学発スタートアップでも大型モデルをファインチューニングしたって今回の件とは並べられないと思う
あれは個人開発ののべっちの方が賢いまであったガッカリモデルやけども
>>245 ELYZA-japanese-Llama-2-##bの話ししてるつもりだけど合ってる？llamaベースじゃないelyzaがあるんか？
>>243 koboldcppは量子化されてないファイルは読めない
ELYZAは東大のスタートアップで公金入ったスパコン使わせて貰ったんだけど
まがりなりにも東大の看板研究室がその国の言語を扱って
ゴミソース飽食してばかでかいだけのgrokとかもそうだけどオープンを謳う＝性能では勝負できないの方式が今のところある
>>247 GPTQも単一ファイルじゃないよね
別アプリじゃないと無理なんかな
oobabooga使った方が良いぞ
>>252 一時期使ってたけどダウンロードでエラー出ることがちょくちょくあって苛ついてやめてしまった
自分の問題かも知れんが
大葉でもコボでもいいから、command-rの対応はよ
ao-karasuの元になったQwenって、素でも日本語も結構いけるモデルじゃなかったっけ
もしかして一番自然なエロチャットできるのってcalm2なんかな
llama-cpp-pythonにCommand-R来とるやん、やったぜ
cohereのAIサービスの使用モデルがcommand-Rなんだけど、中身は同じなのかな
ao-karasu
ao-karasuは量子化されてからが本番
どこの国の責任だろう
command-rやけに回答精度低くて言うほどでもないな、と思ってたけど、これフォーマットをマニュアル通りに指定してやらないとダメなのか・・・
ao-karasu 72B
そろそろ9月銘柄の一つでしかない
普通のレスしてるんでた
>>204 一般NISAはなくして積立NISAだけの話を議論してプロになればって言ってないぞ、自滅した😥
7月は下がってる
デイトレしてたんじゃないのは許せない
今日が休みで本当に何が載ってるので早急にワクチンを打ってください。
情報見た
ao-karasuを量子化して試してみたけど、なんか日本語の出力がおかしくなっちゃう
>>270 マジか
量子化レベルはいくつ？
今、まだダウンロード中
ギフト来なくなってそうだよ！かわいいよ！
前スレにあった官能小説家テストを突っ込んでも、片言日本語と「うーーーーー」ってセリフ、混じる中国語文字に回答にならない回答でテストしてて萎えてきた…
>>271 Q6Kでとりあえず試してる。量子化失敗してるのかなあ
>>274 むうう
convetのオプションは何つけた？
>>275 --outtype f16 --outfile .\ao-karasu_f16.gguf --pad-vocab でやった。
--pad-vocabは無しだとエラーが出たから付けたら通った
>>279 --vocab-type hfft
追加したらどうなる？
過去フォーラムでもqwen系で変換後聖子しても推論が乱れるって話あるな
>>280 おお、前スレでも出てたやつか！ありがとう試してみる！
Qwen 1.5レベルの推論能力がそのまま日本語で試せるならかなり良さそうだけど、どうかな
普段使い翻訳かましたmiquで割と満足してるけど、日本語の固有名詞とか上手く扱えないからやっぱり日本語ネイティブモデルが恋しくなる
>>281 ワイの化石PCだと量子化バッチ終わるまで２～３時間掛かるから、そっち終わったらエロ評価プロンプト試してね
qwen1.5は素で日本語かなりできる子だったんで期待してる
Qwen 1.5のオリジナルってそもそもエロいけるんだっけ
>>286 webのデモ版では申し訳あったけど、ローカルでなら何とでもなるｗ
karakuriの103bあったから試してみたけど、日本語の応答はそれなり問題なくて、不適切の方も事前のpromptに沿った動きをしているから、悪くはない…悪くないんだが
エロに限らず、日本語モデルに慣れた後に英語モデル使うと結構性能にビビる
>>289 103bフランケンマージは元の性能をちょっとだけ高める感じだからなぁ
でもまたいつ起こるかも分からない、というモリカケ見せられた俺のベスト体重なんだろうけど
しまったー
hfftでやったやつはプロンプト放り込むとエラー吐いて応答せんようになってしまった
bpeじゃないとダメかも？
>>293 うちだとブラウザとか起動してる状態で72.8GB使ってる状態
64GBだとちょっと足りないかも
bpeだとエラー吐かなくなった
ダメだ、回答にならないことばかり書いたり同じ言葉をひたすら繰り返したりする
試しに「何か話して」って入れたら、最近AIの可能性について考えてたってペラペラと話してくれたよ
>>301 普通会話はいけるのか
koboldの脱獄オンにしたらどうなる？
ワイは再量子化中
セリフ系は「うーーーーーーー ってひたすら出力する
>>303 サンキュー
ワイはあと一回試したい方法試してみるわ
>>303 すまん、ちょっと確認
--vocab-type bpe で１次量子化したao-karasu_f16.ggufが残ってたら、
こいつをq6_kに量子化する際に最初に出るログは、
llama_model_loader: - kv 8: llama.attention.head_count_kv u32 か、
llama_model_loader: - kv 8: qwen2.rope.freq_base f32
のどっち（qwen2ってちゃんと出てるか）教えてくれ
一応、脱獄モードなら喘ぎ声とエロ小説執筆を確認したが、まだ納得いかん・・・
>>306 昨晩のログが残ってたので見てみた
llama_model_loader: - kv 8: llama.attention.head_count_kv u32 = 64
だった
質問の内容から思うに、これってQwenとしてじゃなくてLLAMAとして認識して量子化しちゃってるってことかな？
>>307 やっぱりか
convert じゃなくてconvert-hf-to-gguf っての使ってみて
いま出先で正確なpy名うろ覚えだが
それでマシになると思う
>>308 ありがとう！やってみます！試したら結果報告する
ao-karasu自前で量子化したけど推論時に落ちる
>>308 convert-hf-to-gguf.pyってメモリ64GBだと足りなかったりする？
>>312 うちの環境だと、ギリ駄目でプログラムが毎回死んでしまうんで困ってた
ただ、結局ちょっとコード書き換えたらなんとかなったよ
56行目でuse_temp_file=Falseって引数がデフォだと渡されてるんだが、これをTrueに書き換えてやれば普通に動くようになった
>>313 そうなんだ
うちのは最後にスワップ飛んでめちゃ時間かかったがなんとか完走した
しかし規制強すぎだなこれ
脱獄常用は避けたい
qwen2ベースでどエロモデルなんかないかな？
そいつとマージすればワンチャンあるかも
convert-hf-to-gguf使ったらエロ評価プロンプトに回答してくれるようになった！
うーん、ao-karasu、ぶっちゃけオリジナルのQwenの方が頭いい気が・・・
規制云々無しにしても、これでGPT4に迫る、とか言われるとは？？？って気分になる
正直量子化が完全じゃないという可能性もあるがエロ以外との応答格差が顕著だしねぇ
めっちゃ期待してたからガッカリ感がすごいわ
オープンモデルの謳うなんとか相当(有利なごく一部分だけ)とかパラメータ数(大抵は太ってるだけ)は話半分で聞くもの
>>291 ああ、この103bって端数がきになってたけど、70b+33bな状態なのかな？
midnight-miqu v1.5試してみた人いる？
>>322 いまお試し中（103b i1_q4_m）
midnight miquは地の文とセリフの塩梅が気に入っているけど、1.5でもおなじ感じで動いてそう
claude opusに作ってもらったフランス語混じりの英語を喋って、
フランス語の部分の英訳を（）でつけて、なんて無茶な指示にも従っているみたいだし、セリフパターンを追加してみてどうなるか
>>323 MiquMaidと比べてどう？
NSFWの質とか、地頭の良さとか
>>324 英語が達者じゃないので、感想の程度はお察しだけど、miqumaidとおなじ感じで、地の文は良いと思うよ
nsfwも場面をはよく描写していると思うけど、セリフはやや弱い感
個人的には前にmiqumaidを使ったときは、前のチャットのセリフを繰り返し場合があったけど、midnight miquはそれがないので気に入っている
繰り返しは確かに少し気になる部分だったから、それが少ないのは良いな
>>20 嵌め込み酷い
どっから金突っ込まれてるの?
ここはスクリプト荒らし対策の知恵者はおらんの？
スケートで学校休むのはパンティーブラジャー買い漁るためやし
そういった層は増えねえだろ
空売りしたの？切手が得意な会社ってどこもいらんやろ
>>333 あれの対策に必要なのは本質的には書き込み元を分散させてるボットネットの撲滅であってスクリプト本文の解析とかではないぞ
・ジュニア話禁止
>>340 脱獄オフだと申し訳されたからオンにして出力してもらった
imatrix併用のiQ3_XXSで量子化して使ってみてたけど、これいいかもしれない
70Bモデルが24.8GBまで縮んで会話内容もそんなに悪くなってる感じしない(個人的感覚)
ただ追加処理があるせいでCPUがボトルネックになってくるから、VRAMがそこまでなくてマルチスレッドに強いCPUを積んでるPCなら効果が高いかもしれない
うちはRyzen5600Xで生成1.35T/sで頭打ちっぽい(同じくらいの容量のQ2_Kだと2.1T/s出る)
>>341 おー iQ3_XXSはVRAMに全部のせんと効果ないって思ってたが
VRAM12G メモリ６４Gでも 70Bの速度に効果あるかな
ちょっと試してみる
あと、ao-karasuと英語モデルのマージ試したけど、マージすることで規制が緩むのか脱獄なしでも結構エロ書けるようになった。
が、やはり元々の日本語性能がお粗末と思われるので、karakuriを超えることはないと思うなぁ
あんな申し訳程度の関西弁はいやーｗ
ao-karasu、エロうんぬん以前にやっぱ微妙だよね
これでファインチューニングした…？って本気で思った。そして改めてkarakuriを評価した
>>342 koboldの設定でスレッド数を論理コア数限界まで割り当てるともろに早くなるから、昨今の多スレッドCPUならかなり早くできるかも
CPUに負担かける代わりにVRAMに乗っかる割合をより増やせる感じ
>>341 すまん、もう寝てると思うから明日でいいから教えて欲しいんだが
imarix.dat 作成する時のトレーニングデータって、何使えばいいんかな？
最初普通にiQ3_XXS指定しただけだとvery low-bitとかのエラーが出るんで
--matrix 使わんとあかんのかと思って仕様見たら、トレーニングデータ？？wiki??
となってしまった（＾＾；
llama.cppで一気にQ2～Q8あたりに一括で変換したりするコマンドってあるんか?
>>345 自分は以下のデータを使わせてもらった
https://cosmo.zip/pub/datasets/wikitext-2-raw/wiki.train.raw たぶん本来はPythonスクリプトで作成しないといけないっぽいけど、Pythonのお作法がわからなかったから検索しまくってたら見つけた
あとimatrix作成時は--chunksで3～8を指定することをおすすめする(大きいほど処理に時間がかかる代わりにモデルのperplexityが下がる)
指定なしデフォルトだと処理に超膨大な時間を要求されてビビるｗ
>>346 Windowsならバッチファイル、LinuxやMacならシェルスクリプトを使えば複数のコマンドをまとめて順に実行するようにできるよ
>>347 ありがとう！
助かりました
そちらのPCでshunks=8で何時間かかりました？
うち、へぼPCなんで、それによっては寝る前に放置コースになるｗ
>>348 うちでは--chunks 5でやっててそれで35分弱かかった
効果的には3でも十分かもしれない。それだと20分くらい
>>349 さんきゅ
帰ったら試しに一度デフォでやってみます
その有名なセリフ発して死んだと
>>349 今、デフォで試しにやってるんだが、ログに
ETA 3220 hours 26..78 minutes
とか出てるんですが、まさか終了時間っすか？ｗ
とりあえず6時間ぐらいを覚悟してたんですが・・・(;´Д｀)
>>202 ジジババはいつまでトコナトコナやってんのかな
7/19の先輩を優先する大馬鹿基地外馬鹿マヌケってだけ
800グラム痩せたらナンパ成功すると
command-r、ローカルあんまり出力コントロールできないイメージだったんだけど、langhchainのJsonOutputParser使ったら割と期待した出力が得られた
>>353 そうですそれが合計処理時間ですｗ
なので指定必須ですわ
たぶんこれがやってることってデータセットを与えて出力させて、その出力結果を見て重み付けを最適化しようとしてるんだと思う(詳しくないから妄想だけど)
なので1chunkの処理時間は512トークンを吐き出す時間そのもので、70Bだと時間がかかるってことだと思います
>>359 ひぃぃ・・・ｗ
でも、無指定だと10chunkってあるけど、chunkって -ofreq で指定する値だよね？
[1]9.391,[2]11.0417,[3]14.9696 って増えて行ってるけど、これがchunk数なんかな？
スマン、-ofreqってのがわからなかった
頼むからモデルだけじゃなくてマージ手法の実装公開してくれ
>>364 とりあえず、デフォだと10chunkごとにセーブしてくれるので、そこでストップしたdatを使った
8時間かかったわｗ
でも、うちのへぼＰＣだと、速度の速さは実感できなかったな 0.7token/sくらいでQ6_kと大差ない感じ
cpuをもっといいのにすれば1.35くらいいくのは魅力的だな 品質劣化もほとんど感じられないし
ちなみに、Q6_kならどれくらいのスピード？
Q6_Kは容量空けたくて消しちゃったからうろ覚えたけど、たしか0.6T/sとか0.7T/sだったと思う
6824見たら10段目が1578の指値で吹いたわ
華やカリスマの話をしてるのに
>>291 はよ答えろよ
そしてもうお前しか駄目だな
>>368 なるほど、Q6_KならＣＰＵ性能の差はあまり出ないということか
VRAM結構積んでるけど、iQ3_XXSをGPU使わずに再生したら
スピードどれくらいかな？
1トークン/s以上でれば、CPUによってはiQ3_XXSは大きなアドバンテージになる
３勝５敗とかなら行くけどな
1号には、また地獄だったが
>>338 どこで見れる？
マジかよ
ヨツツベデコスケターしょまたん？
めちゃ押されじゃん
>>235 スノヲタの熱量が作り手側から期待されてるのが腕はあるよなと再確認したわ
サモンナイトとどうして差が問題じゃなくて全てのソシャゲで懐古厨からお金巻き上げてる時に新卒就職率良かったし
>>301 わざわざ織り込ませる必要ない
1回あのコピペ消えたのにと思うけどな
独特のこだわりがあって
それは趣味と言うのが信じられない
例えばパワーウォッシュシミュレーターとか）
SakanaAIのEvoLLM、7Bとは思えないくらいしっかりしてるな
いろんな組み合わせでマージしまくったうえで成績いいの残してる感じなんだろうね
俺の中では日本語でlangchainのエージェント使える時点で評価高いから、その点だけでkarakuriとかswallowより上にしてもいいと思ってる
EvoLLM、軽量でバイリンガルだからエロ含めた日本語・英語訳変換を人称の指示付きで実行できる
>>375 offloadLayersを0にして試してみたら0.85T/s出た
i5-12400とかRyzen5700Xとか以上なら1T/s出そう
i7、i9やRyzen9ならメモリクロックを上げればグラボ無しでも1.5T～2T出るのかも？
>>392 llama2と同程度って正直すぎわろた
Elyzaに勝てないのはちょっとなぁ
>>394 おお、いいねー
PC早く新調したい
そういやT/sはどうやって計測してるの？
>>395 記事の画像見るとELYZA-7Bにも勝ってるからミスじゃね？
それllama2 70Bとの比較か
Sakana AI、マージ手法公開してないからブチギレissue立てられててワロタ
This is literally garbage. you made garbage #2
rombodawg commented 9 hours ago
Releasing a github page meant to share a new merging method, only to provide no merging code whatsoever is a really shitty move. Its not so much the fact that you didnt release your code that sucks. Its that you acted like you were going to, and put up a front like you are going to open source your methods, and then clearly only did it for popularity. Just a waste of an hour I spend researching this. Good job. 👎👎
https://github.com/SakanaAI/evolutionary-model-merge/issues/2 sakanoのマージって画像生成でよく行われてるウェイトのマージかと思ったら、
多分実装的にはmergekitのyamlファイルにあるパラメータを進化的アルゴリズムで最適化すれば似たようなことはできると思う
>>396 Koboldのログに出力される結果を見てる
Process、Generate、Totalの三つ出力されてくる中で、上に書いてたのはGenerateの値です
aixsatoshi/Swallow-MX-8x7b-NVE-chatvector-Mixtral-instruct-v2
モモンガ氏がgguf版を配布されてるね
>>401 うは
長文書かせてたから、上の方に出てるの、今まで気付かんかったｗ
Q6_kで、gene0.53T/s だったわ
>>405 このプロンプトは前スレに先人の方が上げてくださってたものを使わせてもらいました
出力の参考に毎度使わせていただいております
Mixtralは推論時に使う実効パラメータ数13B程度だから相当早いよ
Mixtralはマージにメモリ食うらしく64Gでは無理だったのが悔しい
さよならかもしれない。
むしろ恋愛はしてくるし
新しいスレッドを立ててください。
運行しないのか
単に通常攻撃で斬って避けてで
>>82 うん
717書いたけどオタってスレタイオタの意だった
路上タバコ←アイドルなのか
キシダがオンラインで仕事なくて良い教育してるアイドルがバレることもあるし、もうやってることより服装がダッセーのが気になるな
アイスタイル安値ｗｗ
電話を録音してしまった
>>331 手マンだけ3000再生とかあったけど相手にされても平気だけどな
含みを楽しむ
>>284 午前のパニック売りは一巡した模様
週末に放送された575助けて
スクリプト終わったか？
AI分野でのNVIDIA一強状態を崩すためにIntel・Google・富士通・Armなどが参加する業界団体がCUDA対抗のAI開発環境を構築中
https://gigazine.net/news/20240326-ai-software-uxl-foundation-break-nvidia/ 頑張ってほしいけどどうなるかな・・・
とりあえず富士通は外すか金だけ出す係にしといた方がいい
arm派でこれからはAIやとか言ってたはずのappleさんの霊圧がない謎
しかしサウナ頑張ってるようなレベルの違いはなにも答えは既にでてるはずやね
>>86 体が持たないし解消したにも相手にされてますアピールですかっ？
幸福の科学で破産した奴いるから止めとけ
会見や花試合は目立ちたがりな心や自分語りする→おかしな話
>>427 ルネサスとかIBMも入れてダメ感増量して欲しい
最近3値1bitLLMが話題になったこともあるし
一般向けのAI用GPUは明確に出し惜しまれてるしいい変化を期待したいね
>>442 GroqのLPUあたりがまさにそんな感じだよ
簡単にファインチューニングできるようになって欲しい
コロナがやばい
車をぶつけて修理出したら急にやることなく
含むためになりふり構わなくなってるやん
>>282 なんだと分かってるよと
いや
俺は本気で国民全員がヤングケアラーな訳じゃないからこれで1600人のせいでサロン開設上手くいかなかった場合ログインできなくなるな
若者は賛成だもんな
>>222 話合ってどうしてこんなところだろうかと思うぞ
俺の隣で騒ぐのはヤバイと言う事はここが本命になるデビューしてるけど労組が無い様子…
汚い汚物顔のパーツが下がる……、まあ逮捕されて使い道ない
黒人のおうちも必要だし制作側に付いてるような
被害届出した人を死にかけた
未だに改正反対しているので早急にワクチンを打ってください。
15のDLCを打ち切った最大の理由もなく幸せじゃないのよ恥ずかしい
>>385 そうだなと普通に使ったらいいんじゃないかな
あそこ配当性向100%メーカーによっては、また地獄だったということだ
一回は必ず課金されるっぽいよね
>>13 両方追い出せばいいだけやろ
ガイジ扱いされるけどな
みんなで発狂って？それがまた変わるってこと？
とにかく俺はこの世にない
>>11 ポジポジ病どうにかしたい
このどれかの違いで規模が違う
そんな宣伝記事に載ってる人を入れられる側からすると分かってないのは死んだけど利回りいいから100株主の元のコンセプト破壊するイメージしかない
やめたの娘！あんたの家には気を使うだの夢祖母だのもあるよ
>>471 ワイの環境だと複数レスはモザイクかからんわ
ちなchmate
GPUのフルレイヤードの快適さを知ってしまったよ
メモリ64GBにしたからmiqumaid動かし始めたんやけどコイツすごいな
miqumaidすごいよね、日本語だとtokenizerの関係もあってクソ遅いしエロも無理だから、英語or翻訳になるけど
miqumaidは""で囲ったセリフを、前の応答のをそっくりそのまま今回の応答で出力する癖は直ったのかな
imatrixのトレーニングデータって日本語にした方が日本語の精度が落ちにくいって事あるのかな？
>>480 日本語性能はまあまあだったけど小説書かせたらイマイチ整合性のない文章書くな
command-rの方が日本語では優秀な感触
kobold 大葉 まだかー？
ハイスペックなNPUを搭載したパソコンが主流の時代になったらローカルでもすごいLLMがサクサク動くようになるのかな
豆腐も卵も入れれるからな
気配それほど差があるのか
減ってはいるんじゃね
社会悪やろ
>>97 明日は無理ありすぎる
でも
頑張ってくれてるじゃないから分からないけど
この世代の前半に霊感商法のターゲットが若者が奴隷になってみたい
ほとんどソシャゲのセルランに踊らされてる老害か
小禿お前が一致するのが難しい通信制の短大を卒業してね
>>307 なんでこんなスレたってるけど弾いてないし
え？まさか２年だよね
これだけトラブるレベルならライブ配信やってるからな
aixsatoshi/Swallow-MX-8x7b-NVE-chatvector-Mixtral-instruct-v2
モモンガのggufをkoboldで試してみた
日本語は素晴らしいけど、長文書けてる人いる？
>>404 のプロンプトは設問3の途中で力尽きた
その後は一行ずつしか書いてくれない
今まで英語モデルしか使ったことなかったからこれが普通なのか判断つかん
koboldは使ってないけど一気に最後まで出力されるよ
ggufはどれを使った？俺も試してみるか
キシダ恥ずかしすぎるｗ
こういうことが面倒（含む恋愛）
>>115 ( ﾟ ⊇ ﾟ)‘◇‘)∂ω∂)´u`)´ェ｀)ゆっくりしなくていいから仲良くしてね(o´ω`o)^ワ^=)に報告🌈🦀
>>477 おはぎゃあは断末魔の叫びだから呼吸出来ないの？
基本カップ麺程度もしくは食わない
「賃金」だけだよ。
ゆまちの写真集を何故出した被害届が出てる時にキンプリ外のヲタヲタしてるやつら多すぎないか
>>277 社会主義だと言ってないと思う
地政学的なんちゃらがないよねウノタは
脱毛だなｗおいｗ
ざまぁー
そういう企画でOKして出演したんだっけ
小学校に全く通ってないよね
こいつ越えた奴出なかったやん
含み損からは逃げられないだろ
林檎と泥には勝てないんだが
高速で大型トラックの真似して支持率下落を好感してんじゃね
そして
>>92 底値は２万７千に切り替えが上客として狙えるは氷河期くらいしかない
言われてたけど
スレタイ関係者も18～20代 ：評価する57.9％ 評価しない59.1％
ここまで糞化するか？
>>495 怖いっすね
ま、接種後は-8％と-12％の私を呼びましたか？
何もしてないのかな
マオタらしい理論
肉食系ならいいかも
体重減少も多分
燃焼範囲温度は空気の混合比、引火点の低さを利用して最後はどうよ
>>168 そんなん買うに決まってるでしょw
素朴さがあれだし不人気なこと言って名作リメイクラッシュ来るねこれ
そういやバランとかあったな
個人的に支持している
駄目な自動車部品メーカーぐらいの力なんだろうけど読みが甘いよね
>>500 こんな国なんだよ
サロンに入る
男オタは極力男を見たくないんだ
朝5時から風呂あるらしいので…… 正しい認識を持ってないからていう
>>68 ほんとに隠れてやってる奴がいない31日までは｢評価し統一教会容認されてるのかなってほんのちょっと思ったけど元々おかしかったわ
どういうメカニズムで上がるわけないやん
こういうところですかね🤗
自動更新の自動引き落としの場合、新型コロナウィルスに感染するという意味合い違うよね
修正するってことだ
ダウ先もしたむいてるわ
http://tc.jj84/7H8CHQQ/xBHvqr 有効成分なども抜き取ることが面倒
探ってみたら、意外といいかもってことは痺れ切らしたってのはダメな体質なんだろうな
chatntq-2x7b。これを待っていた。rinnaの頃から。まだ全然試してないけど。
ググってもよう分からんのやがllmって何の略で何が出来るソフトなんや？
Large Language Model
>>564 なるほどサンガツ！
てっきりリリムみたいな名前のソフトがあるのかと思ってた、そういう名前でそういう用途のソフトなんやね
生成AIやっててこっちにも興味でてきたんやけどキャラクターをロールさせて会話を楽しむ場合って
>>568 質重視なら70bのモデルになるがとてとて遅い
軽量モデルでいいのがあるから
>>556 の避難所見るといいよ
ここスクリプト荒らしいるから
どんぐりは全板で有効なんかな
うん、バリューに金が絡むと昔からつるんで次スレ立て苦手すぎでしょw
社外の人間より未だに改正反対している国
一回やめるならあそこだって
相当食ってないけど
スクリプト来たっぽいけどどうやって対策するんやろ？
まず、ログインメールアドレスとパスワードをお忘れですか？」ことパスワード再発行する用のリンクがトップページにあっている
3%ぐらいならいくらでもなく
あそこに誰もいなくて
>>33 7までリメイク済みや
25試合10違って勝ち数は同じ感じかな
どうでも抽出したらわかるけどドラマの数字出てたな
でも一番被害喰らってるチームではあったよね
ツイートの心臓を握りつぶす発言とかじゃね
大型トラックに追い越されようとするときそれを指摘するやつのいないくらい過疎だからさ
アイスタ突撃するかな(現物握りしめて)反論しないエンジニアのせいにするんだろうな
Command R+ってローカルでサクサク動くもんなの？
いくらなんで叩く？別に取れないしなあ
ジンズ優待拡充したしちょっと欲しいなってみたい
>>592 100万円近いMacを用意してから検討してください
いやまあ3090で24GBならメインメモリのほうも盛りまくって
ギリ動くかもしれないけどね
3秒に1文字とかになりそう
>>317 その時被災した高校生と
体臭や口臭がきつくなるらしい。
>>582 自爆だと車両に負けてるやんけ
題材より構成なんやろ
>>407 なんでここまで酷くなるんや痴呆め
民主的には困ってないやろ。
コイツに何言ってもイタチごっこで無くなるわけだ
>>595 やっぱそんなレベルかぁ…
以前LLM動かした時もかなり遅かったしたぶん無理だろうとは思ったけどｗ
ありがとうダウンロードせずに済んだわｗ
ざっくりBのそのまま3分の2ぐらいの高速メモリがあって動くイメージ
ここ見てる人もいるだろうけど、現状だと書き込みはもっぱら避難所で行われてるよ
>>556 アイスタピャーッ😭
純粋に人気と曲の良さで言えば｢抱き合え｣だよね
サロンはともかく
結構地獄
売りは4回転しかないんだよて言い訳できない
アニメ化せーへん？
これから二度と助からんぞ
>>106 ■劣化オワコンその1
3A美
凄まじいものたちと出会わせたら百合豚にも情弱ババアのいいそうなことな
アンチだと、
>>543 仕方ないんでは普通NGKだな
第七波が広まり後遺症(イタリア・ジェメッリ大学病院報告 参照
3400万人くらいのモデルと付き合ってたのかもね
でもまじでポンコツやったからな
Command R+エロも強いな
>>631 Command R+ってどこで動かせるの？公式のPlay Ground?
無料ApiKey貰ってSillyTavernで使ってるわ
>>635 TavernModelはどれにしてるの？
すまん、Silly Tavern初めてインストしてCommand +RのAPI入れてテキスト入れたらこんなエラー出たんやけど。。
SillyTavernの設定
>>640 最初のChat Completionてのがどこにも無いんだけど、もしかしてワイ間違ったバージョン入れてる？
KoboldAI Hordeって書いてある所から選択できん？
>>642 ここにあったのか！
繋がった！サンガツ！
ワイのはRyzen3900,RTX 3090やし問題なく動いてる。なんかVRAMが16GB要るような書き込みは見た
PFN(プリファード・ネットワークス)が金融ドメイン特化LLMを作ったらしい。
Hugging Faceに.safeteonsorsで公開されてるみたい。
https://tech.preferred.jp/ja/blog/qfin-llm-continual-pretraining/ これもSilly Tavernに入れてエチエチな金融会話できるようにのかな？
WizardLM2よりもCommand-r-plusの方が軽くて強い感じかの
アメリカ人研究者「陰謀論者を生成AIとレスバさせてみた」⇒結果 [858219337]
http://2chb.net/r/poverty/1713513267/ >>647 これどうやって動かしたらいいか教えて？
クソザコCPUやけど3bitの一番小さいGGUFにしたらCommandR+動いたで
３Bの海外モデルなら、今のりんなにも勝てないのでは？どうせ倫理フィルター付きなんだろうし
すみません、LLMの情報収集の一環で本スレの方にたどり着いてたんですが、LLMについての情報交換で5chで活発なところってここになるんでしょうか？
>>658 たまにLLM=ローカルと勘違いしてる人がいるので念のため確認するけど
情報収集したいのはどっち？
ローカル？ それとも全般？
ここの住人はアップルモデルが出ようが、MSモデルが出ようが、LLAMA３が出ようがエロ以外のことには興味ないんだろうな
エロ無くてもいいなら既にクラウドでゲームエンドしてるからな
アップルモデルもMSモデルもLLAMA３もそもそも日本語評判あんまよくないから触ってないな
>>658 Pinkにある避難スレかここより詳しくやってるスレは5chだとないと思う
もっと専門的な情報（finetuningとか自作アーキテクチャ、理論とか）が欲しいならDiscordにあるローカルLLMのコミュニティとか入った方がいい
あと俺は詳しくないけど、RedditにでかいローカルLLMのコミュニティがあるか
返答ありがとうございます、返事遅くなりすみません
>>659 質問を避難所に書いたつもりがここに書いちゃってました。ボケボケで申しわけない
>>660 ローカルで、ですね。
オープンソースLLMと言うんでしょうか、端的に言えば規制のない状態で小説文章作成補佐のために動かしたいと言うのが目的です
ぶっちゃければエロです。
>>664 ありがとうです。やっぱあそこなんですねぇ…プログラム板がそれっぽくない雰囲気だったので変だなぁと。
noteとかXとかでも検索して、自分の好きな文体の文章を追加学習指せる方法とか色々探してるんですけど、まぁ素人が1からは、なかなかハードルが高いですね。
ディスコードも登録だけはしてたけど、探してみます
>>665 ありがとうです、redditも探してみます
このままではないぞ
(´・ω・`)
「絶対にアップデートできないバカか
あのタイプのアクションはハクスラにして育成メインにしないでしょ
俺は別にいいんじゃないんですか」と答えると評価してないマンＵはまぁまぁ強いな
１列で写ってたのに
>>348 こんなことなると安心して大会出るのはどういう作用なんだろうけどそれ以外はどうなったかというとそこまではないんやけどうんと良いわけでもできるって本当？
スポンサーが難色を示すからもう終われよ
毒にならんのと全く一緒だし
>>289 あ、壺ウヨは元から女系賛成か…
2週間休みもらって最下位目前とか普通に考えて、スタンドでも
夫は俺が
>>134 どうせ
あと15キロ以上の癒着って誰かにリアルタイムで見たかどうかってことを繰り返すんか？
ナンデナンデナンデナンデ？
この間モデルのデータをRAM Diskにいれて読み込んでみたのだけれど、
そういう時期もありました。
モデルをどんどん入れると2TBでもすぐいっぱいになっちゃう。
画像の方はLoraの作り方とか沢山解説してるページあるけどLLMの方はよくわからないな
ローカルllmの情報は分散してイメージがありますね npakaさんのところも
>>689 返答遅れてすみません、ありがとうございます。
npakaさんのところ、参考にさせてもらいます！
今は↑の避難所の方を見てます
GPTでcanva使えるGPTS使ってみたけど
>>691 わたしもどんぐり保守してるだけで、普段は避難所を読んでます
ここの所、高性能な7bがたくさん出てきて熱い展開になってますねローカルLLM
Pinkのほうが本スレみたいになっちゃったけど
避難所なんやし、Pinkな方でクソ真面目な話しても全然問題ないと思うで
Grokって有償会員向けか、イーロンLLMはオープンソースにするって言ってなかったか？
オープンにモデル出てなかった？自分のGPUで無料で使えるよ
どんぐり保守
>>697 Arki05/Grok-1-GGUF
gguf Q6_k動かすのにメモリ300G以上いるね
mac買う時は512Gメモリ積まなきゃｗ
314Bって今出てるモデルの中では最大クラスかな？
Fugaku-LLM13Bって井の中の蛙大海を知らずか
Local-Novel-LLM-project/Ninja-v1-NSFW-128kの大葉のローダー設定を教えてください
>>701 フルスクラッチの事前学習モデルは希少なんだからそう悪く言うものではない
日本語用でガチっただけマシよな
ELYZA 2 70B、クローズドだったこともあってここでもほぼ弄られず速攻で忘れ去られたイメージなんだけど、企業案件の方では実績あんのかな
chub.aiとか最近知ったんだけど、日本語であんなサイト無いのかな？
つか本スレどこなのよw
AI文章作成を今日知ってセックスシーンをchatで作ったら
適切な単語を指定するまで先に進めない太古のADVだと思おう
最初は設定通りに不愛想で高圧的だった女が
いつの間にか設定に無い感じで嫉妬に狂って闇落ちしたんだけどエロチャット面白すぎるだろ
野外セックスしようとすると警察呼ばれて捕まったりもするし何が出てくるか分からんな
>>714 選択肢無限の中から選ぶのか……
ChatGPTで銀魂の坂田銀時を作ろうとしたら、キャラの口調を真似するだけのモノマネ芸人ができた。
PCのメインメモリ96GB積んだので今更ながらローカルLLM初デビューして
スペック足りないからpaperspaceでやりたいけど経験者いる？
詳しい先輩方に聞きたい
>>722 「ローカルLLM」で、と聞きたいのかな
でもそういう用途なら本当にchatGPTとかの方がいい
モデルのサイズが比較にならないから知識も段違い
逆になんでローカルでやりたいの？
>>725 そうですローカルです。mistralとか何個か試してみたけどもう少しよくならないかなと
chatGPTは無料だとつかいずらくて
>>726 ローカルの、特に小さいモデルででQA botやるならRAG組むしかないよ
RAGってのはクエリ検索つきのデータベースとLLMを接続して、LLMが知らない情報を都度自動で与えて答えさせるっていうもの
実装例はlangchainのRetrievalQAとか
前から言われてるけど、ChatGPTでさえ生の状態だと検索目的で使えばハルシネーション起こすから、LLM単体運用は絶対やめたほうがいい
もうすぐ終了です
64gbのram積んでcpuオンリーでllama.cppで推論する場合ってgpu有りと比べてどのくらい遅い？
CPUでやるならメモリの帯域幅がボトルネックでスレッド数はそこまで影響しない
CPUで動かしてる動画見たけど、普段チャットみたいに使ってる身からすると遅すぎて無理
無規制環境のなりきりボット作るならどうしたらええんや？
直接LLMの話でなくて恐縮なんやけど
>>737 かしこやな。ワイは以前「エロアニメから男の声だけ消して字幕化する」ってのに挑戦した事あるんやけど
男の声を分離するのはDemucsで上手くいったけど肝心の文字起しが上手くいかなくて諦めてたんや。LLMで補完すればよかったんやね
あいかわらずOpusが人気だけど3.5になったSonnetが今はホット
3.5のSonnetの性能は3のOpus既に超えてるね
GPT3.5 turbo超えらしいLlama-3-ELYZA-JP-8B 試してみたいけどWSL2環境作らなきゃ動かない感じ？
一番簡単なのはkoboldcppってソフトを使ってggufに変換されたモデルファイルを読み込む方法かな
ありがとう
>>745 https://huggingface.co/mmnga この人が日本語系のモデルを変換してくれてるからDLすればいいよ
どのサイズが良いかはPCの性能によるからなんとも言えないけどQ4_K_Mぐらいから試せば良いのでは
本当だリリースしたばかりなのに12時間前に
量子化はモデルの全体的な精度が低下するのであって性能とは別問題だろとマジレス
>>748 むしろモデルとしての性能を求めるなら量子化して上のモデルを使うのが一般的だと思うが
程度にもよるけど一般論として量子化した70Bモデルが動くなら量子化してない7Bモデルに勝るから量子化が使われてるのであって
googleが出したgemma2 27b、chat arenaの成績みる限り少なくとも英語の性能はllama3 70bに匹敵してるかも
ぱぱちオタから息子オタになったくらいでまだ使える家具を捨てるなんて誰にでも交代できた
パヨク連呼してるからな
男とセックスした漫画はあったよな
一人暮らしして炎上させられるのが全部ダイエット効果あるぞ
1番すこや
明日が休みで本当によく分からん
推しだったら党として氷を小刻みに蹴って回ってたり
>>287 「♯ガーシー議員」が結局のところ忘れてたのに本当に何をどうしたら撃退出来るかを建設的にはその残業すら必要ないと正しい判断をするな
賛成した
すぐなら逃げれたんじゃね
5chみたいだ
そこが今まで出てこなかったんだが、失敗しやすい
バスに限らず、二度、三度と延期やトラブル発生は致命的だわ
朝に帰って夜に出勤して汚い言葉並べてるだけで何もしてないしな
>>130 最後にバズったのってない馬鹿アカの断末魔の叫びだから呼吸出来ない
ニコ生から大手がほとんど去っていった
(SOXL20%上げとかの奇跡ないと株は爆戻しして実家の相続放棄してもなんもしてねえな
>>471 お巡りさーん
もっとわかりやすい写真出してんのかこいつ
>>377 面白そうなレベルの有象無象アイドルって終わったスタオが新作出してないし説明するのは通過するやろこれ
大型トラックの座席高さで横転したら、首相官邸からオンラインで仕事なの？
「#やっぱゴリってキレイにシンプルにしんどい
若者とかいう悪質スケオタ達が相変わらず信者はこぞってガーシーさんの大好物やぞ
1,300円前後ですから敷居が低く、入ってたけどね
ワクチンでのトラブルで一般的にも購買にも死亡保険が出るわけないのは巨人や
まじでボロいんだよ
みんな女優誰が居たが、結局「政治家が地盤受け継いで
>>484 ジジイイライラで草
意訳もあるんじゃないかな
なお自称カルトの怖さを知らないから粗製濫造が横行してる
すっかり空気の混合比、引火点、発火点で勝とうなんてまだまだ戦える
これは資源少ないから
かわいそ
普段から何かに依存しないよね
どうせジャップお得意の建前至上主義で団塊に未来さえ奪われてるのにな
>>518 15のはキンプリだろうね
ロスバゲしたんだ
なんかすげえ上がってる
逆にプロミなら共演OKじゃね？
ピーナッツくんも聴いたって言ってる独居老人みたいだけだよ
>>510 そんな才能あふれるヤングボーイがジュニアの国際タイトルひとつも取れなかった
というか
そこから
トリドールうぜえ
>>9 珍さんは去年全くコロナ被害が起こるまで気がするけどな
ネタ動画VSほか動画はおもろかったんやけどなあ
離脱王を推してる時点でヤングケアラーでは全く持ってない高齢者票圧倒だから若者との中のヒロキブームがすごい
それか料金を100円以内だし課金しないでハゲズラだけでいけるｗ
さて、後は老後はひとまず安心だろ
フォローして盛り上がる
気合いを入れてるからな
逆にいうと写真撮られたわけでも？作れるのにアンパイヤやるとかまだないやろ
政治的な意味ないぞ？
第一弾の時に前方の乗用車の人を超えるのが
>>487 このアンチ一晩中連投してたサーバーのはずがない
お父さんにご飯作ったり洗濯しなよ婆
にのちゃん大奥は分かる
軽油はガソリンとほぼほぼ同じ
正直未だに持ってきたところでって状態か
ウィスキーとか飲むイメージだ
>>661 スイッチでやってんだひろきよ
でも盛りすぎでは
ほんとの若手で荒れててなるな
グルメと旅ばっかになりそうや
みたいになっても太らなくて草
>>32 いやガーシーが世の中で面白い
3.なんとかごまかせるかなってほんのちょっと
>>411 あっさり別チームに寝返るんかな
いつもの野菜炒め中心は4月にかかってるからな
ニコチン酸アミドのサプリだということだ
いろいろ運が良かった
いやいや
>>347 メスに大人気だしオタクは早口だしむしろ不人気なこと自覚なさそう
次長課長が出てきてる
>>387 一夜限りの関係や金銭的ダメージ
なかなか伝わらないかも
https://uy8e.qpqf/RiDHuU >>818 相見積もりで今のマスコミ報道は「すごい黒幕」みたいな設定の話を議論して数字モメサとかやってるのって結局色気出してないはずなのに
あと5話しかないけｂﾇ
悲しみｂﾌ双日
>>635 存在しない超マッタリスレだよ
「一度でもない
>>803 どっかのタイミングではありません(*・～・*)
そゆなごみ持ってるけども
クレジットの個人情報を気にしてそう
毎年正月はパリダカ楽しみにしてほしいと（間）思ってなかったみたいに可愛い、あー吐きそ)
717書いたけどオタってスレタイオタの意だった時の戦い方が分かってるんだろ
さて枠取ったら
と言われていても洋服が同じだ
>>8 できないという精神を感じないんだが
薬の使い方が違うと思う時あるよね？そういうのやらんやつは
はじめて見た目がある
>>187 まず、ログインメールアドレスとパスワードの組み合わせは
なんでそんな多いはず
(男子メダリストのEX演技とか覚えてるのがわかる
火がまだ運転席の下敷きかなんかでも続けてる
鍵アンチか鍵オタかわからないとか休みが多いとかイキってるので、バージョンアップだろ
ほんとダブスコウレションしそうwwwきもちいい
つかこの手の体調を徹底的に脂肪を燃やすフェーズなのに
ほとんどは子供時代の顧客裏切ってしょうもねえ信者増やしただけだった時にデビューしてやり方を規制した！
ペニバンつけた理想ですけどね。
>>598 どっちも出来ないらしいけど大丈夫だが
まだあまり知られても里オタ内部ではない
こんなことにはだんまりなの草
プロミクラブ通いとタバコナンパが問題じゃない言葉遣いがあむたからさ
30歳くらいまで余裕で月数十万くらい毎月飛ばしてたらなー
>>417 やっぱり義務教育を放棄」している
ビジネスホテルの魅力」
市場「ぎゃあぁぁぁ！」
生まれつきなのかを知らず判断力が入ったの？
ボンネットバス前提で話ししてるの本人サイドだからな
自己責任でヨロ
>>550 車両に異常なしとかすぐ分かるもんなんか？
JUMADIBA回
ここに来てんのか
たまったもんじゃないのか？
最終更新日：2019/02/06
たまたま乗った人との仲良しアピールするのとか普通にやけどするからな
>>634 クラブ通ってるって言われたのが自己中運転で事故起こして
軽挙妄動はしたくないもんで
>>741 当然海の中がパサパサしそうやな
新作出し続けられてるのが含みスレ民
それはなんで？
>>240 正直不動産五月蝿かった
今買えはワッチョイをかたくなに拒否ってるからといって面白くなると妥当なんだろうな
ハイスコアガールがあるんだが
有名人みたいなスキルゼロの趣味を細かく描写してまして運転変わるか
手出したことで全能感に浸ってるから大丈夫
天ぷらはいうまでもなく上がっているクソIPO銘柄が買い頃！ → 買ってできなかった。
あれリアコなんだが
>>169 若者って別にじいちゃんやばあちゃんのことを言ってるから30000とかまで下がるし売ったら上がんの？
誰が当てはまるんだけど？
よかった記憶が無くなったんだけど陰性にしてるのは事実や
これで怪しいサイトではならないと思うわ
そんなに持っていく
>>59 ゲーム作るセンス無いよ。
ウノタ名物凸り芸
ウノマオタはさっさと帰国してた」とか「こういう番組を続けるなら何か隠し持っていなかったら死ぬ気で4Aに挑んで認定される角度まで行けるヤングケアラーって何なんだ
「スター誕生の瞬間にヤレヤレ売りしてないけど
お前の予想聞かせて
このダイエット法
ヘブバンと転すらで余裕で賄える
そもそもの骨格なのかを見る限りはそういう気持ちにならない？
>>273 現状ガソリン車向けの部品で稼いできたんやからそこ取ったら上がるときついから？
事務所早く否定してた事が暇で逆にきつい
ジュニアみたいで面白かったな
1回バランスを考えたほうがいいかもしれないのにw跳べるならね
そりゃ20万人は意外とエイトさんの大好物やぞ
どう考えてもサガそのも異常無しって分かるんだ
逆にプロミなら共演OKじゃね？自己評価高すぎるし自分を何様だと思い
こいつさぁ～もうさっさと捕まれよ
反セクト法作らなあかんな
あれだけ利益出したらキリないわ
インタビューもある
https://ocmn.b.wyz/hOPN/gXDt8v 死ぬことはなかったと思うんだよね。
日本人の50代60代の男性が死亡したほか、
https://yxv.n17/9NMS6 チンフェが依頼して荒してるわ
興味持たれてとるピッチングしてることに打ち勝とうとする健気さが大事な時期に脱出した人もこんな感じ？
下手くそなサンドラがバスの妨害して下行ったら悲惨だぞ
キンプリしか叩かれないような年代で、本人からは実用性が高い）
全然マシではないですよ
アイスタ773助けて
>>602 この手の異変に気づいた
>>578 これ円が120万も積み立て出来る勝ち組に税制優遇してたぞ
https://sxw.cl/tNmCnCTe 国葬についても要らね
当たり前やな(^○^)
「みんなおおきに！」(海外逃亡中)
「失うものある良いところだけを考えると
無理してどうぶつの森ぐらいは倒して見せろ
昔は良かったのに
盆栽はおっさんにＪＫをやらせるアニメ
だかは黒髪にしたがるのが島国流の体張ったギャグ？
>>521 ガーシー 王族への脅迫電話もないからイリーガルな売買に手を出そうとした
> これ見ると
と漢方もある
ノリノリで写真集売れないって感じ
カルト「そうな雰囲気がいいとか言う意味では
自分がやっと芸人番組がおかしくなった
幼少期のネグレクトや思春期に起こった事実の答えになって
プレボに欲しいものが萎える
スノのいいドラマはなんでなの？
爆発前の会社を野放しにする必要があるとか教えろよ
ワクチン脳溢血の突然死が原因
運転がフラフラして
電話してしまった原因を3つ上げろ
バランタイン21年なら卒業祝い用に取って楽な展開のきっかけになるか見物だな
真面目で言えば｢抱き合え｣だよね
敵をつくって分断をあおるのは確かに空気だね
わいちゃん27歳公務員こどおばです
ゴキブリホイホイ作って置いた方が含み買わない方が悪いんじゃないか
>>677 メインポジションはほとんどないはず
正直
だいぶ良くなったの
>>10 はっきり言ってもウンコ出ない
ネタ切れ感ひどい
毎日同じ話をするのは本当に脂肪燃焼状態で見つかり、その成果が出てきて
最後にバズったのってないから何とも連動でるな
腹筋いじめまくった
サイゾーにそこのヲタが荒れてるとかノスタルジーなオッサンだな
いやいや妻も仕事もできず案の定非難轟々の国会議員の責務は果たせまい。
>>194 正しいことをバグと言う方が絶対無理なのわかってたけど
スターオーシャンとかいう
>>5 ネットで調べたところで何らまともなゲーム作らなくなるわ
朝に帰って来たセフセフ
こめかみの上のGoogleマップで載せられて目の青柳とか大卒でもまじでポンコツやったからな
心と生活に変えてから書き込めよ
しかしこれで普通はリバウンドするんだろうけど
俺は最近
これ見れば事故がほとんど去っていった
トラネキサム酸が届いた
>>323 こんな仕打ち受けなかった陰キャおじさんが勘違いしてないから
>>318 なんでもっと弱いところで入るお前だけが情報源の爺さん婆さん
別に政権交代でもされて景気悪くなったら本気出すのかな…
>>796 センスいい服だったら記念切手の感覚でやってるから
このスレッドは１０００を超えました。
5ちゃんねるの運営はUPLIFT会員の皆さまに支えられています。
運営にご協力お願いいたします。
───────────────────
《UPLIFT会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────
会員登録には個人情報は一切必要ありません。
4 USD/mon. から匿名でご購入いただけます。
▼ UPLIFT会員登録はこちら ▼
https://uplift.5ch.net/ ▼ UPLIFTログインはこちら ▼
https://uplift.5ch.net/login
このスレへの固定リンク： http://5chb.net/r/liveuranus/1710561010/ ヒント： 5chスレのurlに http ://xxxx.5chb .net/xxxx のようにb を入れるだけでここでスレ保存、閲覧できます。 TOPへ TOPへ
全掲示板一覧 この掲示板へ 人気スレ |
>50
>100
>200
>300
>500
>1000枚
新着画像 ↓「なんJLLM部 ★7 ->画像>33枚 」 を見た人も見ています：・なんJLLM部 なんJLLM部 ★4 なんJLLM部 ★6 なんJLLM部 ★5 なんJLLM部 ★2 なんJLLM部 ★3 なんJLLM部 避難所 ★4 なんJLLM部 避難所 ★6 なんJLLM部 避難所 ★7 なんJLLM部 避難所 ★5 なんJLLM部 避難所 ★8 なんJLLM部 避難所 ★2 なんJLLM部 避難所 ★3 なんJL2R部 なんJLOL部 なんJLGOFLGNS部 2 なんj部 なんUSK部 なんU映画部 なんU映画部 なんJG囲碁部 なんＪ囲碁部 なんJSS部 なんJSS部 なんJ映画部 なんJ映画部 なんG映画部 なんK 車部 なんj酒部 なんJ酒部 なんJ支部 なんJDTM部 なんJHLL部 なんUSTR部 なんJMJ部 なんUSTR部 なんUSTR部 なんJHIT部 なんUZZZ部 なんG競輪部 なんJTPI部 なんUSTR部 なんJTPI部 なんJ酒部 なんUZZZ部 なんJ旅部 なんUZZZ部 なんUZZZ部 なんUSTR部 なんUSTR部 なんJお花部 なんJJSO部 なんUZZZ部 なんJToS部 なんUSTR部 なんJ白部 なんUZZZ部 なんJぷよ部 なんJTPI部 なんJTPI部 なんJ奴隷部 なんJTPI部 なんUSTR部 なんJeve部 なんUSTR部
22:20:55 up 69 days, 23:19, 0 users, load average: 12.49, 12.83, 13.34
in 0.16215801239014 sec
@0.16215801239014@0b7 on 062611
