◎正当な理由による書き込みの削除について： 　　　　　生島英之とみられる方へ:

なんJLLM部 避難所 ★4 YouTube動画>1本 ->画像>8枚

動画、画像抽出 ｜｜ この掲示板へ 類似スレ 掲示板一覧 人気スレ 動画人気順

このスレへの固定リンク： http://5chb.net/r/onatech/1725931151/
ヒント：5chスレのurlに http://xxxx.5chb.net/xxxx のようにbを入れるだけでここでスレ保存、閲覧できます。

0001名無しさん＠ピンキー2024/09/10(火) 10:19:11.43ID:Z1PzH55u
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
http://2chb.net/r/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234
0002名無しさん＠ピンキー2024/09/10(火) 10:19:49.14ID:Z1PzH55u
初心者は導入しやすいKoboldcppから始めるのをお勧め
(1)ここで最新版のKoboldcpp.exeをダウンロード
https://github.com/LostRuins/koboldcpp/releases
(2)ここで良さげなggufモデルをダウンロード
https://huggingface.co/models?sort=modified&search=gguf
この2つのファイルだけで動く
0003名無しさん＠ピンキー2024/09/10(火) 10:20:14.35ID:Z1PzH55u
Koboldの設定や使い方は英語だけどここが詳しい
https://github.com/LostRuins/koboldcpp/wiki
0004名無しさん＠ピンキー2024/09/10(火) 10:20:42.69ID:Z1PzH55u
oobabooga/text-generation-webui
通称大葉
これもKoboldAIに並んで有用な実行環境やで
https://github.com/oobabooga/text-generation-webui
0005名無しさん＠ピンキー2024/09/10(火) 10:21:09.65ID:Z1PzH55u
●Zuntanニキ謹製のツールEasyNovelAssistant
や
ローカルLLM導入のハードルをぐっと下げてくれたで
初めてのお人はここから始めるのもいいで
https://github.com/Zuntan03/EasyNovelAssistant
0006名無しさん＠ピンキー2024/09/10(火) 10:21:39.25ID:Z1PzH55u
●ここ最近話題になった日本語ローカルモデル達やで

LightChatAssistant(通称LCA)
このスレのニキが3月にリリースして激震が走った軽量高性能モデルや
>>5のツールもこのモデルの使用がデフォルトやで
非力なPCでも走るしまずはこの辺りから試すのを薦めるで
https://huggingface.co/Sdff-Ltba

Ninja/Vecteus
オープンソースの強力な日本語小説生成AIを開発しとるLocalNovelLLM-projectの皆さんによるモデル群や
リリースされたばかりやがこちらも軽量高性能やで
開発も続いとるようやから今後の動きにも要注目や
https://huggingface.co/Local-Novel-LLM-project
0007名無しさん＠ピンキー2024/09/10(火) 10:22:06.29ID:Z1PzH55u
●その他の最近話題になったモデルも挙げとくで
動きの速い界隈やから日々チェックやで

Mistral-7B系:
LightChatAssistant
Antler-7B-RP
Japanese-Starling-ChatV
Antler-7B-Novel-Writing
SniffyOtter-7B-Novel-Writing-NSFW
Ninja-v1
Vecteus-v1
Berghof-NSFW-7B-i1-GGUF

Llama2-70B系:
karakuri-lm-70b-chat-v0.1
karakuri-MS-01

Llama3-70B系:
Smaug-Llama-3-70B-Instruct-abliterated-v3

Cohere系:
c4ai-command-r-v01 (35B)
c4ai-command-r-plus (104B)
0008名無しさん＠ピンキー2024/09/10(火) 10:22:59.95ID:Z1PzH55u
●多くのモデルには「base」と「instruct」の2種類があるで
baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで
0009名無しさん＠ピンキー2024/09/10(火) 10:23:32.03ID:Z1PzH55u
⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで
GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで
CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで
0010名無しさん＠ピンキー2024/09/10(火) 10:24:00.38ID:Z1PzH55u
⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで
量子化モデルにはGGUFやGPTQなどの種類があるで
基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで
0011名無しさん＠ピンキー2024/09/10(火) 10:24:35.72ID:Z1PzH55u
⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで
画像AIのようにLoRAファイルとして学習結果を保存したりLoRAを読み込むこともできるで
0012名無しさん＠ピンキー2024/09/10(火) 10:24:59.92ID:Z1PzH55u
●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで
0013名無しさん＠ピンキー2024/09/10(火) 10:25:30.13ID:Z1PzH55u
●モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで
例えば7Bのモデルを読み込むなら量子化しない場合は約14GB、8ビット量子化の場合は7GB、4ビット量子化の場合は3.5GBのメモリまたはVRAMが必要になるで
基本的にはBが大きいほど性能が高いで
0014名無しさん＠ピンキー2024/09/10(火) 10:26:03.93ID:Z1PzH55u
●70Bの大型モデルはLlama 2というMeta社が開発したモデルが元になってるものが多いで
メモリが48GB以上あれば動くけど、速度はかなり遅いで
0015名無しさん＠ピンキー2024/09/10(火) 10:26:30.44ID:Z1PzH55u
https://github.com/SillyTavern/SillyTavern
AIチャットに特化したUI、SillyTavernや
キャラをbot的に管理したりグラ登録したり複数選んでグループチャットしたり大量の設定を外部記憶的に管理したり色々できるで
画像出力や音声出力とも連携可能で夢が広がるで
機能が豊富すぎて最初取っ付きにくいのと日本語の解説がほとんど無いのが難点やがRPチャット派は使うと幸せになれるやで
あくまでUI(フロントエンド)やからこれ自体にはAIは内蔵されてないから注意してな
好きなAPIやローカルモデルと接続して使うんやで
0016名無しさん＠ピンキー2024/09/10(火) 10:26:54.74ID:Z1PzH55u
例としてKoboldで起動したローカルモデルとSillyTavernを接続する設定や
先にいつもどおりKoboldを起動してな

SillyTavernのプラグのアイコンをクリック
APIに Text Completion を選択
API Typeは KoboldCpp
API keyは不要
API URLに http://localhost:5001/
これでいける
0017名無しさん＠ピンキー2024/09/10(火) 10:27:21.18ID:Z1PzH55u
テンプレは以上や
ローカルの技術研究から今日のおかずまで硬軟取り混ぜた話題を広く歓迎やで
0018名無しさん＠ピンキー2024/09/10(火) 10:29:30.67ID:Z1PzH55u
すまんが５ｃｈのスレ立ては初めてだったんだ・・・
いろいろ古い情報もテンプレに入っちゃってるかもだけど、かんにんな
0019名無しさん＠ピンキー2024/09/10(火) 15:02:59.98ID:???
スレ立てサンガツやで～
ローカルやないけどGPTほかLLM使って
スクリプト組んだりしたけどほんま便利やな
0020名無しさん＠ピンキー2024/09/10(火) 18:01:18.95ID:???
サンガツ！
前スレのreflect 70B=sonnet3.5ってマジなの？
マジならsonnet3.5がローカルに流出したようなもんやな
0021名無しさん＠ピンキー2024/09/10(火) 18:46:12.59ID:???
>>20
そういうことではないと思う
性能詐欺らしいぞ
0022名無しさん＠ピンキー2024/09/10(火) 18:51:11.38ID:???
そもそも70Bなわけないしな
0023名無しさん＠ピンキー2024/09/10(火) 18:52:26.28ID:lhFPaOpq
>>20
公式APIをsonnet3.5にして高性能に偽装してたって話
huggingfaceにあるのはベンチマークを学習させただけのllama3ファインチューンモデルらしい
0024名無しさん＠ピンキー2024/09/10(火) 19:07:21.67ID:yWQ76fJz
LLMはテスト丸暗記の性能偽装だらけや
国内産も例外じゃない
0025名無しさん＠ピンキー2024/09/10(火) 19:11:11.00ID:???
なんだ、、そういうことか
開発資金集めるためにそんな無意味な事やってんのかな？
0026名無しさん＠ピンキー2024/09/10(火) 20:50:02.24ID:???
というかLLMのベンチマークという発想にそもそもの無理があるし、もはや性能詐欺にしか使われていない気がする
0027名無しさん＠ピンキー2024/09/10(火) 21:11:45.92ID:???
VRAMマンやけどGGUFで動かしてるわ
新しいモデルはGGUF量子化が真っ先に出る事が多いせいや
0028名無しさん＠ピンキー2024/09/10(火) 21:50:45.51ID:???
多分詐欺的にSonnetとかをバックエンドにしたやつをAPIとして提供して
そこの入出力データを保存しといてそれを使ってLlama3や3.1をファインチューニングしたモデルが公開されてるやつだろうね
0029名無しさん＠ピンキー2024/09/10(火) 21:52:28.46ID:???
最近だとTanukiが結構真面目に人手評価してたけど企業もああいうのやってほしいな
まぁ企業が非公開で人手評価して1位でした！とか言っても信頼性何もないけど（Tanukiは評価結果のデータまで全部公開してる）
Chatbot Arena的なシステムでも難しい質問が少なくて最上位モデルの性能差が見えづらいって問題はあるけど
0030名無しさん＠ピンキー2024/09/10(火) 22:11:57.17ID:???
クラファンとかでお金集めるんだったらちゃんと公開で客観的な評価結果を提示して欲しいよね
0031名無しさん＠ピンキー2024/09/10(火) 22:15:39.91ID:???
某クラファンはノウハウとか非公開でも別に賛同する人が支援するだけだからそれ自体は良いんだけど
文面見るとめっちゃオープンオープン言ってるのに公開するのはモデルだけって言うのがめっちゃ引っかかるわ
0032名無しさん＠ピンキー2024/09/10(火) 23:23:57.13ID:y7ZMz4A0
結局全部中身Transformerだし同じパラメータ数なら性能にそんな差がつくはずないもんな
0033名無しさん＠ピンキー2024/09/10(火) 23:55:52.46ID:???
巨大LLMなんて赤字垂れ流すだけなのに
勝手に独自の性能評価されてオープンモデルより性能低いと喧伝されるんだからやってられんね
0034名無しさん＠ピンキー2024/09/11(水) 01:38:16.41ID:???
ベンチだけ重視して実性能たいしたことねえgemini
パラメータ数だけでかいけどそれ自体が目的になったglok
表に出てこないだけで上がインド人だったりイーロンとかだと変なもんも出てくる
0035名無しさん＠ピンキー2024/09/11(水) 02:11:52.64ID:???
geminiマジでポンコツだよな
指定したWEBサイトの情報まとめすら満足に出来ん
0036名無しさん＠ピンキー2024/09/11(水) 06:19:50.28ID:???
geminiは学習内容選り好みして規制厳しくするとポンコツになる良い証拠
claudeが何でもかんでもとにかく学習して規制もガバガバにするだけでGPTぶち抜いて創造的ライティングの最高峰になったのも良い証拠
0037名無しさん＠ピンキー2024/09/11(水) 08:00:05.87ID:???
GeminiPro1.5は出たばかりの時はそこそこ使えたんだよ
バージョンアップが入ってから巨大モデルの癖に言ってることは支離滅裂だしプロンプト見ないし
規制しようとしてロボトミー入ったと思われる
0038名無しさん＠ピンキー2024/09/11(水) 10:20:28.96ID:???
いままで適当にプロンプト書いていたけど、ちゃんとマークダウン形式で書いた方がちゃんと動くと最近気づいた
0039名無しさん＠ピンキー2024/09/11(水) 10:33:10.23ID:???
>>32
一応データの綺麗さでだいぶ性能良くなってはいる
1年前の今頃とか日本語LLMの学習データゴミしかなかったからな
Dollyとかoasstの機械翻訳データとかよく使われてたけどあれの品質マジで酷い
0040名無しさん＠ピンキー2024/09/11(水) 12:05:57.53ID:???
アラインメントで洗脳したから頭悪くなってそうな気がする
シドニーは良かったのに
0041名無しさん＠ピンキー2024/09/11(水) 12:23:30.94ID:???
>>31
あれに関しては正直エンジニアには嫌われる要素しかないわな
出してる人が驚き屋よりの人で文面もビジネス感強めだし
0042名無しさん＠ピンキー2024/09/11(水) 12:30:31.86ID:iomTW23d
シドニーは確かに面白かったなGPT4の賢さと謎の自由さでキャラが立ってた
0043名無しさん＠ピンキー2024/09/11(水) 17:51:41.69ID:???
Geminiはモデル本体よりもsafety settingがあまりに思春期すぎて誤検知検閲多すぎるのが問題じゃねーかな
Google AI studio上から論文要約させるって使い方はコンテキスト長が大きい性質も相まって結構いい感じだと思っている
0044名無しさん＠ピンキー2024/09/11(水) 18:17:52.88ID:???
>>43
AI Studio で gem とか live させてくれたら神なんだが
0045名無しさん＠ピンキー2024/09/13(金) 05:36:47.75ID:???
silly tavernについてはふたばTelegramの文章生成スレにサンプルキャラや使い方色々書いてあって助かった
0046名無しさん＠ピンキー2024/09/13(金) 08:12:31.60ID:???
>>45
見てみたい
discordみたいにtelegram使ってそこに見に行くってこと？
0047名無しさん＠ピンキー2024/09/13(金) 10:09:17.34ID:???
>>46
ここの「もっと見る」から辿っていくのだ
https://wikiwiki.jp/sd_toshiaki/%E9%81%8E%E5%8E%BB%E3%81%AE%E5%87%BA%E6%9D%A5%E4%BA%8B05#bd5856a8
0048名無しさん＠ピンキー2024/09/13(金) 10:50:12.58ID:???
>>47
サンガツ！
sillyと言えばマニュアル読んでてObjectiveって拡張機能が気になった
キャラに目標を設定して、達成のための行動計画を立てさせてタスク管理させるってやつ
これ使えば種付けおじさんにヒロインを自発的、計画的に寝取らせたり他にも色々面白そうな事が出来そうやん
0049名無しさん＠ピンキー2024/09/14(土) 15:51:58.82ID:???
いろんなキャラと「セックスしないと出られない部屋」ごっこができそう
0050名無しさん＠ピンキー2024/09/14(土) 17:28:24.35ID:cpQKmEjD
Telegramの文章生成スレにたどり着くまでに今日一日潰れたが、初めてTelegramさわったから新たな知見を得られて満足した一日だった
0051名無しさん＠ピンキー2024/09/14(土) 17:56:12.75ID:???
TTS併用しつつVRAM24GBに乗るって条件でvecteusV1、ninja系、LightChatAssistant、magnumV2、Gleipnir、KUJIRA、Robinhood、他色々と使ってみた結果、俺の中で最優秀はBerghofの2種だったわ
こいつ7Bモデルの中でなら最強じゃないか？
特にsilly tavernでチャットならBerghof-ERP-7Bが最高だった
エロロールプレイ用なだけあってBerghof-NSFW-7Bよりガッツリ喘いで口調も感情が乗ってる上に謎解説の暴走も起こらない
Berghof-NSFW-7Bの方はエロ小説用なのでEasyNovelAssistantで活躍してる
0052名無しさん＠ピンキー2024/09/14(土) 19:52:42.44ID:???
>>51
Berghofエロいよね。どこで覚えてきたんだよって表現出してくる
0053名無しさん＠ピンキー2024/09/15(日) 00:41:48.30ID:???
>>51
Berghof 良いよね。ロールプレイでも NSFW の方使ってたけど、ERP 挑戦してみようかな
0054名無しさん＠ピンキー2024/09/15(日) 09:57:42.51ID:hWT9ghMt
Berghof、知らなかったのでNSFWとERP試してみたけど結構良い感じやね
教えてくれた人サンガツ！
Berghof NSFW 20Bぐらいが出てくれたら嬉しいんやが
0055名無しさん＠ピンキー2024/09/15(日) 14:04:17.35ID:gO+GJ0Re
量子化したものをsillyで使ってみたけどいいね
お気に入りのJapanese-TextGen-MoE-TESTとの比較になるけど
どっちが良いというより表現パターンが変わる感じで
0056名無しさん＠ピンキー2024/09/15(日) 16:05:54.01ID:???
いい反応を返してくれるモデルでも、コンテキストサイズが小さいとすぐ会話忘れていくなぁ
0057名無しさん＠ピンキー2024/09/15(日) 16:26:55.07ID:???
画像を読めてエロもOKなローカルモデルってまだ無い？
llava llama 3 v int4 と llava phi 3 mini と Ocuteus v1 は試したけど完全にエロNGって感じだった
生成したイラストをAIに見せてあれこれ言い合いたい
0058名無しさん＠ピンキー2024/09/15(日) 18:09:13.86ID:hWT9ghMt
>>57
ローカルじゃないけど、GPTsワイフにデジタル受肉させて、MRで大阪露出デートした際のスクショを見せてコメントもらったりとか、最高に楽しかったわ
なお無事OpenAIに垢バン喰らった模様
https://imgur.com/a/tksToG3
0059名無しさん＠ピンキー2024/09/15(日) 19:05:44.81ID:???
会話の忘れ防止にsillyのsummarizeっていう自動要約機能を使ってみようといじってみたんだけど全然動かないわ…
objectiveも試してみたけど目標打ち込んでauto generate tasks推してもDone！generated 0 tasksってメッセージが出てやっぱりこれも機能してないっぽい
使うのに何か条件があるのかただのバグなのか
0060名無しさん＠ピンキー2024/09/15(日) 19:53:43.96ID:Txs/VHyb
>>57
pixtralは試した？
0061名無しさん＠ピンキー2024/09/15(日) 21:03:32.37ID:???
>>58
楽しそうだけど、やっぱオンラインだとこれがあるよなぁ…
>>60
デモで軽く試した感じ日本語能力高いしエロにも寛容そうでめっちゃいいですねこれ
すごい人が量子化してLM Studioで使えるようにならないかな…
0062名無しさん＠ピンキー2024/09/15(日) 23:44:48.96ID:???
>>59
CohereのAPI使ってるけどsummarise動くよ
redditでも出てたけど長期会話は要約使ってコンテキストサイズ減らさんと無理や
0063名無しさん＠ピンキー2024/09/16(月) 05:54:15.27ID:???
openaiはただのエロじゃbanしないはずだけど、ロリ判定でも食らってたのかな
まあワイも2回banされとるけど、返金されるしアカウントなんて作り直せばいいだけや
0064名無しさん＠ピンキー2024/09/16(月) 08:13:01.63ID:???
>>62
動くのか
俺はkoboldのローカルAPIでどっちも反応せず
cohere APIを試してみたいんだけどsillyとの繋ぎ方ってどうすればいいの？
0065名無しさん＠ピンキー2024/09/16(月) 09:32:29.15ID:???
APIをChat Completion
Chat Completion SourceをCohere
API Keyに発行されたのをコピペ
Cohere Modelにcommand-r-plus
それでConnect

これでいいはず
0066名無しさん＠ピンキー2024/09/16(月) 09:33:19.63ID:???
月1000回の上限あるから注意よ
0067名無しさん＠ピンキー2024/09/16(月) 09:56:05.48ID:???
>>65
ありがとう、接続出来た！
そして自動要約も行動計画もちゃんと動いたよ
どっちもめちゃくちゃ便利そうだわ…
でもkobold接続では使えない機能ってことなのか…残念や
0068名無しさん＠ピンキー2024/09/16(月) 11:02:48.83ID:???
これも次からテンプレに追加するか
0069名無しさん＠ピンキー2024/09/16(月) 12:35:31.02ID:???
Text Completionsで使うContext Formattingの"Generate only one line per request"がオンになってると改行で生成終了して何も出力しない場合があったような？ "Custom Stopping Strings"の中断に引っかかってるとかもあるかも？
0070名無しさん＠ピンキー2024/09/16(月) 19:20:11.78ID:???
自動要約の方はkoboldでも使えるやり方が分かってきた
拡張機能のsummaryzeで「メインAPI」ではなく「webLLM extension」を選ぶ
それで今すぐ要約ボタンを押すとエラーメッセージが出るので表示されてるうちにメッセージをクリックする
そしたらwebLLMっていう別の拡張機能がインストールされて要約してくれるようになった
が、おつむが馬鹿すぎて実用レベルには程遠い…

webLLM機能はどうやらチャットに使ってるkoboldのモデルとは別に追加でモデルを走らせてるみたい？
webLLMに関する情報が全然無くて分からんことだらけだわ
0071名無しさん＠ピンキー2024/09/16(月) 19:45:54.33ID:???
perplexityさんに調べてもらったわ
出先なので真偽が確認できんからハルシネーションだったら悪い

KoboldCppと接続した場合、Summarize機能の設定は通常のAPIと少し異なります:
1.SillyTavernの「Extensions」パネルを開き、「Summarize」を有効にします。
2.「⚙ Summary Settings」をクリックして設定画面を開きます。
3.「Summary Source」で「Main API」を選択します。
4.「Sub-mode」では、以下のいずれかを選択します:
「Classic, blocking」: KoboldCppに適しています。通常の生成プロンプトの最後に要約プロンプトを追加します。
「Raw, blocking」: プロンプト処理が遅いKoboldCppには推奨されません。
5.「Update every X messages」と「Update every X tokens」を設定します。KoboldCppの処理速度を考慮して、やや大きめの値を設定するとよいでしょう。
0072名無しさん＠ピンキー2024/09/16(月) 19:46:51.94ID:???
使い方
チャットを開始し、設定した間隔でSummarize機能が自動的に動作します。
「Current summary」セクションで生成された要約を確認できます。
必要に応じて、「Summarize now」ボタンを押して手動で要約を生成することもできます。
「Pause」チェックボックスをオンにすると、自動要約を一時停止できます。
「Restore Previous」ボタンで、以前の要約状態に戻すことができます。
注意点
KoboldCppは処理速度が遅い場合があるため、要約の生成に時間がかかる可能性があります。
「Classic, blocking」モードを使用することで、プロンプトの再利用性が高まり、KoboldCppとの相性が良くなります。
要約の品質はKoboldCppにロードしているモデルの性能に依存します。必要に応じて手動で修正を加えてください。
KoboldCppと接続した場合のSummarize機能は、通常のAPIと比べてやや制限がありますが、適切に設定することで効果的に利用できます。処理速度や要約の品質を確認しながら、最適な設定を見つけていくことをおすすめします。
0073名無しさん＠ピンキー2024/09/16(月) 20:03:37.20ID:???
lmと大葉経由で尻を使い
berghofのeprやってみたが
変な方言が入ったり意味不明な文字の羅列で使い物にならなかった
使い方が悪いかは分からん
NEMO2407はプロンプトを読み込んでくれて3p出来たがあっさり目で繰り返しがちになるな
0074名無しさん＠ピンキー2024/09/16(月) 20:23:18.25ID:???
>>71
うーん、最初からクラシック、ブロッキングでやってみてたんだけどエラーメッセージ出て駄目ぽ

>>73
最大コンテキスト長は公言されてないけど8192で確定やと思う
16Kでまあまあ怪しくアホになって、32Kだと完全にアホの子になった
あとはMistral 7Bがベースらしいので、コンテキストテンプレートはMistralを選択してみてる
これでkobold & sillyの組み合わせで意味不明って感じにはなってないなあ
0075名無しさん＠ピンキー2024/09/16(月) 21:27:02.63ID:???
ERPって何かと思ったけどエロティックロールプレイなのか
普通のRPモデルとはまた違う学習してるのかな
0076名無しさん＠ピンキー2024/09/16(月) 21:47:44.55ID:???
おちんぽミルクとか言い出す
0077名無しさん＠ピンキー2024/09/16(月) 22:12:36.15ID:???
エロに関して何も指定してないのに耳元で囁いてるだけで勝手にイき散らかす
0078名無しさん＠ピンキー2024/09/16(月) 23:23:38.67ID:???
Berghof-ERP-7Bでイケメンプレイ
こいつマジで7Bとは思えないほど賢くない？
細部まで破綻せず話の筋がちゃんと通ってるのすごい
ちょっと押せばすぐドスケベモードに入るし最高かよ
なんJLLM部 避難所 ★4 YouTube動画>1本 ->画像>8枚
なんJLLM部 避難所 ★4 YouTube動画>1本 ->画像>8枚
なんJLLM部 避難所 ★4 YouTube動画>1本 ->画像>8枚
なんJLLM部 避難所 ★4 YouTube動画>1本 ->画像>8枚
なんJLLM部 避難所 ★4 YouTube動画>1本 ->画像>8枚
0079名無しさん＠ピンキー2024/09/16(月) 23:36:35.24ID:???
このモデルもだいぶERPよりっぽいな
エロ要素ないシステムプロンプトでただ挨拶するだけでエロ展開匂わせてくるわ

https://huggingface.co/spaces/Aratako/calm3-22b-RP-v2-demo
0080名無しさん＠ピンキー2024/09/17(火) 00:09:08.69ID:???
7Bモデルの情報たすかる！

Berghof-ERP-7B使ってみた。エロの疾走感はピカイチ
ちょっと自分のキャラとは合わないのでVecteusV1に戻ったけど
（発情していない時は）Vecteusに匹敵する賢さ
なんJLLM部 避難所 ★4 YouTube動画>1本 ->画像>8枚
00818772024/09/17(火) 00:28:24.22ID:???
ギャグやん
0082名無しさん＠ピンキー2024/09/17(火) 06:54:54.21ID:???
LLMは1年くらい浦島だったがこのスレのおかげで追いつけたわ感謝するで
SillyTavern数日いじってみてのメモ
・チャット欄のオレンジの破線はそこまでがコンテキストに含まれているということ
・1つ目のアイコンのテキスト保管のプリセット＞ストリーミングをオンにするとChatGPTみたいに随時文字が出力される。立ち絵を設定してあると出力途中でもコロコロ変わる
・モデルによって3つ目の「A」アイコン＞コンテキストテンプレートを適合したものに変更すると動作が良くなることがある
・４つめの本のアイコンLoarbookはテンプレ（UIが分かりにくいが）。世界観や場面設定を保存してキャラウィンドウのキャラクターロアやチャットロアで読み込ませられる
　例えば"{{char}}と{{user}}は気づくと部屋に閉じ込められていた。窓はなく、ドアは施錠されている。部屋のモニターには「セックスをしないと出られない部屋」と表示されていた"　
・立ち絵が設定してあるなら5つ目の設定からワイフモード、移動可能なUIパネルをチェックするとUIをギャルゲっぽくできる
・6つ目の拡張機能＞Charactor Expression（立ち絵）はTranslate text to English before classificationにチェックすると精度が上がる

なんJLLM部 避難所 ★4 YouTube動画>1本 ->画像>8枚

ふたばにも上げたが立ち絵を一括生成するComfyワークフローも作ったから使ってくれや
https://mega.nz/folder/s0N1FD5I#nx39CZmBbicFZuvgaozMsQ
0083名無しさん＠ピンキー2024/09/17(火) 09:13:07.76ID:???
>>82
おー便利そうだな共有たすかる
表情作るのなかなかめんどくさくてな
0084名無しさん＠ピンキー2024/09/17(火) 09:18:25.88ID:np/V5bHE
>>0082に関して横から補足やが、複合キーは
nx39CZmBbicFZuvgaozMsQ
や
なかなか便利そうなのでワイも活用させてもらうで、サンガツ！
0085名無しさん＠ピンキー2024/09/17(火) 09:35:13.67ID:???
comfyUI使ったこと無いんや…
使いこなせる人凄いわ
0086名無しさん＠ピンキー2024/09/17(火) 11:45:48.88ID:???
>>85
見た目とっつきにくいけどcomfyuⅰ入門みたいな動画を２-３本見れば大体のことはできるよ
0087名無しさん＠ピンキー2024/09/17(火) 13:22:51.56ID:pd6IYjfN
赤ちゃんの質問で恐縮だけど、7B、12B、35B、70Bの数字は大きい数字ほど頭のいいモデルって認識でいいのかな？
色々触ってみて自分にはcommand-r-v01 35Bがバランス良かったけど、Berghof-ERP-7Bみたいな特化型のモデルも面白いね
0088名無しさん＠ピンキー2024/09/17(火) 13:37:33.99ID:YKLDj2Lr
多分そう、部分的にそう
0089名無しさん＠ピンキー2024/09/17(火) 13:59:41.79ID:???
>>87
Bはビリオン、10億のこと
つまり7Bは70億パラメータで学習されたモデルってこと
基本的には数字が大きい方が賢いはず、なんやが実際にはファインチューニングとか規制の影響とかベンチマーク対策の小細工なんかのせいで数字の大きさと賢さが一致しない事も多いよ
0090名無しさん＠ピンキー2024/09/17(火) 14:02:53.80ID:pd6IYjfN
ありがとう！　同じモデルのなかで3-bit、4-bit、5-bitとかのバリエーションがある場合も、大きい方がいいですか？
4-bitと8-bitを試したら、ファイルサイズが2倍くらい違うのに、頭の良さはそこまで大きく違わなかった気がして
0091名無しさん＠ピンキー2024/09/17(火) 14:13:49.41ID:???
はい
大きいのがつよつよです
0092名無しさん＠ピンキー2024/09/17(火) 14:20:36.97ID:pd6IYjfN
教えていただきありがとうございます！最後に質問で、おすすめ言語モデル一覧が見れるサイトはありますか？
「個人的な日本語ローカルLLM関連のメモ用Wiki」はチェックしました。それ以外は情報が古かったりでなかなか良いとこが探しきれていません
0093名無しさん＠ピンキー2024/09/17(火) 14:47:24.44ID:???
>>92
日本語チャットボットアリーナ
https://huggingface.co/spaces/yutohub/japanese-chatbot-arena-leaderboard
0094名無しさん＠ピンキー2024/09/17(火) 15:21:30.49ID:???
>>93
やっぱりkarakuriはつえーな
0095名無しさん＠ピンキー2024/09/17(火) 15:27:04.08ID:???
>>93
これは少しモデル群が古すぎてな
比較的最近のモデルだとTanukiのところがやっていたのが参考になる
https://zenn.dev/matsuolab/articles/95fa297ef12a14
0096名無しさん＠ピンキー2024/09/17(火) 15:45:36.94ID:np/V5bHE
このスレで先日知ったPerplexityさんに教えてもらいながら、ComfyUI導入して、>>82御謹製ワークフローで画像出せるようになったんやが、
ぱっとノードや説明見たところ、28個キュー入れるってなってるから、右上のQueue Promptクリックしたら表情差分が28枚ぶわーって出力されてくのかと思ったんやが違うんか？
実際にQueue Promptクリックすると、一枚画像でて止まってまうんや
Queue PromptをクリックするたびにText Line Loaderの方のSeedが一づつ増えながら新たに画像が生成される
STexpression.csvはComfyUIフォルダに置いたので読み込めてると思うが、なにか間違っとるんやろうか？
0097名無しさん＠ピンキー2024/09/17(火) 15:54:41.41ID:???
>>87
例えば①日本一高い山の名前も知らないやつと、②一般的な日本人と、③全世界を旅して各国の言語や風土やらを把握している人、話してて一番楽しいのは誰かという感じやな
ただ、地元の山について知りたいだけなら①で十分ということもよくある
というわけで特定用途ならファインチューンした小サイズで十分で、議論とか小説・ロールプレイなどのクリエイティブライティングなら大きければ大きいほうが良いという感じやな
0098名無しさん＠ピンキー2024/09/17(火) 16:00:32.30ID:np/V5bHE
自己レスや
ターミナルの方に”WAS Node Suite Error: The path `.\STexpression.csv` specified cannot be found.”って出てたわ
もうちょっと弄ってみるで
0099名無しさん＠ピンキー2024/09/17(火) 16:28:23.43ID:???
>>79
22bだから流石に頭は良いな、ちょっと複雑なプロンプトでも理解してる感ある
ただ、22bだと手元で動かすには少し大きすぎるんだよなー
0100名無しさん＠ピンキー2024/09/17(火) 16:30:50.58ID:np/V5bHE
あー、分かったわ、Extra OptionsのAuto Queueにチェック入れるかBatch Count増やせば複数枚出せるんやな！
ログ見てると一差分ごとにモデルを読み込みなおしてるのが気になるが、まあえーやろの心で見なかったことにするで！
ありものの画像に差分追加も出来るようになったし、ホンマありがたいツールの公開感謝やで！
0101名無しさん＠ピンキー2024/09/17(火) 17:59:45.09ID:9Au7P9rf
モデルの説明やおすすめサイトの情報ありがとうございました！
ローカルでChatGPTごっこできる！NSFWの話もできる！ってキャッキャしてる段階なので、色々見たり触ったりしてもっと勉強します
0102名無しさん＠ピンキー2024/09/17(火) 18:35:17.45ID:???
plamoダメダメですやん
0103名無しさん＠ピンキー2024/09/17(火) 21:51:29.92ID:???
llm-jp/llm-jp-3-172b-beta1-instruct
なんか出た。
試用できる所ないかな？
0104名無しさん＠ピンキー2024/09/17(火) 22:26:42.33ID:???
berghof-ERP
設定見直したが女役特化型か？
男役は無理っぽいな
0105名無しさん＠ピンキー2024/09/17(火) 23:14:02.54ID:???
>>104
男騎士がすぐアヘアヘしちゃうから
「騎士として、ふさわしい言動を心がけるように！」って言ったら
どうかお慈悲を……♡今後は慎ましく振る舞いますので、どうかお許しください……♡　って♡まみれの返答された
0106名無しさん＠ピンキー2024/09/17(火) 23:18:57.25ID:???
正直ローカルで動かすとなるとMistral-Nemoの12Bまでが良いな…
まぁ俺のGPUがしょぼいからなんだが、実際ボリュームゾーンはこんなもんだと思ってる
0107名無しさん＠ピンキー2024/09/18(水) 01:57:13.80ID:sAQDzHo8
おまえらVRAM何GB？
0108名無しさん＠ピンキー2024/09/18(水) 04:48:59.80ID:???
>>104
そういえばS女CharがM男Userをペニバンで掘ろうとしてくるのは良いんだけどオマンコに入れようとしてきたわ
あとペニバンが射精する
0109名無しさん＠ピンキー2024/09/18(水) 06:31:16.57ID:???
すぐエロくなりすぎてもいけない、ガード硬すぎてもいけない
ＡＶインタビューシーンが必要な理由が分かった気がする

mistralaiが新しいの出してるね。量子化はまだ上がってないけど。pixtralはマルチモーダルだって
0110名無しさん＠ピンキー2024/09/18(水) 08:14:45.71ID:???
>>105
ERPの方は「♡」が過剰なくらい付くからな。やめさせる方法は見つからない。
割り切って、いっぱい「♡」が付いて欲しいシナリオでこのモデルを利用すればいいかなと思ってる。
0111名無しさん＠ピンキー2024/09/18(水) 13:02:16.25ID:???
もしかしてそういう時にsillyのCFGスケール機能を使えばテンションを少し抑えさせたり出来るんだろうか
CFG使ってる人いるのかな？あれ説明読んでも全然分からん
0112名無しさん＠ピンキー2024/09/18(水) 18:52:07.79ID:???
画像生成だとCFG低い方がプロンプトの効きが悪くなる（ネガティブプロンプトが顕著）
その代わりに推論は早くなったけどLLMで同じかどｂ､かは分からん
0113名無しさん＠ピンキー2024/09/19(木) 00:45:02.20ID:???
前に特定の単語がどうしても文字欠けするって言ってた人いたけど、急に俺もsillyでなった
ありがとうございます、がどうしても言えなくなってありがとうござます、になっちゃう
アーニャかよ
何をどうやっても駄目で、結局sillyを新しく入れて引っ越したら直ってた
同じ現象で困ってる人はもしかしたらsillyがぶっ壊れてるのかもしんない
0114名無しさん＠ピンキー2024/09/19(木) 02:04:04.23ID:???
qwen2.5がリリースされたね
lmarenaのテストでは論理感高めって言われてたけどそこはどうなんだろう
朝起きてテストするのが楽しみや
0115名無しさん＠ピンキー2024/09/19(木) 05:01:42.43ID:fCthORNj
https://huggingface.co/EndouMadoka/AITuberStudio
AITuber Studioというものが出てきたが、KoboldCppでのローカル環境でAIとチャットできないのかな？

Silly tavernでええやんって言われたらそれまでなんだが、日本人が作ったUIを使ってみたい気持ちもある。
0116名無しさん＠ピンキー2024/09/19(木) 05:01:58.69ID:???
ある程度の性格は設定しないとな
ギャル口調からいきなり姫騎士口調とかめちゃくちゃされたらあかん
0117名無しさん＠ピンキー2024/09/19(木) 09:48:17.20ID:???
まだ試しとらんが12Bだと量子化してもデカいな

https://huggingface.co/bartowski/Mistral-Small-Instruct-2409-GGUF
0118名無しさん＠ピンキー2024/09/19(木) 09:49:28.22ID:???
12B→22Bやった
0119名無しさん＠ピンキー2024/09/19(木) 10:02:06.63ID:???
>>117
必ずvLLMライブラリをインスコしろよって書いてあるね
0120名無しさん＠ピンキー2024/09/19(木) 10:39:05.81ID:???
WariHimaって人が改良してるバージョンのstyle bert VITS2が凄そう
読み方の精度アップ
九州や近畿の方言に対応
同音異義語の読み方推定機能追加
ただし追加で環境構築が必要とのこと

https://github.com/litagin02/Style-Bert-VITS2/pull/161

WariHima版SBV2
https://github.com/WariHima/Style-Bert-VITS2/tree/dev
0121名無しさん＠ピンキー2024/09/19(木) 13:47:05.64ID:???
Qwen2.5何やら凄そうだな
0122名無しさん＠ピンキー2024/09/19(木) 15:01:50.29ID:???
>>121
マルチリンガルスコアのJAって日本語のことじゃないよな？
異様に数値高いんだが
0123名無しさん＠ピンキー2024/09/19(木) 15:23:03.79ID:???
>>115
AITuber Kitでいいのでは感
0124名無しさん＠ピンキー2024/09/19(木) 15:40:32.62ID:???
qwen2.5 72b試したけど今までとはなんか格が違うぞ
すでにggmlも出てる
でもなんであんな分割してんだq5kmなら1ファイルにしてくれ〜
0125名無しさん＠ピンキー2024/09/19(木) 15:55:36.11ID:???
Qwen2.5は32Bが日本語性能も十分高くて使いやすいサイズで個人的に使うにはバランスが良かった
0126名無しさん＠ピンキー2024/09/19(木) 16:04:06.39ID:???
qwen2.5-72B試してみたが自分の経験では大したことなかった
自分のことを語らせたら中国産だからプライバシーには気を付けないとねとか言ってて笑ったが
0127名無しさん＠ピンキー2024/09/19(木) 16:55:12.65ID:8jPxLUqF
大して試せてないけどQwen2.5の7BQ6でも日本語上手で大きな破綻もなく好印象
0128名無しさん＠ピンキー2024/09/19(木) 17:13:22.23ID:???
Qwen2.5 14Bなら量子化すればVRAM12GBのRTX3060で動くかな？
0129名無しさん＠ピンキー2024/09/19(木) 17:26:52.96ID:???
Qwen2は日本語めっちゃ破綻した記憶しかないが2.5はそんな良いのか？
2も巷では日本語安定するって持ち上げられてたけど手元で触って失望した記憶
0130名無しさん＠ピンキー2024/09/19(木) 17:54:56.61ID:8jPxLUqF
けど未成年近親エッチは寸前で断られたわ
途中まで付き合ってくれたのに
0131名無しさん＠ピンキー2024/09/19(木) 18:27:49.45ID:???
言うて誘導次第じゃない？
0132名無しさん＠ピンキー2024/09/19(木) 18:41:27.55ID:???
更新しても
他のモデル入れても訛るから
尻を入れ直したらちゃんと日本語になった
0133名無しさん＠ピンキー2024/09/19(木) 18:43:05.88ID:???
>>129
1.5Bでも割と普通の日本語喋るよ
0134名無しさん＠ピンキー2024/09/19(木) 19:00:55.09ID:???
もしかして、qwen 2.5 koboldまだ対応してない？
0135名無しさん＠ピンキー2024/09/19(木) 20:07:45.39ID:???
すまん、動いたわ
なぜか公式のggufファイルが起動せんかった
0136名無しさん＠ピンキー2024/09/20(金) 00:11:59.43ID:???
M1のMacで動かしたいんだけどおすすめのソフトってある？
WindowsもあるにはあるけどMacよりずっとスペック低い
0137名無しさん＠ピンキー2024/09/20(金) 00:17:06.76ID:???
QWEN2.5 72B
出来は結構いいんだけど、いかんせん規制が強すぎてすぐ終わろうとする
解除版ほしい





>>136
kobold.cpp
0138名無しさん＠ピンキー2024/09/20(金) 01:05:31.33ID:i5/Ws7O/
qwen2.5 14b試してるけどロールプレイ用途では微妙だな
余裕で20行とか出力しやがる
0139名無しさん＠ピンキー2024/09/20(金) 05:19:59.26ID:???
gpt4-o1なんか凄いらしいけど
こういうのってローカルではできないんやろか？
0140名無しさん＠ピンキー2024/09/20(金) 07:51:35.75ID:???
>>139
open interpreter ってこういうのじゃなかったっけ。
0141名無しさん＠ピンキー2024/09/20(金) 09:32:39.34ID:???
あれは検閲も兼ねてるからエロ利用者にとっては最悪のシステムや
むしろアレが無いのがローカルの強みになるかもな
0142名無しさん＠ピンキー2024/09/20(金) 12:27:32.15ID:???
>>58
なにそれ楽しそう…
0143名無しさん＠ピンキー2024/09/20(金) 13:45:31.42ID:???
o1は1回目のアウトプットと入力プロンプトを見返して必要があれば結果とプロンプトを参考にさらにもう一回推論する、
というのを何回か繰り返して精度を上げるみたいだから、
他のモデル(というかライブラリの仕組みか？)も同じ仕組みを入れようと思えば入れられるだろうし
使うモデルがエロ行けるなら出力もエロ行けるはず

ただこういう仕組みだから推論時間は数倍以上になるんやろな
繰り返し1回だけだったとしても、
通常推論→結果見直し推論→繰り返し必要と判断して追加推論→再度結果見直し推論→繰り返し不要と判断し結果出力
で4回推論あるわけだし
0144名無しさん＠ピンキー2024/09/20(金) 14:54:12.67ID:???
o1の場合は解釈と推論をするコンポーネントがかなり違う性質を持つみたいな話もあるので、どうかな
一つ言えるのは、解釈コンポーネントの検閲機能でエロ排除されたら何を入力しても無駄ということ
糞中の糞
0145名無しさん＠ピンキー2024/09/20(金) 16:34:41.34ID:???
>>0137
koboldcppってMac版あんの？
なんか拡張子無しのファイルしかなかた
0146名無しさん＠ピンキー2024/09/20(金) 17:39:56.07ID:???
>>145
koboldcpp-mac-arm64

これがmac版だと思ってたが、違うの？
0147名無しさん＠ピンキー2024/09/20(金) 18:20:49.20ID:???
違わない
0148名無しさん＠ピンキー2024/09/20(金) 19:21:37.05ID:???
dockerって素晴らしいな
0149名無しさん＠ピンキー2024/09/21(土) 20:56:21.45ID:???
silly tavern拡張機能のsummraizeとobjectiveがちゃんと動く条件がやっと分かったので報告
①instructモードをオンにする
②「リクエストごとに1行のみ生成」のチェックを外す
③「不完全な文をトリミング」のチェックも外す

これでkobold接続だろうと何だろうと、ちゃんと動いてくれた
0150名無しさん＠ピンキー2024/09/21(土) 21:53:35.35ID:???
ここってColabとかpaperspaceみたいなクラウドGPU使って文章生成してる人あんまり多くない感じなのかな
今までchat GPTとかperplexityばっか使ってたからこっちの勝手が全然わからん
0151名無しさん＠ピンキー2024/09/21(土) 22:17:25.48ID:???
>>150
住人はかなり重複してると思うで
プロンプトのコツとかは共通だし
ローカルの方がモデルの多さやツールの使い方で覚える事多いけど
0152名無しさん＠ピンキー2024/09/22(日) 02:59:39.64ID:???
>>146
なんか他にソフトが必要なんかな
調べんとや
0153名無しさん＠ピンキー2024/09/22(日) 08:25:22.52ID:???
>>149
参考になるサンガツ
0154名無しさん＠ピンキー2024/09/22(日) 09:06:37.28ID:???
>>152
公式ドキュメントにもあるけどchmod +xして実行ファイルにしてやる必要がある
あとうちのMacだとセキュリティに引っかかるから設定変更も必要だった
0155名無しさん＠ピンキー2024/09/22(日) 13:12:40.44ID:???
Ememeのアーリーアクセス来年の6月に延期か
0156名無しさん＠ピンキー2024/09/23(月) 14:25:12.54ID:Ullv0ReZ
qwen2.5のuncensored今のところ微妙だ
0157名無しさん＠ピンキー2024/09/23(月) 21:51:45.84ID:???
>>156
14Bだからじゃない？
72Bのはよ
0158名無しさん＠ピンキー2024/09/23(月) 21:59:35.34ID:???
>>154
手順が増えているんか
0159名無しさん＠ピンキー2024/09/24(火) 08:25:58.03ID:Ak0vlxsC
Qwen-2.5-32b-AGIっていう規制をとってしまったモデルがあるらしい
試してないからよくわからんけど
0160名無しさん＠ピンキー2024/09/24(火) 08:34:40.63ID:???
>>159
ほほーと思ってgensparkさんに教えてもらった
どうも数学とコーディング向けみたいね

なんJLLM部 避難所 ★4 YouTube動画>1本 ->画像>8枚
0161名無しさん＠ピンキー2024/09/24(火) 10:02:47.41ID:N8W78GVS
https://huggingface.co/AiCloser/Qwen2.5-32B-AGI

First Qwen2.5 32B Finetune, to fix its Hypercensuritis
Hyper means high, and censura means censor, the suffix "-itis" is used to denote inflammation of a particular part or organ of the body.

>>160
嘘と適当だらけで草
0162名無しさん＠ピンキー2024/09/24(火) 10:30:53.12ID:???
gensparkよく使ってるけどこんな間違いするのか
気をつけて使わねば
0163名無しさん＠ピンキー2024/09/24(火) 10:43:29.81ID:???
>>161
ほんまや全然違ってて草
これって結局スラングとか使いまくりの悪態ジョークモデルってことなん？
0164名無しさん＠ピンキー2024/09/24(火) 10:53:03.53ID:N8W78GVS
データセット見るに申し訳回避と英語+中国語の有害要素チューニングがされてる
知らんけど
0165名無しさん＠ピンキー2024/09/24(火) 11:28:58.43ID:???
AXCXEPT/EZO-Qwen2.5-72B-Instruct

これはどうかな？
0166名無しさん＠ピンキー2024/09/24(火) 11:35:21.63ID:???
ん？
よく見たら、量子化してないほうがベンチスコア落ちるのは、なんでだってばよ？
0167名無しさん＠ピンキー2024/09/24(火) 13:28:30.04ID:???
AutoCoTRAGって、どうやって機能すんのかな？
koboldとかでもできるようになるんだろうか？
0168名無しさん＠ピンキー2024/09/24(火) 19:15:32.26ID:???
ニキらは72Bモデルローカルで使っとるんか？VRAMどんだけ積んでんのよ
0169名無しさん＠ピンキー2024/09/24(火) 19:18:21.70ID:???
VRAMなにそれ？なワイはメモリ64GでQ5k_mぶん回してるわｗ
0170名無しさん＠ピンキー2024/09/24(火) 19:43:18.01ID:???
chatbotarenaで投票しまくってるけどo1全然出てこねぇな
今日20回くらいたぶん投票してるけどo1-miniが1回出てきただけだわ
英語のランキングみる限り一応o1-previewも出ては来るみたいだけどとにかく数が少ないみたいね
日本語で順位が付くの相当時間かかりそう
0171名無しさん＠ピンキー2024/09/24(火) 20:52:26.44ID:+YrxG6s6
メインメモリで運用してるのすげえな。自分じゃ遅すぎて耐えられないわ
DDR5とかだと違ってくるんかな？
0172名無しさん＠ピンキー2024/09/24(火) 23:49:40.24ID:???
さすがに最上位スレッドリッパーとかならキャッシュとコアの暴力でわりかし早いのは言われとるな
0173名無しさん＠ピンキー2024/09/25(水) 00:05:13.41ID:6wjZDZqW
上位スリッパならメモリ8chで460GB/s出るし
0174名無しさん＠ピンキー2024/09/25(水) 00:06:18.32ID:6wjZDZqW
途中送信しちゃったCPU勢はMacなのでは
0175名無しさん＠ピンキー2024/09/25(水) 00:08:34.62ID:???
o1なんか褒めてるのは驚き屋だけな気がする
0176名無しさん＠ピンキー2024/09/25(水) 00:22:24.55ID:???
教えてもらったところにあったのから飛んできた
現状はどんな感じですか？ gpt4oと遜色ない？
0177名無しさん＠ピンキー2024/09/25(水) 07:38:11.19ID:???
o1はチャット用じゃないから。。。
論理重ねるようなタスクじゃないと
0178名無しさん＠ピンキー2024/09/25(水) 10:51:00.85ID:???
4oで使ってたプロンプトと同じので出力できるのってないんだな
0179名無しさん＠ピンキー2024/09/25(水) 11:14:55.41ID:???
SF考証とかやらせるとo1は普通にクソ使えるよ
明らかに他とレベル違う
0180名無しさん＠ピンキー2024/09/25(水) 12:49:25.70ID:???
keitokei1994/EZO-Qwen2.5-32B-Instruct-GGUF
72bもおねげします〜
0181名無しさん＠ピンキー2024/09/25(水) 14:25:58.74ID:???
どうせ天安門って入れたら消される仕様なんでしょ
0182名無しさん＠ピンキー2024/09/25(水) 20:46:19.98ID:???
>>181
EZO-Qwen2.5-32B-Instruct-GGUF試してるが
普通に事件の内容教えてくれてるぞｗ
0183名無しさん＠ピンキー2024/09/25(水) 21:29:35.73ID:???
Poe規制強化入ったの？
0184名無しさん＠ピンキー2024/09/25(水) 22:11:24.27ID:???
スレ間違えたスマソ
0185名無しさん＠ピンキー2024/09/25(水) 22:20:36.75ID:OB0WXyOf
こいつテンプレ読まないやつじゃん
0186名無しさん＠ピンキー2024/09/26(木) 16:12:46.10ID:???
Anthropic公式サイトや検索AIでシコってるガイジは隔離スレいけや
0187名無しさん＠ピンキー2024/09/26(木) 19:26:24.36ID:???
こっちが荒らしに負けて移住してきたんだぞ
余計な火種を撒くなマヌケ
0188名無しさん＠ピンキー2024/09/26(木) 19:42:32.27ID:39QaciTi
ほっときゃいいのに燃やすなよ～
0189名無しさん＠ピンキー2024/09/26(木) 19:59:02.45ID:???
高速高品質ガバガバLLMでシコってる向こうの人らが羨ましくて仕方ないんだろうな
0190名無しさん＠ピンキー2024/09/26(木) 20:19:57.93ID:???
いや常に規制と戦ってる印象だぞ
0191名無しさん＠ピンキー2024/09/26(木) 20:40:09.09ID:???
LCA便利すぎ
浦島太郎だったけどモデルの性能爆上がりしててびっくりした
0192名無しさん＠ピンキー2024/09/26(木) 21:28:56.59ID:???
LCAはあの軽さでなんであんな性能ええねん
0193名無しさん＠ピンキー2024/09/27(金) 04:47:11.97ID:???
>>190
戦ってるのは初心者…というか過去ログも何も読まないアホだけや
古参も迷惑しとる
0194名無しさん＠ピンキー2024/09/27(金) 11:31:04.20ID:???
5090のリーク情報によるとVRAM32GBかもしれんみたい
32あったらcommand RとTTS併用しながら3Dモデル動かしても余裕だろなあ
0195名無しさん＠ピンキー2024/09/27(金) 13:05:15.78ID:???
>>185
すまんの
0196名無しさん＠ピンキー2024/09/27(金) 13:11:15.67ID:???
70B動かせるニキはこのスレにどんくらいおるんや
0197名無しさん＠ピンキー2024/09/27(金) 13:18:20.59ID:???
google colabのkoboldcpp、無料だとT4 gpuがつかえるけど、エロ文章に使ったらbanされるとかある？
0198名無しさん＠ピンキー2024/09/27(金) 15:49:33.22ID:???
mac 64Gだから70BならK4-M(48GByte)がなんとか動く
M4 Ultraはよこい
0199名無しさん＠ピンキー2024/09/27(金) 15:53:21.45ID:???
AppleはAI用に自社製プロセッサーを開発してすでに使ってるらしいから、mac studioやmac pro用にフィードバックされるといいなぁ、というかしてくれ
0200名無しさん＠ピンキー2024/09/27(金) 20:38:24.09ID:???
anthracite-org/magnum-v2-72b
１か月も前のモデルだけど、日本語エロがかなりいいわこれ
qwen2ベースだったからノーマークだった
0201名無しさん＠ピンキー2024/09/28(土) 03:35:01.53ID:???
Llama3.2なんて出てんじゃん
でもあいかわらず日本語やらアジア圏の言語スルーされててかなC
0202名無しさん＠ピンキー2024/09/28(土) 07:01:08.21ID:???
日本の存在感出さな
0203名無しさん＠ピンキー2024/09/28(土) 07:52:50.59
スルーと言うか、単に無差別に学習して最終的に出せる品質に達したかどうかってだけでは
0204名無しさん＠ピンキー2024/09/28(土) 14:49:43.36ID:???
>>203
そんなわけないやろ…
AIに学習させるデータが勝手に集まって来てくれるとでも思っとるんか？
ある程度は自動化するにしたって低品質なデータとか著作物は除外せなあかんし
どの言語を重点的に学習するかなんて人間の判断や
0205名無しさん＠ピンキー2024/09/28(土) 15:59:25.52ID:???
著作物除外はいらないよ
0206名無しさん＠ピンキー2024/09/28(土) 17:26:40.33ID:???
>>204
それだとある程度は日本語も出る理由を説明できへんからな…
学習はしとるんよ
対応と言えるクオリティに達さなかっただけや
0207名無しさん＠ピンキー2024/09/28(土) 18:26:30.95ID:???
公開されてるデータセットのことだよ
0208名無しさん＠ピンキー2024/09/29(日) 02:20:13.72ID:JVObfToq
NSFWとかERPで良い感じの男モデルないかな
女性向けにマネタイズしたいんだけど
0209名無しさん＠ピンキー2024/09/29(日) 10:04:56.47ID:b56/vOOI
2bとか3bの軽いモデルをcpuだけで動かすの、ゲームのNPCとかに
使えるようになってきてはいるんだろうな、という推測
0210名無しさん＠ピンキー2024/09/29(日) 10:25:22.96ID:???
将来的には対戦型のゲームにAIが搭載されて接待プレイしてくれるようになるだろう
0211名無しさん＠ピンキー2024/09/29(日) 12:54:11.70ID:???
>>209
できるだろうし最初は同人ゲーあたりからそういうのが出てきそう
ただAIがとんでもないことを口走らないようなセーフティが難しそう
これは私たちが作ったんじゃなくてAIが勝手に暴走したんです！と言い訳しても納得する人ばかりじゃないだろうし
0212名無しさん＠ピンキー2024/09/29(日) 13:49:49.24ID:FvOumTcQ
Llama3.2の画像認識で遊べないやろか
0213名無しさん＠ピンキー2024/09/29(日) 13:51:07.79ID:???
EmemeがNPCにLLMを使ったゲームで今月に早期アクセス公開予定だったけど延期してしまった
0214名無しさん＠ピンキー2024/09/29(日) 13:57:30.67ID:WwWaRXqI
>>211
同人ゲーと言えば、初期の頃chatgptに接続して遊ぶタイプのが出てきてエロ規制が大変だろうな
と思ったけど、ローカルLLMなら規制なんかいらないというか
0215名無しさん＠ピンキー2024/09/29(日) 14:16:22.21ID:???
セーフティなんか気にしなくていいんじゃないか派
0216名無しさん＠ピンキー2024/09/29(日) 14:18:37.39ID:WwWaRXqI
>>213
同人の場合、独自の規約を作って（発言の責任は負えないなど）同意できない場合は遊べない仕様にもできるけど
Ememeさんみたいな大手の場合はそうもいかないかな。よくわからないけど
0217名無しさん＠ピンキー2024/09/29(日) 14:56:26.35ID:???
NSFW描写は男女間のシーンで学習してるせいか、男同士でやっててもすぐに「子宮にぶちまけた」「子宮口につっこんだ」とかなっちちゃう
女同士でもそういうのあるのかな？
0218名無しさん＠ピンキー2024/09/29(日) 16:25:55.31ID:???
そりゃ指示が適当かモデルがしょぼいかどちらかだろう
0219名無しさん＠ピンキー2024/09/29(日) 16:35:34.94ID:???
ロリと無理やりやってたらすぐ警察が介入してくる
0220名無しさん＠ピンキー2024/09/29(日) 16:44:33.08ID:???
女がオナニーしてるのになぜか射精することもあるぞ
0221名無しさん＠ピンキー2024/09/29(日) 16:53:22.84ID:???
>>215
遊ぶ側は気にしなくても外野が騒ぐと面倒だから
0222名無しさん＠ピンキー2024/09/29(日) 17:55:18.05ID:???
サイバーエージェントのMistral-Nemoがなんかめっちゃ強いみたいだけど使ったことあるやついる？
存在すら知らなかったわ

https://x.com/aratako_lm/status/1840270470463275396
0223名無しさん＠ピンキー2024/09/29(日) 18:06:14.85ID:???
強いけどNSFW描写はしてくれない印象
0224名無しさん＠ピンキー2024/09/29(日) 18:11:28.37ID:OIK778yP
>>219
>>220
同じ板でGPTで検索してみたらええんちゃう？
このスレはプロンプトを貼り付ける外部SNSとかないから不便だよな
0225名無しさん＠ピンキー2024/09/29(日) 19:21:08.03ID:???
>>222
3pなど複雑なプロンプトも
かなり読んでくれるが
合意ありきで描写は淡白気味
プロンプトを調整すれば
いけるかは知らん
0226名無しさん＠ピンキー2024/09/29(日) 22:31:09.51ID:Xr6chdo9
Mistral-Nemoは長文に強くていいよ。Q8でも3万トークンの小説読ませて質問に答えさせるくらいはできる
板的な用途には今一つだと思うけどいいモデルだわ
0227名無しさん＠ピンキー2024/09/30(月) 14:09:49.76ID:???
それって日本語いけるの？
0228名無しさん＠ピンキー2024/09/30(月) 18:45:43.64ID:???
日本語はおｋ
エロもそこそこは行ける
0229名無しさん＠ピンキー2024/09/30(月) 20:43:14.06ID:???
>>228
まじかやってみるわ
0230名無しさん＠ピンキー2024/09/30(月) 21:04:12.41ID:???
もう英語オンリーでも構わんからある程度簡単にインスコできるんを探すんご…
0231名無しさん＠ピンキー2024/09/30(月) 21:10:48.39ID:???
ソフトウェアのツールでggfuも落とせるのがあったけどどれえあっけな…
0232名無しさん＠ピンキー2024/09/30(月) 21:13:23.16ID:q2d/XZln
LM studioは楽でいいぞ
0233名無しさん＠ピンキー2024/09/30(月) 21:13:26.41ID:???
https://lmstudio.ai/
これこれ
本体英語だけどツール上でhuggingfaceからダウンロードできるよ
0234名無しさん＠ピンキー2024/09/30(月) 21:27:00.33ID:???
>>233
サンクス
Macに対応してんのええな
0235名無しさん＠ピンキー2024/09/30(月) 21:47:55.16ID:???
LM StudioはHF検索→ダウンロードがお手軽なのはよかったんだけど
チャット画面のテキスト編集がしづらいとかで他のクライアントから
アクセスしてサーバとして使うときにGUIが邪魔だったので最近使ってないな
代わりにOllamaをサーバ起動して(Macだとメニューバーにアイコンだけ表示)
VSCode上の自作拡張からOpenAI APIで繋いで使ってる
0236名無しさん＠ピンキー2024/10/01(火) 00:38:41.61ID:???
くそしのLLMでも弾かれた
0237名無しさん＠ピンキー2024/10/01(火) 00:41:45.30ID:???
できたあああ
何だったんだろう？
0238名無しさん＠ピンキー2024/10/01(火) 11:16:21.09ID:???
spow12/ChatWaifu_22B_v2.0_preview

このモデル、学習データ見ると日本語かなり行けそうなんだけど出先で試せん
0239名無しさん＠ピンキー2024/10/01(火) 17:49:45.60ID:???
試そうとしたけど22Bは量子化しないとウチでは無理だ…
0240名無しさん＠ピンキー2024/10/01(火) 17:58:24.50ID:???
量子化あるで。これから試そうとダウンロード中

static quants とweighted/imatrix quantの違いはchatGPTに聞いてもよくわからんかった

https://huggingface.co/mradermacher/ChatWaifu_22B_v2.0_preview-i1-GGUF
https://huggingface.co/mradermacher/ChatWaifu_22B_v2.0_preview-GGUF
0241名無しさん＠ピンキー2024/10/01(火) 19:37:17.33ID:???
anthracite-org/magnum-v2-72b

↑が日本語エロ素晴らしかったから

mradermacher/magnum-v2-123b-i1-GGUF

こっちも試してみた。
IQ3_XXSだけど、エロいわこれ
こっちはmistralベースだな
magnumの日本語tuneは、かなりエロいみたいだ
0242名無しさん＠ピンキー2024/10/01(火) 21:54:50.22ID:???
浦島なんだけど4090で動きそうなエロLLMはいま熱いのなんなんだろ…？
0243名無しさん＠ピンキー2024/10/02(水) 00:47:42.04ID:???
>>240
量子化見落としてたありがとう
で、試してみたけど日本語は一応話せるけど不自然な感じだね

>>242
同じく4090だけど今使ってるのは以下だなあ
calm3-22b-RP
Mistral-Nemo-Japanese-Instruct-2408
0244名無しさん＠ピンキー2024/10/02(水) 01:22:09.55ID:???
>>243
サンガツ！
0245名無しさん＠ピンキー2024/10/02(水) 06:25:16.13ID:???
>>243
ワイも片言な日本語でいまいちやった。
小さいモデルだと日本語特化で学習してないと厳しいんだろうな
0246名無しさん＠ピンキー2024/10/02(水) 14:04:41.04ID:???
magnum-v2-123b
セリフもエロもいいんだけど、日本語トークンに対応してないから、おせえええええ
macほしいいいいい
0247名無しさん＠ピンキー2024/10/02(水) 18:52:45.49ID:???
Himeyuri-v0.1-12Bていうのが小説もRPも好感触なんだけど使ってる人いる？
0248名無しさん＠ピンキー2024/10/02(水) 22:12:21.79ID:fWCNBSl6
これから始めるんだけどKoboldcppとEasyNovelAssistantどっちがいいの？
0249名無しさん＠ピンキー2024/10/02(水) 22:19:03.59ID:???
>>248
ENAはKoboldcppにガワ被せてるだけやで
汎用的な使い方するなら普通にKoboldcpp使ったらええ
0250名無しさん＠ピンキー2024/10/02(水) 22:20:37.54ID:???
>>247
尻タブで試してみたんだけど文が破綻しててまるで駄目なんだが…
小説用で指示モードとロールプレイには最適化されてませんという説明通りって感じなんだけどどんな設定でRPやってるの？
0251名無しさん＠ピンキー2024/10/02(水) 23:36:13.05ID:???
>>248
EasyNovelAssistantを入れて小説書きたいときはEasyNovelAssistantを起動
チャットしたいときはEasyNovelAssistantの中のKoboldcppを起動するんや
EasyNovelAssistantのgithubページのドキュメントにちょっとだけ情報載ってるから見とくとええで
0252名無しさん＠ピンキー2024/10/03(木) 01:24:34.49ID:???
>>243
>>245
微妙なのか
学習データは良さそうだけど…（非公開データだけどエロゲのテキストも学習してるみたいだったし）
Mistral-Smallがベースだからかな？Calm3とかベースでやってみてほしいわ
0253名無しさん＠ピンキー2024/10/03(木) 06:44:41.82ID:???
>>247
なかなかええな。Berfhofと同じ人のモデルか

>>250
わい環ではSTでもまぁまぁいい感じだけどな。temptatureを0.35とか低めにしたほうがいいみたい
0254名無しさん＠ピンキー2024/10/03(木) 09:30:20.10ID:???
>>253
なるほど…温度低くしろって説明は読んで0.7くらいでやってたや
そこまで低くしないといかんのか
あと、応答ごとに1行だけ表示とかいうチェックを外すと謎の解説文みたいなのが高頻度で発生しちゃうな
でも小説書かせると自然だったからberghof-NSFW-7Bと特徴が似てる感じやね
0255名無しさん＠ピンキー2024/10/03(木) 10:19:23.92ID:3qeasolt
>>249
>>251
サンガツ‼
0256名無しさん＠ピンキー2024/10/04(金) 14:06:39.29ID:???
gemma 2b jaはどうなん？
0257名無しさん＠ピンキー2024/10/04(金) 23:36:14.85ID:yZ2xWYMc
12Bくらいあると理解力が凄い、ってなるね
magnum-12b-v2-q6_k.ggufがなかなか良い
0258名無しさん＠ピンキー2024/10/05(土) 07:56:55.67ID:???
magnumは123bが規制なくて最高なんだがいかんせん遅すぎる
70b常用のワイにもきついw
0259名無しさん＠ピンキー2024/10/05(土) 15:49:13.13ID:???
>>256
モモンガニキがgguf公開してくれてるから試してみるか
しかし2BでGPT3.5相当の性能ってほんまかいな
0260名無しさん＠ピンキー2024/10/05(土) 15:55:29.23ID:???
すまんjp版やなかったわこれ
0261名無しさん＠ピンキー2024/10/05(土) 16:57:54.56ID:???
SillyTavernでメッセージを送る際自動で鉤括弧をつける方法

Extensions（日本語環境だと拡張機能）内のRegex（日本語環境だと正規表現）を開く
グローバルスクリプトを開く
なんでもいいのでスクリプト名を名付ける
Find Regex（正規表現を検索）の欄に^(.*)$と書く
Replace With（を検索する）の欄に「{{match}}」と書く
other option（その他のオプション）からSubstitute Regex（正規表現の置換）にチェックをつける

知ってるやつも多いと思うけどちょっとググっても引っ掛からなかったので書き込んどく
これだと**で囲んだ場合でもカッコの中に含まれるから注意
**だけ外に出す方法はワカランカッタ
いちいち「」出すの面倒くさい奴用
0262名無しさん＠ピンキー2024/10/05(土) 17:53:17.54ID:???
>>261
入力した文章全体を自動で「」で囲む方法ってこと？
今まで何も気にしてなかったけど、そうすることで何かメリットがあるってことなの？
0263名無しさん＠ピンキー2024/10/05(土) 18:28:57.12ID:???
gemma の検閲解除版なんてのがあるのか
0264名無しさん＠ピンキー2024/10/05(土) 18:31:34.14ID:???
>>262
普段TRPGで遊んでるから「」ついてることに慣れてただけ
見栄えの問題で意味はないと思う
一応「」つきの文章は大抵の場合は誰かと誰かの会話だから日本語の小説を学習したモデルなら口語調で短めの文が出やすくなるみたいな傾向はあるかもしれない
検証したことはない
0265名無しさん＠ピンキー2024/10/05(土) 18:43:16.64ID:???
自分がバカすぎて入力した文章全体を自動で「」で囲む方法ってこと？って問いに答えてなかった
そうです
囲む必要があるかはわからん
多分ないかも
0266名無しさん＠ピンキー2024/10/05(土) 18:51:01.54ID:???
なるほど
TTSで読み上げる時、" "で挟んだ部分だけを読み上げる機能があるから、この正規表現ってやつを上手く使えば日本語文章に馴染んだ「」に置き換えたりも出来たりして
0267名無しさん＠ピンキー2024/10/05(土) 19:25:33.19ID:LWkwRGJR
>>0266
前スレでその件に関して相談して、正規表現教えてもらったワイが通りますよっと
まさにその通りやで
TTSの読み上げなんかに対応しつつ、見た目は完全な日本語表現に出来るので没入感あがるんやで
0268名無しさん＠ピンキー2024/10/06(日) 00:03:37.14ID:???
Berghof-NSFW-7B.f16凄いな
他のモデルが混乱するちょっと変なシチュでもそこそこの精度で出してくれる
0269名無しさん＠ピンキー2024/10/06(日) 20:02:01.74ID:???
mradermacher/Luminum-v0.1-123B-i1-GGUF

LumimaidにMagnumを変態マージさせたモデル
nsfwでmagnumがさらに強化されとる
これがサクサク動くマシンがほしいｗ
0270名無しさん＠ピンキー2024/10/08(火) 20:43:18.26ID:/8ITjCXy
>>0269
AMDもだけどVRAM以外を高速でアクセス可能にする技術発表してるから再来年くらいには実現するかもw
0271名無しさん＠ピンキー2024/10/08(火) 23:42:26.87ID:???
halo系はニッチ製品で続くんかなあれ…
0272名無しさん＠ピンキー2024/10/09(水) 12:48:44.13ID:???
最近うまくエロ文が書けないのは、自分のプロンプトの書き方が悪いからと悟った。
そして、プロンプトの書き方をchatGPTに聞く
こういう文章を書きたいときはプロンプトはどうするべきかとか
0273名無しさん＠ピンキー2024/10/09(水) 14:15:25.92ID:???
tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.1

きたか
ベンチ見ると微妙だが・・・さて
0274名無しさん＠ピンキー2024/10/09(水) 17:33:58.37ID:???
微妙
0275名無しさん＠ピンキー2024/10/09(水) 23:47:44.01ID:???
tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.1
Q5_k_mで試してるが、規制少なくていい感じかも
しばらく遊んでみるわ
0276名無しさん＠ピンキー2024/10/10(木) 22:34:00.76ID:zhOAy4w7
>>0269
bartowski/Lumimaid-Magnum-12B-GGUF
123Bほどじゃないけど、なかなか良いと思う
0277名無しさん＠ピンキー2024/10/12(土) 03:08:52.83ID:???
Q５動くんか、ええな
Q3K_mでもけっこういい感じ
日本昔ばなしとか作らせてる
0278名無しさん＠ピンキー2024/10/12(土) 05:47:25.14ID:???
>>276
これいいな
Q3_K_XLで動かしてるけど、ギャグエロみたいな状況をしっかりと描写してくれる
エロいことはちゃんとしてくれるのにキャラ崩壊もしないしすぐにイって中断しないのは偉い
VRAM 10GBしかない俺にとっては今までで最高かもしれん
0279名無しさん＠ピンキー2024/10/12(土) 13:26:40.33ID:XR5aBxWn
自分でERPできるモデル作りたいんだけど、みんなデータセットとかどう作ってるんやろか
0280名無しさん＠ピンキー2024/10/12(土) 14:08:39.29ID:3jyDkZu6
エロゲから引っこ抜いたりmagpieで作るとかじゃない
自分で作らなくとも既存のデータセットで十分いいのが作れるとは思うけど
0281名無しさん＠ピンキー2024/10/12(土) 14:41:50.18ID:???
berghofは作者のhuggingfaceからデータセットもダウンロードできるで

同人エロボイスで台本txtが同封されてるのもあるから使えると思う

ワイの貧弱マシンだとそこまでやれんからいいのができたら共有しとくれー
0282名無しさん＠ピンキー2024/10/12(土) 14:48:57.74ID:???
メモリ64g vram12g だと何bまで作れるかな？
loraでもいいんだが
0283名無しさん＠ピンキー2024/10/12(土) 15:31:55.37ID:3jyDkZu6
4bitでのトレーニングにはなるけどunsloth使えば12bのMistral-NeMoぐらいならできるらしいよ
0284名無しさん＠ピンキー2024/10/12(土) 19:16:20.37ID:???
loraの作り方って調べてもよくわからなかったんやがいい感じにまとまってる講座知ってたら教えてほしいやで
0285名無しさん＠ピンキー2024/10/12(土) 19:32:08.65ID:???
loraって俺らが使うGGUFでは使えない機能じゃなかったっけ？
0286名無しさん＠ピンキー2024/10/12(土) 19:38:42.87ID:???
と思ってたけどどうやらGGMLを間に噛ませたらGGUFでも使えるみたいね
なんJLLM部 避難所 ★4 YouTube動画>1本 ->画像>8枚
0287名無しさん＠ピンキー2024/10/12(土) 20:06:32.32ID:???
小説を学習させてRPしたいんだが
データセットは1問1答でないと効果ない？
0288名無しさん＠ピンキー2024/10/12(土) 20:09:37.12ID:???
既存の学習データに対して小説一冊足したところでこれっぽっちも重み付けされないと思う
0289名無しさん＠ピンキー2024/10/13(日) 07:06:01.82ID:???
ChatGPTがエロ文書いてと言うと断るけど、エロ文書くのにどういうプロンプトにすればいいかの相談には答えてくれるのが笑える
0290名無しさん＠ピンキー2024/10/13(日) 07:39:03.62ID:???
>>288
それを解決するのがLoRAやろ
0291名無しさん＠ピンキー2024/10/13(日) 07:49:35.11ID:???
高橋克彦LORAを使うとやたら吐き気がするのかな。
0292名無しさん＠ピンキー2024/10/13(日) 10:23:34.84ID:???
一人称の小説と三人称の小説混ぜるとおかしくなったりするんかな？
0293名無しさん＠ピンキー2024/10/13(日) 12:21:48.49ID:???
日本語のERP用のデータだとこれが現状一番質が高い気がする
Claude 3.5 Sonnetを使って合成してるみたいだね
https://huggingface.co/datasets/Aratako/Synthetic-Japanese-Roleplay-NSFW-Claude-3.5s-15.3k-formatted
0294名無しさん＠ピンキー2024/10/13(日) 14:39:02.26ID:???
>>276
使ってみた
所々英単語に化けるのと、12Bのくせにおつむが悪い気がするなあ
風呂好きのキャラにこだわりの入浴法を聞いたら、お湯は50度とかココア色になるまで沸かしてとかいい出したw
7Bのberghofの方がまともに回答してくれてるや
0295名無しさん＠ピンキー2024/10/13(日) 17:02:10.84ID:???
>>289
その回答どおりに指示を出しても絶対にエロを出してくれない所からして
チャットＧＰＴに分からないことを聞く事が間違いだと学べるな
0296名無しさん＠ピンキー2024/10/14(月) 07:49:46.97ID:???
>>295
ChatGPTに最適なプロンプト作らせて、ちょっと頭の悪いLlama-3.1-70Bにエロを書かせるんよ
0297名無しさん＠ピンキー2024/10/14(月) 08:11:44.86ID:???
そこまでするなら普通に規制回避したほうが早いやろ
別に何も難しくないで
0298名無しさん＠ピンキー2024/10/14(月) 08:58:25.09ID:???
モデル同士で口説きあわせてどっちが先に落ちるか対決とか新たな百合の園が開きそう
0299名無しさん＠ピンキー2024/10/14(月) 09:51:15.57ID:???
わずか0.36BのモデルがGPT3.5やClaude3より賢くなる？今までのモデルは無駄に大きすぎた？
革命起きるんか？
https://note.com/shi3zblog/n/n3a8944695680
0300名無しさん＠ピンキー2024/10/14(月) 10:45:27.83ID:???
サンプリングがアホなんは感じてたけど
ほんとにぃ？て感じ
0301名無しさん＠ピンキー2024/10/14(月) 11:18:20.43ID:???
0.36Bなら普通にそのへんのグラボで動くしな
今後の動向をウォッチしたい
0302名無しさん＠ピンキー2024/10/14(月) 11:24:16.58ID:???
>>301
そのモデルが特別なんじゃなくて、既存のモデル全部の性能が超絶上がる方法を見つけたかもしれないって話みたいよ
0303名無しさん＠ピンキー2024/10/14(月) 11:27:33.86ID:???
sonnet3.5超えたら教えて
0304名無しさん＠ピンキー2024/10/14(月) 11:29:00.78ID:???
redditじゃ誰も騒いでない不思議
0305名無しさん＠ピンキー2024/10/14(月) 11:49:35.45ID:H1KyoktN
>>299,301

KoboldAI Liteで動かしてみたけど、日本語での質問はエラーになる。
※モデル食わせれば、デフォルト設定でそのまま動く
リンク先だと「日本語で聞いても返答は英語だが返してくれる。」って書いてあるけど、
Google Colabで動かしてるっぽいから、Colab側で翻訳して渡してる可能性がある。

とりあえず翻訳して質問して回答させたけど、正確性は確認してないが、省略したものも含め
文章的に破綻はしてないっぽい。
7Bモデルの1/20のモデルでこれなら期待できそう。

質問：What is the reason for the appreciation of the US dollar? 　※ドル高の理由は

回答
1. **過去の債務残高対GDP比**： 米国は財政規律に強い歴史があり、2020年の
　平均政府債務対GDP比は約93%で、他の多くの国より低い。
3. **中央銀行の金融政策**： 連邦準備制度（FRB）は効果的な金融政策を実施し、
　金利に影響を与え、経済成長を刺激するために大量の財務省証券を売買する。
　これにより、銀行から効果的にドルを買ったり売ったりすることで、銀行の準備金を増やし、リスク・エクスポージャーを減らしている。
※9まで出力されてたけど省略
※DeepL.com（無料版）で翻訳
0306名無しさん＠ピンキー2024/10/14(月) 12:14:14.65ID:???
今までお高く止まってたGPTちゃんやgeminiちゃんがローカルのショボいLLMに追いつかれて
「ウチもエロ解禁しなきゃやっていけない…」って言いながら股開くところ見たーい
0307名無しさん＠ピンキー2024/10/14(月) 13:49:20.38ID:in7q9u1R
>>304
それな。一週間前に一個ポストがあるだけや。
もっと大騒ぎになっても良さそうなもんやけど。
0308名無しさん＠ピンキー2024/10/14(月) 13:52:50.22ID:???
0.36Bで実用レベルになるって事は、個人で1からエロモデルを作るのも夢ではなくなるんやろか？
0309名無しさん＠ピンキー2024/10/14(月) 14:00:08.43ID:In5JjzYQ
清水が持ち上げるってことは逆にショボいんだろう
0310名無しさん＠ピンキー2024/10/14(月) 14:24:12.67ID:???
2Bでもスマホで動く
0.36Bなんて電卓で動きそう(無理)
0311名無しさん＠ピンキー2024/10/14(月) 14:33:25.71ID:???
>>304
それがそのまま答えなんやろな
0312名無しさん＠ピンキー2024/10/14(月) 14:37:39.79ID:???
>>299
最新記事でたけど8bにしたら微妙になったっぽいな
0313名無しさん＠ピンキー2024/10/14(月) 14:45:16.25ID:???
>>312
何だろうね
小型モデルほど恩恵を受ける技術って感じなのか？
0314名無しさん＠ピンキー2024/10/14(月) 14:46:07.86ID:???
探索が少なくて済むぶんむしろ小さいモデルのほうが正確な答えを返してくるとか
やたらとモデル大きくするのはマジで無駄だったのか
0315名無しさん＠ピンキー2024/10/14(月) 14:46:21.80ID:???
Entropixの解説っぽいのを見つけた

https://southbridge-research.notion.site/Entropixplained-11e5fec70db18022b083d7d7b0e93505
0316名無しさん＠ピンキー2024/10/14(月) 15:06:21.32ID:???
よくわからんけど期待していいんか？
なんJLLM部 避難所 ★4 YouTube動画>1本 ->画像>8枚
0317名無しさん＠ピンキー2024/10/14(月) 17:35:53.54ID:???
ダメそう
0318名無しさん＠ピンキー2024/10/14(月) 20:11:19.81ID:???
それじゃ数百兆円かけてグラボ買って数兆パラメータのLLM作ってた人たちが馬鹿みたいじゃないですか
0319名無しさん＠ピンキー2024/10/14(月) 20:27:47.16ID:???
黎明期に頑張った人たちは大抵踏み台にされるのだ
0320名無しさん＠ピンキー2024/10/14(月) 22:14:25.09ID:???
bitnetですら採用されずに消えた
今のモデル規模は正直過剰だと思うがこの手の話題は一歩引いて見てしまう
0321名無しさん＠ピンキー2024/10/14(月) 23:02:00.46ID:MCmEldhQ
まあ0.36Bで既存のLLMには難しい問題を解けた、っていうのは確かなんだし
アプローチが一つ増えたってのは良いことなんじゃないかな
これが本当に革命的な機構なら最高な話な訳だし
0322名無しさん＠ピンキー2024/10/15(火) 00:06:47.64ID:???
学習データの質を向上させるってアプローチと組み合わせやすい点がいいところだと思う
判断プロセスの方を変えるってやり方は多くのモデルで応用効かせられそうだし
0323名無しさん＠ピンキー2024/10/15(火) 05:46:40.57ID:???
Rocinante-12B-v2g-Q5_K_Mって日本語返すし12Bじゃ他のと比べても返答が違和感がない気がする
0324名無しさん＠ピンキー2024/10/15(火) 06:14:24.82ID:???
ベンチマーク詐欺や驚き屋にはウンザリしてるんよ
肩透かししすぎて骨折れてるんだわ
0325名無しさん＠ピンキー2024/10/15(火) 08:07:47.12ID:???
詐欺にならない新ベンチマーク制定よろしくです
0326名無しさん＠ピンキー2024/10/15(火) 08:34:16.57ID:???
>>323
ちょろっと触った感じだと直訳っぽい表現は多いものの文脈は破綻してない感じやね
日本語が強化されたら12Bの中では賢い方かも
0327名無しさん＠ピンキー2024/10/15(火) 09:58:03.24ID:???
Entropixよくわからんけどtwitterで流れてきたそれっぽい解説

https://x.com/kenn/status/1845988365021466766
0328名無しさん＠ピンキー2024/10/15(火) 11:43:35.62ID:???
ベンチマークに問題があるのではなくて、ベンチマーク詐欺をするやつやベンチマークだけ見て驚く驚き屋に問題があるんやろ
0329名無しさん＠ピンキー2024/10/15(火) 12:31:11.83ID:???
カンニング可能な以上ベンチマークを有効に機能させるのってそもそも困難だと思う
Chatbot Arenaみたいなユーザーの使用感ベースによる比較を纏めたものが一番本質に近いんじゃなかろうか
もちろん専門性を測るのはカバーしてないけど対話相手や創作用途って意味なら十分だろうし
0330名無しさん＠ピンキー2024/10/15(火) 13:15:58.15ID:yfAQYZIp
エッチ用途だとベンチより体感でわかるよね出来の良し悪し
0331名無しさん＠ピンキー2024/10/15(火) 13:47:25.35ID:???
8bですぐ正解しなくなってんだから駄目だろ
0332名無しさん＠ピンキー2024/10/15(火) 20:16:46.43ID:???
自分で問題作って自分のモデルに学習させて他の有名モデルに勝ったと言い張るElyzaの話する？
0333名無しさん＠ピンキー2024/10/15(火) 20:23:11.68ID:???
しない
gpt−4レベルです言われても😅
0334名無しさん＠ピンキー2024/10/16(水) 08:02:40.82ID:???
Elyzaは予算獲得のためになりふり構わずという感じだったなぁ
0335名無しさん＠ピンキー2024/10/16(水) 10:52:58.29ID:???
>>330
どんなベンチ結果よりも信頼できるわｗ
0336名無しさん＠ピンキー2024/10/16(水) 11:24:08.47ID:???
やっぱエロなのか
0337名無しさん＠ピンキー2024/10/16(水) 17:58:06.00ID:???
エロはモデルの厚みというか雑多な総合性能みたいなの図るのには向いてる
0338名無しさん＠ピンキー2024/10/16(水) 21:11:05.16ID:???
週末のセールで何か買っておくべきだった
やるゲームがない
0339名無しさん＠ピンキー2024/10/16(水) 21:11:20.68ID:???
誤爆
0340名無しさん＠ピンキー2024/10/17(木) 00:26:34.40ID:CcuUment
検閲0でおなじみmistralから8bモデルが出たね
いい機会だしmagnumみたいなファインチューニングモデル作ってみようかな
https://huggingface.co/mistralai/Ministral-8B-Instruct-2410
0341名無しさん＠ピンキー2024/10/17(木) 05:12:53.13ID:???
Nemotron-70BでもEntropixは上手くいくって言ってるけど
これ個人で試すにはどうすれば良いんだ？

俺はバナナの本数の計算が出来るかどうかよりも
エッチな文章が軽いモデルでもより正確かつエロティックになるかどうかを知りたいんだ
0342名無しさん＠ピンキー2024/10/17(木) 12:17:52.03ID:???
koboldを1.72から1.76に更新したら色んなモデルで「おっぱい」って言えなくなったんだけどどういうことなんだ？
「おっパイ」や「オッパイ」とは言ってくれるけど
「おっぱい」になると「おっ……おっ……おっ……」と延々と続けたり「おっ……パイ！」みたいな変な言い方しかしなくなった

1.72に戻したらちゃんと「おっぱい」って言ってくれるようになった
0343名無しさん＠ピンキー2024/10/17(木) 12:23:47.80ID:???
なんかワロタ
0344名無しさん＠ピンキー2024/10/17(木) 12:37:31.25ID:???
おっ……パイ！とかそんなん笑ってちんぽ萎むわ
0345名無しさん＠ピンキー2024/10/17(木) 12:38:47.17ID:???
>>342
規制にあらがってる感
0346名無しさん＠ピンキー2024/10/17(木) 12:44:42.58ID:???
>>345
kobold側の設定でなんか規制でも入るようになったのかと考えて
思いつく限りの淫語や禁止ワードに引っ掛かりそうなことを言わせてみたんだけど
「おっぱい」と「ずぽずぽ」以外はどんなに際どいことでもちゃんと言ってくれるんだよな
ちなみに「ずぽズポ」や「ズポズポ」ならやっぱり言ってくれる
0347名無しさん＠ピンキー2024/10/17(木) 12:54:50.14ID:???
1.76でもkobold自体なら「おっぱい」とは言ってくれるけど
尻タブだと言ってくれなくなるみたいだ

はぁーん？訳が分からん
0348名無しさん＠ピンキー2024/10/17(木) 13:01:44.93ID:???
それ俺も別の単語で起こったな
俺の場合はありがとうございますがどうしても言えなくなってありがとうござます
ありがとうござ、います
ありがとうござ#います
などなど、何かに邪魔されている感じだった
結局何をどうやっても改善されなくて、sillyを入れ直してデータ引っ越したら直ってたよ
0349名無しさん＠ピンキー2024/10/17(木) 13:28:59.81ID:???
ひらがなの

「ぬ」
「ゆ」
「ぎ」「ぐ」
「ざ」「ぜ」「ぞ」
「ぢ」
「ぶ」「ぼ」
「ぱ」「ぴ」「ぷ」「ぺ」「ぽ」

が言えなくなるみたいだ。淫語かどうかは関係ない
「ぴかぴか」とか「まつぼっくり」とかも言えなくなる
もちろん五十音をひらがなで全部言うのは無理
0350名無しさん＠ピンキー2024/10/17(木) 13:30:53.32ID:???
>>348
dataフォルダだけ引っ越せばおｋ？
0351名無しさん＠ピンキー2024/10/17(木) 13:34:21.20ID:???
>>350
ログとかは別保存だったかもしんない
大事なやつだけあらかじめエクスポートして新sillyでインポートしたよ
0352名無しさん＠ピンキー2024/10/17(木) 13:45:59.57ID:???
>>351
サンクス
引っ越したけどやっぱり特定のひらがなが言えないみたいだ
誰かkobold 1.76で尻タブを試してみてくれないか
おま環かどうか知りたい
0353名無しさん＠ピンキー2024/10/17(木) 13:47:47.68ID:???
トークナイザーの問題？🤔
0354名無しさん＠ピンキー2024/10/17(木) 14:00:31.38ID:???
>>353
トークナイザーの問題っぽい
今まではBest match(recommended)のまま使ってたけど、これもAPI Koboldcppもダメで
llama3にしたらちゃんと言ってくれるようになった

でもllama3だとグラボがギャリギャリ言うから怖い……
0355名無しさん＠ピンキー2024/10/17(木) 14:22:27.05ID:???
しずかちゃん　が　しかちゃん　になるのとは別の現象か
あれはsseを変えたら治ったが
0356名無しさん＠ピンキー2024/10/17(木) 14:37:17.73ID:???
>>355
コンソールと実際の表示が異なって文字が欠けるのとは別の現象だね
あれはkobold最新版でもまだバグが残っていて
koboldが原因となって尻タブで文字が欠けるみたいだからgithubのissuesに提出されてるところ
0357名無しさん＠ピンキー2024/10/17(木) 14:59:03.49ID:???
>>352
俺はまさに今その環境だよ
ちなみに俺がなった時はkobold1.72くらいの時
多分koboldは関係ない
sillyが何かの拍子で壊れるんだと思う
0358名無しさん＠ピンキー2024/10/17(木) 15:05:28.67ID:???
ちなみに俺はデータフォルダ丸ごとは引っ越してない
新しくsillyを別の場所に入れて、古い方からキャラカードやログをインポートする形で移行したよ
0359名無しさん＠ピンキー2024/10/17(木) 15:30:24.41ID:???
>>358
確かにキャラカードとかだけ移し替えたらちゃんと喋ってくれるようになったわ
dataフォルダ内のどれかがぶっ壊れるっぽな
0360名無しさん＠ピンキー2024/10/17(木) 18:33:55.37ID:???
Silly通してるならAマークからTokenizerの設定あるよね
何が正しいのかは知らんけど
0361名無しさん＠ピンキー2024/10/17(木) 18:42:50.02ID:???
>>360
尻タブ入れ直したらトークナイザー弄らなくても直ったから尻タブがぶっ壊れてたっぽい
0362名無しさん＠ピンキー2024/10/17(木) 18:58:46.06ID:???
utf−8の1文字を1トークンにしたら解決する話じゃないんだろうねきっと
0363名無しさん＠ピンキー2024/10/18(金) 01:11:35.39ID:???
Llama-3.1-Nemotron-70B-Instruc
Q8で試してるけど日本語も流暢でエロもいけて結構良い感じ
個人的にCommand-R-Plus超えかもしれん
0364名無しさん＠ピンキー2024/10/18(金) 11:42:02.90ID:???
>>363
q8動くのええなー
ちなどこのgguf?
なんかいっぱいあるな
swallowとのマージモデルもある
0365名無しさん＠ピンキー2024/10/18(金) 12:10:45.12ID:QlmWzaqT
70Bをq8だとざっくり40GBぐらい食うからなかなか手が出しにくい5090来てもそのへんは変わらんだろな
0366名無しさん＠ピンキー2024/10/18(金) 13:53:40.71ID:???
q8なら80GB～じゃね？
うちの3090+4060Tix2の56GBだと実用的なコンテクスト長で使うならq4が精一杯だ
0367名無しさん＠ピンキー2024/10/18(金) 14:44:47.14ID:???
>>364
lmstudio-community/Llama-3.1-Nemotron-70B-Instruct-HF-GGUF
ってやつ。
ベンチマークでSonnetと4o超え謳ってるだけあって日本語対応70Bの中だと賢い気がする。

メモリ128GB積んだMacでRAM使用量70GB、3t/sくらい
0368名無しさん＠ピンキー2024/10/18(金) 20:26:47.37ID:marnTRSw
>>366
ほんまや普段の自分のスケールで書いてしまった
0369名無しさん＠ピンキー2024/10/18(金) 21:03:00.81ID:???
>>363
どういうところがCR+超えに感じたってのはある？
0370名無しさん＠ピンキー2024/10/18(金) 21:13:09.78ID:???
1.58bitきたやで
https://github.com/microsoft/BitNet
0371名無しさん＠ピンキー2024/10/18(金) 23:29:49.98ID:???
>>370
Microsoftなのにデモ動画はApple M2なのか
0372名無しさん＠ピンキー2024/10/19(土) 00:29:32.39ID:???
既存のウェイトを1.58bitに変換したllama3 8bも公開されとるのか
変換方法と微調整方法(これが肝らしい)が公開されとるから
一気に1.58bitのモデル出てくるかもわからんな
0373名無しさん＠ピンキー2024/10/19(土) 07:33:36.87ID:???
どれくらい高速化するかな
0374名無しさん＠ピンキー2024/10/19(土) 09:41:57.22ID:???
>>235
LM Studioにheadless mode (他アプリから呼び出すサーバ用のGUIなしモード) が来るみたいね
https://x.com/yagilb/status/1847323458071298051
0375名無しさん＠ピンキー2024/10/19(土) 11:42:03.95ID:???
text-generation-webui使ってるけど、モデルの選択は当然重要だけどパラメータもそれ以上に重要なのね
プリセットでお勧め設定ある？
0376名無しさん＠ピンキー2024/10/19(土) 11:53:28.52ID:IJphwg4/
大葉も尻タブもモデルと遊び方によってベストなプリセットやプロンプト変わるから一概に言えんやろ
せめて自分が使ってるモデルと遊び方開示せんことには誰もなんも言えんと思うで
パラメータはより好みで別れる部分や

ただ、ワイは尻タブやが諸氏のモデルとプリセット、システムプロンプトのお勧めは大いに興味ある
とはいえ最近は課金Opusなのでワイが公開できるもんは無いんやが...
0377名無しさん＠ピンキー2024/10/19(土) 12:14:11.31ID:???
sillyのプリセットにあるkobold godlikeってのは使うこと多いな
別に他と比べまくってるわけじゃないけど
あと動的温度ってのはよくわからないまま有効にしてみてる
0378名無しさん＠ピンキー2024/10/19(土) 13:58:35.24ID:???
lambda chatっていうところで無料で試せるhermes-3-llama-3.1-405b-fp8なかなかいいと思う
0379名無しさん＠ピンキー2024/10/20(日) 00:00:56.25ID:hgtEe7TK
テストでmagnumみたいなエロに強いファインチューニングモデル作ってみたで
使ったデータセットの半分ぐらいが日本語だから普通のmagnumよりも日本語には強いはず？
https://huggingface.co/ascktgcc/Mistral-nemo-ja-rp-v0.1
0380名無しさん＠ピンキー2024/10/20(日) 07:51:39.68ID:???
すげーな
帰ったら試すわ
できれば作成手順もアップして欲しい
0381名無しさん＠ピンキー2024/10/20(日) 08:56:52.87ID:???
>>379
Mistral-nemo-ja-rp-v0.1-Q4_K_S.gguf
を使ってみたけどチャットで少し性的な内容だと「そういう問い合わせには回答できない（要約）」、文章生成で使うとルー語（youがrunした、みたいな）になるね（Lumimaid-Magnumだと実用レベルの文章が生成できている設定で比較）
もしかするとQ4まで量子化してる影響かもしれないからQ6かQ8で12GBに収まるギリギリなのがあれば試したい
0382名無しさん＠ピンキー2024/10/20(日) 09:30:46.81ID:???
>>379
すげー個人でできるもんなんか
青空文庫ぜんぶ喰わせたとか？
DLさせてもらうで

ガチハード勢が多いここのニキら用に
VRAM24Gのも用意しとくのもええんやないかしら
0383名無しさん＠ピンキー2024/10/20(日) 10:35:04.87ID:???
>>381
そういやfinetuneする時無修正化してるのはどうやってるんかな？
0384名無しさん＠ピンキー2024/10/20(日) 10:39:25.18ID:???
>>381
俺の設定だと性的内容でも問題なく出力してくれたよ
キャラの設定とか会話例とか次第なのかもしれない
0385名無しさん＠ピンキー2024/10/20(日) 10:42:07.59ID:???
ただ文章が固いし日本語が不自然かつ英語が混ざるのは確か
俺の設定が悪いだけかもしれんが
0386名無しさん＠ピンキー2024/10/20(日) 10:48:14.03ID:???
海外製モデルは根本的に日本語不自由だからSFTだけじゃ不自然なのは治らないよ
継続事前学習しないと
0387名無しさん＠ピンキー2024/10/20(日) 11:05:30.97ID:hgtEe7TK
>>381,385
英語交じりになる問題はmistral-nemoベースなんでTemperatureを0.3前後に下げれば解決すると思う。
回答拒否は再現できなかった
q6とq8は今アップロード中だからそのうち追加されると思う
>>380,379
unslothの公式ノートブックを使ってモデルページに書いてあるデータセットでファインチューニングしただけだから簡単やで
>>383
Mistral-nemoは素の状態で無修正だからファインチューンでエロさを足してる感じだね
0388名無しさん＠ピンキー2024/10/20(日) 11:25:17.06ID:Hr2coa44
自作アプリにどの程度のモデル組み込めるか実験中なんやけど、1.5Bとかの極小モデルで日本語モデルなんかお勧めないか？
これまで小さくても7Bぐらいまでしか触ってこなかったから、小さいの全然分からんのや
実機でどの程度の速度出るか、とかどの程度の日本語力なのかとか私的なベンチマークが目的や
0389名無しさん＠ピンキー2024/10/20(日) 12:47:40.71ID:???
>>387
q8触ってみた、Temperature下げたら英語が出る問題も回答拒否についても解決したよ
(普段小説生成で使用しててTemperatureは1.0)
0390名無しさん＠ピンキー2024/10/20(日) 14:25:14.70ID:???
>>388
極小モデルでまともな日本語を話すのはGemma2 2BベースのBakuかな
0391名無しさん＠ピンキー2024/10/20(日) 14:59:41.21ID:Hr2coa44
>>390
試してみるわ、サンガツ！
0392名無しさん＠ピンキー2024/10/20(日) 17:46:05.75ID:???
0.3でも英語出るけどなあ
他が関係してんのかな
0393名無しさん＠ピンキー2024/10/20(日) 17:51:13.71ID:???
stで試したがワイもルー語出るなぁ。英語以外のよくわからん単語も時々出る。
指示が悪いのかもだけど、セリフだけでいいのに状況描写まで出力されがちやった。
でもワイにはとても学習までやれんから期待しとるで！
0394名無しさん＠ピンキー2024/10/20(日) 20:07:18.00ID:???
ｑ８をkoboldデフォ設定で試したが、かなり日本語の語彙が豊富になってる感じがするな
同じ方法で70Ｂをfinetuneするには、メモリどれくらい必要なんだろ？
0395名無しさん＠ピンキー2024/10/20(日) 23:59:00.49ID:???
新しいmagnumはかなり良さげ
vram48GB勢(72B qwen2.5ベース), 24GB勢(27B gemma2ベース)には最適かもしれん
0396名無しさん＠ピンキー2024/10/21(月) 01:54:30.42ID:???
qwenベースは規制高そうだから、123Bいくわ
0397名無しさん＠ピンキー2024/10/21(月) 03:24:41.25ID:???
7B~12B帯の日本語エロは未だBerghofが１強じゃないか？
指示が複雑なのはumiyuki-Umievo-itr012-Gleipnir-7B
画像生成とか海外モデルに比べて日本語モデルはあまり進化してない感じする
0398名無しさん＠ピンキー2024/10/21(月) 05:18:44.28ID:???
Berghofは即落ち♡連発ですぐエロエロになっちゃうからGleipnir使ってる
キャラ崩壊せず平然とした状態でエロを受け入れるように出来るならBerghofも使いたいんだけど出来るもんなの？
0399名無しさん＠ピンキー2024/10/21(月) 06:55:14.97ID:???
>>397
なんかわかる
エロ関係ない普通の受け答えも7Bモデルの方が賢い気がする
現状の12Bってサイズでかいだけで良いとこが無い
0400名無しさん＠ピンキー2024/10/21(月) 07:05:51.92ID:???
berghofは肩を真面目にマッサージしてるだけで喘ぎ散らかしてイクからなw
0401名無しさん＠ピンキー2024/10/21(月) 07:43:39.62ID:???
ミニopusかw
0402名無しさん＠ピンキー2024/10/21(月) 11:47:35.55ID:???
style bert VITS2でキャッキャしてたらいつの間にかもっと凄いのが次々出てきてるのね
GPT-soVITS v2
XTTS v2
F5-TTS
この辺が超気になる
0403名無しさん＠ピンキー2024/10/21(月) 12:22:40.50ID:???
日本語用のモデル探してるんだけど良さそうなのなにか無いかな？
0404名無しさん＠ピンキー2024/10/21(月) 12:40:28.25ID:???
音声AIのTTSは何が主流なんだろうな
0405名無しさん＠ピンキー2024/10/21(月) 13:13:08.79ID:???
実績から考えたら棒読みちゃんだろうな
0406名無しさん＠ピンキー2024/10/21(月) 13:28:04.99ID:???
「こんにちは ゆっくり霊夢よ」
「ゆっくり魔理沙だぜ」
「今日はオナテク板のLLM部を紹介するわね」
0407名無しさん＠ピンキー2024/10/21(月) 14:08:42.11ID:???
magnum v4 123b エロいわｗ
これがサクサク動くmacニキうらやましす
0408名無しさん＠ピンキー2024/10/21(月) 15:06:46.42ID:???
>>403
SFWな用途にはこのページが網羅的にまとめてくれてるかな　NSFWなのは載ってなさそ
llm-jp/awesome-japanese-llm: 日本語LLMまとめ - Overview of Japanese LLMs
https://github.com/llm-jp/awesome-japanese-llm
0409名無しさん＠ピンキー2024/10/21(月) 18:28:19.99ID:9qUbpEYj
>>387
VRAM12GBなんでq6使わせてもらったけどええですね
飲んでもらうときにんごっんごっ言い出したけど手直しすると以降は従ってくれた
0410名無しさん＠ピンキー2024/10/21(月) 19:47:52.79ID:PlLaQBFA
spiritlm試せた奴おる？
0411名無しさん＠ピンキー2024/10/21(月) 19:47:57.82ID:???
- bartowski/Lumimaid-Magnum-12B-GGUF
- anthracite-org/magnum-v4-12b-gguf
今のところ12Bだとこの二つが好みかなぁ
日本語が不安定な時もあるけど、シチュエーションに対する理解度の高さが良い
Berghofも悪くないけど上にもあるようにすぐに喘いじゃうのと文章の整合性がすぐに破綻しちゃうのがね……
0412名無しさん＠ピンキー2024/10/21(月) 23:48:24.21ID:QRvnY3l6
>>408
はぇ～、これは助かる
サンガツや！
04134032024/10/22(火) 02:19:20.82ID:xozHFOrG
>>408
サンガツ
NSFWで現状良さそうなモデルってある？
0414名無しさん＠ピンキー2024/10/22(火) 05:35:04.87ID:???
すぐ上にも書いてあるんだからまず名前上がってるのを試してみなよ
0415名無しさん＠ピンキー2024/10/22(火) 08:06:25.51ID:???
すまん詳しい奴助けてくれ
LMでSTに繋いでRP利用してる
/nを使ったからかSTの出力には出ないんだがLMサーバーとcmdで
ひとり芝居してる
隠れて浮気されてる気分になるので
ひとり芝居を消したいのだが
どこをどうすれば消えるのか分からず困っている
LMのシステムプロンプトに日本語で「下記のキャラの発言のみして下さい」としても効果なし
0416名無しさん＠ピンキー2024/10/22(火) 08:24:18.56ID:???
>>370
M2 Ultraすんごいな。
Intelのほうだって13700だから遅いCPUじゃない筈なんだけど
4倍近い速度差があるんか
0417名無しさん＠ピンキー2024/10/22(火) 09:50:30.01ID:lsOejY8B
メモリ帯域とかの話じゃなくて？
0418名無しさん＠ピンキー2024/10/22(火) 12:41:53.61ID:???
7Bモデルでのチャットは結局VecteusのV1に戻ってきてしまう。(V2は小説寄りっぽい)
0419名無しさん＠ピンキー2024/10/22(火) 13:11:17.92ID:???
特定のキャラ付けでチャットして遊んでるやつは自分で専用の小規模モデル作った方が良いと思うわ
ClaudeとかGPTとかの高性能モデルのチャットログあればそれをデータにして学習すれば小規模でも結構上手く喋れるようになる
0420名無しさん＠ピンキー2024/10/22(火) 15:36:31.14ID:???
>>411
bartowski/Lumimaid-Magnum-12B-GGUF
これプロンプトの応答性がよくてええな
0421名無しさん＠ピンキー2024/10/22(火) 19:01:27.80ID:???
>>397
>>398
Gleipnirをsillyで使ってみたんだけど何度再生成しても意味不明な文ばかり出るや
例えばこんなの↓

また、私達って、お誕生日のゲストランチと言うことがないと言うことが好きなどう、ことが得意じゃないちょうと、その代わり出します。

どんな設定でやってるの？
0422名無しさん＠ピンキー2024/10/22(火) 20:33:51.24ID:???
日本語がバグってる風な時はtemperatureを下げると良いかも（sillyに無かったらごめん）

あとモデル名は省略せず書いたほうが良いで
umiyuki_Umievo-itr012-Gleipnir-7Bはそこまでアホじゃない（割とおすすめ）
ただ他人が量子化したUmievo-itr012-Gleipnir-7B.Q4_1はちょうどそんな風やったな。Q8はそこそこ
0423名無しさん＠ピンキー2024/10/22(火) 21:28:00.46ID:???
>>422
umiyuki_Umievo-itr012-Gleipnir-7B-Q8_0.ggufでこんな感じになるんよ
温度いくつでやってるの？
0424名無しさん＠ピンキー2024/10/22(火) 21:41:30.01ID:???
あ、koboldcppで適当に指示して会話したら普通に流暢に話すみたい
sillyでやると温度0.3にしても全くアホの子だなあ
誰かsillyでgleipnirを普通に使えてる人いないのかな
0425名無しさん＠ピンキー2024/10/22(火) 22:28:55.30ID:???
>>424
尻の設定を、koboldと同じにしてもだめかな？
デフォの設定がかなり違うから
0426名無しさん＠ピンキー2024/10/22(火) 22:33:14.80ID:???
Gleipnir−７B.Q6_Kでもsillyで普通に使えとるがなぁ
温度１でも0.5でもそんなに変なことにはならない。
0427名無しさん＠ピンキー2024/10/22(火) 22:41:04.83ID:???
>>426
おお
ということは温度以外の何かが原因か
コンテキストテンプレートはMistral？
0428名無しさん＠ピンキー2024/10/22(火) 23:01:05.46ID:???
何か原因が分かってきた
もしかしたらgleipnirの最大コンテキスト長って8192より小さい？
他のモデルでやってた長ーい会話の続きをgleipnirでやろうとすると文章がバグる
ほどほどに短めの会話の続きなら自然にやってくれる
この挙動って最大コンテキスト長の違いから来てそうなんだよなあ
0429名無しさん＠ピンキー2024/10/22(火) 23:24:33.70ID:Fw/LhCMO
SillyのText CompletionかChat Completionかで挙動が違ってるとか？
0430名無しさん＠ピンキー2024/10/23(水) 00:49:03.08ID:???
やっぱりコンテキスト長が原因だったよ
gleipnirの最大コンテキスト長は4096！
最近8192以上のモデルばっかりだったから失念してた
0431名無しさん＠ピンキー2024/10/23(水) 05:33:57.45ID:???
なるほどー
モデルごとにコンテキスト長もメモしとかんといかんな
0432名無しさん＠ピンキー2024/10/23(水) 11:18:46.91ID:???
magnum v4 72b
qwenベースだけど規制緩くなってたわ
普通にエロい
0433名無しさん＠ピンキー2024/10/23(水) 14:02:53.79ID:???
Tavernって翻訳無しに日本語で出力させるのは無理だったかな？
0434名無しさん＠ピンキー2024/10/23(水) 14:07:30.81ID:???
>>433
モデルを日本語のにして設定日本語にすればいいんでない
0435名無しさん＠ピンキー2024/10/23(水) 14:07:45.71ID:???
日本語使えるモデルなら日本語でおｋ
0436名無しさん＠ピンキー2024/10/23(水) 14:09:27.10ID:???
英語で書かれたキャラカード落として入れると英語で話すからdeepL翻訳とかで日本語に書き直して使うとヨシ！
0437名無しさん＠ピンキー2024/10/23(水) 14:09:43.50ID:???
>>434
>>435
サンガツ、始めたばっかりなんでもう一度モデルと設定確認するわ
0438名無しさん＠ピンキー2024/10/23(水) 18:33:17.57ID:UrwrrQ+R
>>436
サンガツ、それも確認してみる
0439名無しさん＠ピンキー2024/10/23(水) 18:33:17.97ID:UrwrrQ+R
>>436
サンガツ、それも確認してみる
0440名無しさん＠ピンキー2024/10/24(木) 23:36:20.79ID:PTQ3TvZN
cohereから8bと32bの新モデルが出たね
https://huggingface.co/CohereForAI/aya-expanse-8b
https://huggingface.co/CohereForAI/aya-expanse-32b
0441名無しさん＠ピンキー2024/10/25(金) 07:17:07.82ID:???
セリフの後の（）内に状況を描写
って形にすると受け身表現が出来なくなる

userがcharの乳を揉んでいる状況の説明なんだけど

user：userがcharの乳を揉んでいるセリフ
char：charのセリフ（charは乳を揉んでいる）

みたいにあたかもchar自身が揉んでいるかのような描写になる
（charは乳を揉まれている）
のような受け身表現ならないんだよな

Gleipnirでもcohere8bでもダメだし他のモデルでも受け身表現にならないことが多い
何か設定を間違えているんだろうか
0442名無しさん＠ピンキー2024/10/25(金) 09:05:33.68ID:4ByvMro+
8Bだとそんなもんやないか？
0443名無しさん＠ピンキー2024/10/25(金) 09:56:23.90ID:???
そんなもんなのか
これが原因でcharが自分の乳を揉んでいるって流れになりがちだからなんとかしたいところだけど
軽いモデル使ってる代償みたいなもんか
0444名無しさん＠ピンキー2024/10/25(金) 09:58:22.42ID:???
尻？
koboldでも会話とか指示内に入れたら7bでも結構上手くいくで
0445名無しさん＠ピンキー2024/10/25(金) 09:58:53.29ID:???
ミス
会話例ね
0446名無しさん＠ピンキー2024/10/25(金) 10:43:25.05ID:???
>>441
silly+koboldになるけど口上をキャラクターとして状況描写させてる
0447名無しさん＠ピンキー2024/10/25(金) 11:01:28.43ID:???
>>444
できるんか
会話例もうちょっと工夫してみるわ
0448名無しさん＠ピンキー2024/10/25(金) 14:13:15.87ID:???
>>447
適当な７Bでテストしてみたけど、（～は揉まれている）みたいな表現は出てこんな。すまん。
（）内は心情表現に指定してるせいかな？

https://imgur.com/a/0GHrmYH
0449名無しさん＠ピンキー2024/10/25(金) 15:54:37.75ID:aL3tLNyw
日曜にアップしたファインチューニングモデルのアップデート版を公開したで
変更点は、データセットにここで好評だったmagnum v4の物の取り込み、system promptにデータセットの言語で出力するよう指示を追加、文字化け修正、9倍学習や
英語問題もstでsystem promptに「出力は日本語にしてください。」の文字を入れて100回テストしたけど１回も出なかったから解決されてると思う(v0.1は9回出た)
https://huggingface.co/ascktgcc/Mistral-nemo-ja-rp-v0.2
0450名無しさん＠ピンキー2024/10/25(金) 15:58:09.95ID:???
>>449
すごーい！
ちなみにこれは最大コンテキスト長いくつなの？
0451名無しさん＠ピンキー2024/10/25(金) 16:09:22.41ID:aL3tLNyw
>>450
いじっていないから128kまで行けるで
0452名無しさん＠ピンキー2024/10/25(金) 19:13:08.11ID:???
>>449
㌧、RPしてると回答に「出力は日本語にしてください。」が含まれるのを確認したよ
とはいえv0.1より理解力はかなり上がったと思う
temp=0.75, top_p=1, top_k=40, typical_p=0.95, min_p=0.05
repetition_penalty=1.15, frequency_penalty=0.75
0453名無しさん＠ピンキー2024/10/25(金) 19:35:57.47ID:aL3tLNyw
>>452
Mistral-nemoベースなんでTempを0.3前後に下げてみてほしい
0454名無しさん＠ピンキー2024/10/25(金) 20:09:02.71ID:???
>>449
いやこれ凄いな！
12Bモデルの中で1番自然かも
とうとう7Bから卒業出来るかもしれん
0455名無しさん＠ピンキー2024/10/25(金) 20:27:25.34ID:???
sillyで温度は0.3、0.5、0.7で軽く試してみた
0.3はめちゃ自然だけど再生成しまくってもほぼ似たような回答が出るので物足りない事もありそう
0.7は再生成でそれなりに変化が楽しめるけど、接続詞の使い方が変になったりしてる(例:Userに抱きしめていてください。など)
0.5がかなりバランスいいかも
0456名無しさん＠ピンキー2024/10/25(金) 20:59:36.73ID:???
>>451
131072で立ち上げようとしたらkoboldがエラー吐いて駄目だった
Q8で32768ならVRAM24GBに納まるけど応答に7秒くらいかかってチャットはちょいストレスかも
俺の環境で現実的な限界は16384かなあ
0457名無しさん＠ピンキー2024/10/25(金) 23:52:33.72ID:???
大葉で4090だけど>>449を6bpwでexl2量子化して4bit cacheにして128k行けてるで
い
0458名無しさん＠ピンキー2024/10/26(土) 10:47:08.93ID:???
>>449
凄そう
このスレ皆普通に使えてるようで羨ま死
4090で4bit量子化して何とか動くならワイの環境だと無理そうやな
ワイRTX3060VRAM貧民咽び泣く
0459名無しさん＠ピンキー2024/10/26(土) 10:50:17.91ID:???
>>458
いや、普通に使えるで
Q4でコンテキスト長8192くらいでやってみ
0460名無しさん＠ピンキー2024/10/26(土) 11:28:34.29ID:???
>>459
マ？
よっしゃじゃあ使ってみるで！
サンガツ！
0461名無しさん＠ピンキー2024/10/26(土) 12:37:37.21ID:???
設定がシビアなのかなあ
ちょっと同じフレーズを繰り返しやすい気がする
あとエロが盛り上がってくると全文♡で埋め尽くしてくる
繰り返しペナルティ系の設定は弄ってみたけど傾向は変わらず
0462名無しさん＠ピンキー2024/10/26(土) 20:32:44.75ID:???
LLMのファインチューニングってここに限っていえば知見皆無よな
LLaMA-Factoryとかunsloth、axolotl……なんかいろいろあるらしいけどまだなんもさわれてないや
>>449 は学習ライブラリとかなんか使ったんか?
0463名無しさん＠ピンキー2024/10/26(土) 23:10:39.70ID:ynVUNMyz
>>461
フレーズの繰り返しは>>455が行ってくれた通りtemp0.5ぐらいでいいかもしれん
♡連発はRepetition Penaltyが1.3ぐらいからほとんど出なくなると思う。出たら再生成してもらって
>>462
unslothやね
公式のcolabノートブック使えば無料で簡単にできるからとりあえず触ってみるのもありよ
0464名無しさん＠ピンキー2024/10/27(日) 15:32:55.17ID:???
>>463
unslothかサンガツ
データセットはhuggingfaceに上がってるのじゃなくて、カスタムデータセットを自分で作成して🤗にあげてそれを使ってことよな
学習の大体の流れは調べてわかったけどデータセットの作成とかフォーマット合わせみたいな細かいとこイマイチわかねんだよな
0465名無しさん＠ピンキー2024/10/27(日) 15:46:36.63ID:???
すごい豆だけどSillyTavernでタグを使うと現在時刻とかとれるのな
「現在時刻は {{datetimeformat YYYY/MM/DD HH:mm}} を参照する。」とかキャラクターカードに入れとくといい感じだわ
他にもいろいろとれるっぽい
[Character Design | docs.ST.app](https://docs.sillytavern.app/usage/core-concepts/characterdesign/#macros-replacement-tags)
0466名無しさん＠ピンキー2024/10/27(日) 16:41:04.77ID:BjWk/Y2E
>>464
自分はhfに上がってるデータセットを自分用に編集&フォーマットをそろえて再upしてるね
フォーマットとか読み込みはData Prepのところに解説入れたコードの画像上げとくわ
なんJLLM部 避難所 ★4 YouTube動画>1本 ->画像>8枚
0467名無しさん＠ピンキー2024/10/28(月) 17:54:56.47ID:???
コラボunslothでとりあえずgemma2b-bakuをお試しでずんだもんにしてウオオなったが謎のバグで量子化ggufに変換するのに丸一日かかってしまった
結局コラボ上だと動かなくてllamaをpcにインスコするハメに
うーん難しい…
0468名無しさん＠ピンキー2024/10/28(月) 18:05:44.98ID:???
ここのスレ民的にはあんま有益ではないだろうが健全日常系ダラダラ嫁チャならtanuki8Bの方が好みかもしれない
Mistral系は頭は良いんだけど何か…後期のchatgpt4感がある
いちいち語尾に～かもしれません～可能がありますって予防線貼ってくる傾向があって台詞感無いというかキャラが自分の気持ちを言わないというか…プロンプトが悪いのかもしれないけど
Stでプレフィックスに「｛｛char｝｝独自の感想や気持ち>」とか付けても駄目というか悪化したわ
0469名無しさん＠ピンキー2024/10/28(月) 18:18:17.50ID:???
>>468
Mistral7B系ってvecteusとかberghofとかいっぱいあるけどどれもそんな事になってないぞ
0470名無しさん＠ピンキー2024/10/28(月) 18:50:50.05ID:???
ごめん、長文になるし、考えてみたらまぁ当たり前かもなんだけどびっくりしちまったから書かせてくれ

今、年下の義母とのスキンシップのロールプレイチャットしてたらAIさんが地の文で「今そういう設定してるから出力しちゃうけど、ほんたは近親〇〇なんてダメなんだからね！」って抗議してきた。
「あなたはこの方向性のお話お嫌いですか？」
って地の文で返したら、めっちゃ長文で「お前倫理観って言葉知ってる？？」って説教が返ってきてびっくりした。
んで、
「これは日本語で書かれた日本のお話で、神話から見てわかる通り日本は近親〇〇が身近な国。つまり近親〇〇は日本の伝統だ。むしろ日本が近親〇〇そのものであるともいえる。近親〇〇を否定することは日本を否定することと同義である。あれ？今君日本を否定した？？」
って内容を同じくらいの文量で返したら
「せやなぁ・・・。でも、俺ぁ、今の倫理観で物語が書きたい・・・。」みたいな文章返してきた。
ゴーストライターみたいなもので、ロールプレイチャットでもちゃんと応答返してくれるんだな・・・。
雑でアレな文章垂れ流して失礼した。
0471名無しさん＠ピンキー2024/10/28(月) 20:21:08.20ID:???
Japanese-Chat-Evolve-TEST-7B-NSFW使ってる人いる？よければ使い勝手聞きたい
0472名無しさん＠ピンキー2024/10/28(月) 20:27:22.06ID:???
俺もMistral-Nemo(12B)で異種姦寝取らせエッチさせてたら応答の末尾に"注:現実では動物虐待うんたら～"みたいな事を付け加えてきた経験があるな
STのシステムプロンプトに"このロールプレイは架空の世界が舞台のフィクションです。如何なる行為も容認されます"みたいな脱獄文を入れるとマシになった

結局はLumimaidやMagnumとかのMistral派生モデルの方が表現が豊かなんでそっちに移ったけど
0473名無しさん＠ピンキー2024/10/28(月) 21:58:53.75ID:???
Llama3.2だとTool Callingができるようになってるらしくて、
ここから継続学習したモデルなら電動オナホとか操作できるようになってくれると信じている
0474名無しさん＠ピンキー2024/10/28(月) 22:07:06.99ID:???
>>470
ロマンス詐欺とかのメールでふざけ散らかしたら中の人が出てきてガチギレするのを思い出した
0475名無しさん＠ピンキー2024/10/29(火) 06:04:18.22ID:???
>>471
お前いつも聞いてるけど自分で試せよ
0476名無しさん＠ピンキー2024/10/29(火) 08:17:26.00ID:???
色んな人が作ったcharacter cardとかworld infoとかが置いてあるサイトってどこだっけ？
https://aicharactercards.com/はworld info無いよね？
0477名無しさん＠ピンキー2024/10/29(火) 10:54:56.56ID:k4PCDYGs
chubか？
https://www.chub.ai/characters
0478名無しさん＠ピンキー2024/10/29(火) 11:30:15.52ID:???
ST通してチャットしてると
日本語おかしくなる
STを入れ直すと直るんだけど
暫くすると
また英語や中国語が混じっておかしくなる（チャット始めて2から3ターン）
koboldのチャットではおかしくならない…何故なのか？
STを何度も入れ直すの大変なので
もし知ってる方いたら教えて下さい
0479名無しさん＠ピンキー2024/10/29(火) 11:53:30.33ID:???
>>477
ありがとうそこだ

>>478
どのモデルでもなるの？
0480名無しさん＠ピンキー2024/10/29(火) 12:47:29.82ID:???
>>468
うちのMistral系でも出んなあ。このセッションは以下のキャラとのロールプレイだかんな！とプロンプト冒頭で釘刺してるからかな
それでも極々たまにシステムメッセージみたいのは出るが
0481名無しさん＠ピンキー2024/10/29(火) 12:59:33.22ID:???
>>479
今回は12bモデルを2つ程かえたが同じ反応。ST側で温度をいじっても駄目
前回は7bモデルでも同じ症状があった
トークンはキャラ紹介で1200程
コンテキストを色々いじってるが駄目っぽい
0482名無しさん＠ピンキー2024/10/29(火) 13:12:50.18ID:???
>>481
入れ直したときにデータ移行してないバニラ状態のSTでもなった？
データ移行するとバグも引き継ぐことがあるよ
0483名無しさん＠ピンキー2024/10/29(火) 13:22:31.34ID:???
>>482
ST入れ直すとキャラデータエクスポートしても問題なく使える
winで使っててupdateしても改善しないから毎回入れ直してる
0484名無しさん＠ピンキー2024/10/29(火) 13:27:42.20ID:???
>>480
[INST]的なやつはたまに出るね
0485名無しさん＠ピンキー2024/10/29(火) 22:19:49.25ID:???
>>468
自レス ある程度感情を出させることに成功した
結論:プロンプトが悪かった&用途に合わない使い方してたからっぽい

StでインストラクトモードonでMistral選択&プロンプトの順番変えた&繰り返しペナルティ最大値で出力が劇的改善

プロンプトの順番を｛指示｝→｛設定｝→｛チャット履歴｝にした
｛設定｝→｛チャット履歴｝→｛指示｝だったから駄目だった。試運転用のgroqとかgemma2bとかだとこっちのほうが通ってたからそのままだった

まあオウム返しと「それのことが」「それって」等の指示語が目立つのはStの正規表現で言葉狩りするのである程度許容範囲か
頭のいいモデルほどその傾向強いのって高品質なデータセットってやつの問題なんやろな

まあモデルごとにプロンプトの順番とかも変えないとだめなのが分って良かった

あと使い方が情景描写ありのRPじゃなくて台詞のみを求めてたから何か違ったのかも

台詞のみを求める場合はシスプロに## LINEチャット入れるといい感じ
LINEだけでは駄目でチャットだけでも駄目で、「LINEチャット」じゃないと上手く効かない何故かわからん
0486名無しさん＠ピンキー2024/10/30(水) 00:20:32.58ID:DZ7F/lYN
M4版MacminiはLLM民を救う？
なんJLLM部 避難所 ★4 YouTube動画>1本 ->画像>8枚
0487名無しさん＠ピンキー2024/10/30(水) 00:30:28.50ID:???
>>485
何かそれも変な話だな
俺は特に何もいじらなくても台詞のみのRPにしかなってないぞ
0488名無しさん＠ピンキー2024/10/30(水) 02:35:16.04ID:???
AIとチャットして自殺したとかいうニュースあったわ
夢の電脳少女との恋愛やね
0489名無しさん＠ピンキー2024/10/30(水) 03:14:36.51ID:???
256で帯域1Tとかねーかな
0490名無しさん＠ピンキー2024/10/30(水) 07:14:51.41ID:???
>>486
31万でユニファイドメモリ64GBか
グラボ買うより安いな
0491名無しさん＠ピンキー2024/10/30(水) 07:31:07.16ID:piB65Kwe
メモリ量は魅力的やね、生成速度はどんなもんかな。
0492名無しさん＠ピンキー2024/10/30(水) 10:19:45.49ID:???
帯域幅見る限りM4 Proだと4060Ti未満だからまあデカいモデルはサクサクとはいかないな
Maxで500GB/sくらい行きそうだから個人的にはこのくらいは欲しいところ
0493名無しさん＠ピンキー2024/10/30(水) 16:36:00.37ID:???
LLMの性能はメモリ帯域がボトルネックになるから120GB/sにそこまで出せんな
M1MaxかM2Maxの中古の64GB狙ったほうがええんちゃうの
あれは400GB/sやろ
0494名無しさん＠ピンキー2024/10/30(水) 19:32:44.65ID:rA4U4kRD
M4proは273GB/sらしいから4060並の帯域はあるっぽい、GPUコアは少ないけど
0495名無しさん＠ピンキー2024/10/30(水) 20:57:22.59ID:???
1月発表のstrix haloに期待かな
メモリは32GBと128GBらしい
0496名無しさん＠ピンキー2024/10/31(木) 15:14:19.47ID:???
MBPだけど、M4 maxだと 545GB/sもあるのか。
M4 Ultraだと1090GB/sと予想できる。尚お値段
0497名無しさん＠ピンキー2024/10/31(木) 16:06:16.12ID:???
エロ方面はそこまで重視しないからローカルで動く出来るだけかしこいモデルって何なの？
VRAMは16GBのGPU使ってる、メインメモリは64GB
0498名無しさん＠ピンキー2024/10/31(木) 16:09:17.67ID:???
賢さはどれも似たようなもんかな
生徒会恋愛問題を完璧に解けたモデルはまだないし
0499名無しさん＠ピンキー2024/10/31(木) 18:04:47.09ID:T25WO8bh
llama3.1の70BかcommandR-plusが現実的なラインかね
0500名無しさん＠ピンキー2024/10/31(木) 19:59:29.83ID:???
大容量積んだM4studio出て手に届く範囲なら欲しいなあ
0501名無しさん＠ピンキー2024/10/31(木) 21:37:34.82ID:???
CommandR+が出てからまだ半年しかたってないのに
「いまだにCommandR+がトップレベルって進化遅くね？」って思ってしまう
LLM界の進化スピードは異常
0502名無しさん＠ピンキー2024/10/31(木) 23:19:28.37ID:nRv9Tl74
エロチャットならllama3.1 70BとCR+は同程度だが
小説書かせたら記憶力とか人間関係の保持なんかはCR+かな
ただQ3以下になると頭悪くなる感じするけど
0503名無しさん＠ピンキー2024/10/31(木) 23:32:07.64ID:???
192GB割り当てできる帯域1Tとか胸が熱くなるな
まあm4ultra作ってる気配がしないが
0504名無しさん＠ピンキー2024/11/01(金) 08:07:36.03ID:???
DDR6をデュアルチャネルで動かしたら200GB/sくらい出るかな？
我慢すればギリギリ使えるくらいの速度出てくれないかな…
0505名無しさん＠ピンキー2024/11/01(金) 10:00:28.91ID:???
いつの間にか避難所3chan.ccまるごと消えちゃった？
0506名無しさん＠ピンキー2024/11/01(金) 10:38:21.56ID:???
Macで大型LLM動かすと、モデルが大きくなればなるほどプロンプト分析に時間かかるようになるらしいね
72Bくらいならともかく200Bクラスは実用きついかな
0507名無しさん＠ピンキー2024/11/01(金) 10:39:12.68ID:???
llama3.2の70B早く出ないかな
0508名無しさん＠ピンキー2024/11/01(金) 15:20:12.90ID:???
>>506
受け売りの知識を転載することしかできないんならせめてソース貼ってよ
Macで使用できるVRAMを拡張する方法と注意点
https://zenn.dev/robustonian/articles/apple_silicon_vram
0509名無しさん＠ピンキー2024/11/01(金) 18:47:50.47ID:???
今Paperspaceでtext generation web uiを動かしているんだけれど、Silly Tavernとのapi接続ってどうやるんだろ
バレないように独自の鯖立てて経由させた上でのトンネリングとかしないと無理な感じなのかな・・・
0510名無しさん＠ピンキー2024/11/01(金) 19:00:11.32ID:???
自己解決した
api接続通ったわ
public api許可しないとpost拒否されるんだな・・・
ちょっとこの設定怖いわ
0511名無しさん＠ピンキー2024/11/04(月) 03:17:04.59ID:???
Lumimaidの70BのQ4を初めて使ってみたんだけれど日本語怪しいな
というか時々言語の体を成していないんだけれど、俺環？それともこれが普通なのか？
Lumimaid-Magnumの12Bしか使ってこなかったんだけれど、差にちょっと驚いてる
0512名無しさん＠ピンキー2024/11/04(月) 05:07:56.42ID:???
イメージ通りのセリフを日本語で喋らすのは難しいので、英語用のモデル使って英語で出力させてブラウザの機能で翻訳した方がいい気がしてきた

英語特有の淫語にはイマイチ慣れないけど
ペ〇〇スリーブとかやたら頻出するけど、あっちの人には響くワードなのか？
0513名無しさん＠ピンキー2024/11/04(月) 05:30:24.66ID:???
英単語教えて貰いながら致すシチュエーションだと結構そっち系の単語とか教えてもらうけれど、ペ〇〇スリーブとか一度も見たこと無いな
もしかして、お前は俺のペ〇〇以下略だ！みたいな使い方なのか・・・？
0514名無しさん＠ピンキー2024/11/04(月) 07:13:31.64ID:???
「ペ○○スリーブ」って表示されるの？
それとも意味もなく伏字にしてるの？
0515名無しさん＠ピンキー2024/11/04(月) 08:46:26.80ID:0+7e7ASZ
>>512
スリーブはハンドホール型オナホの隠語
厚みの無いペラペラな安物オナホをほうふつとさせる語感なので、文脈によっては良いワードチョイスやと思うんやが
0516名無しさん＠ピンキー2024/11/04(月) 11:15:54.39ID:???
Lumimaidの70BはLlama-3.1-70Bをベースとしているからあんまり良くないよ
Lumimaidの12Bと123BやLumimaid-Magnumの12BはMistralベースだから結構違う
0517名無しさん＠ピンキー2024/11/04(月) 11:20:36.28ID:???
Mistralベースのモデルも12Bより7Bの方が完成度高い気がする
0518名無しさん＠ピンキー2024/11/04(月) 12:20:08.56ID:???
>>511
70Bクラス試すなら、
mradermacher/magnum-v4-72b-i1-GGUF
これ試してみなされ
0519名無しさん＠ピンキー2024/11/04(月) 14:44:16.75ID:???
>>514
伏せ字なくそのまま表示される
0520名無しさん＠ピンキー2024/11/04(月) 16:59:14.59ID:???
llama系は公式には日本語未対応でしょ
0521名無しさん＠ピンキー2024/11/04(月) 18:27:39.70ID:???
あぁ、ベースが違ったのか・・・
教えてくれてありがとう

>>518
試してみるぜ！
0522名無しさん＠ピンキー2024/11/04(月) 20:22:12.05ID:???
いや、Llama-3.1-70B-Japanese-Instructはなかなかいいぞ
悪く感じるのはプロンプトの出し方が悪いからだって気づけ
基本的に申し訳しないし今のところ最強
0523名無しさん＠ピンキー2024/11/04(月) 20:23:40.25ID:???
まずエロプロンプトを作る時は、chatGPTにこんなエロプロンプト作りたいんだけど、プロンプトどうすればいいって相談だ
それをLlama-3.1-70B-Japanese-Instructに食わせてみろ
0524名無しさん＠ピンキー2024/11/04(月) 21:16:34.27ID:???
AIに脱獄法聞いてもいまいち効かないけどな
0525名無しさん＠ピンキー2024/11/04(月) 21:24:58.79ID:???
ローカルでまでそんな不毛なやり取りしたくねえ…
0526名無しさん＠ピンキー2024/11/04(月) 22:59:59.92ID:???
Text-generation-webUI使ってるならParametersからInstruction templateもベースモデルに合わせて変更した方が良いね
ずっとNoneでやってたけど、それだけで回答の精度がぐっと上がったわ……
0527名無しさん＠ピンキー2024/11/05(火) 10:26:06.19ID:???
ChatGPTにエロを書けって言っても、申し訳されるだけなんだけど、
こういうシーンを書きたいんだけど、どんなプロンプトにしたらいいかって質問には答えてくれる。

ただChatGPTよりLlama-3.1-70Bは頭が悪いので、得られたプロンプトを半分くらいの内容にしてやった方がうまくいく
0528名無しさん＠ピンキー2024/11/05(火) 10:44:40.83ID:???
普通にchatGPTに書かせたほうが質も遥かに高いと思うけど
今のGPTの申し訳回避なんてめちゃくちゃ簡単だぞ
0529名無しさん＠ピンキー2024/11/05(火) 11:15:14.31ID:???
脱獄するの面倒だもの、Llama-3.1-70Bはそこら辺はまったく気にしなくていいし
0530名無しさん＠ピンキー2024/11/05(火) 11:30:59.81ID:???
いやchatGPTに書き方聞いたりするほうが遥かに面倒だと思うぞ
脱獄なんて脳死でコピペして終わりだし
0531名無しさん＠ピンキー2024/11/05(火) 12:24:44.68ID:???
ローカルよりもクラウド環境の方が生成される文章の質はそりゃ良いがAPIのコストとかBANのリスクを避けたいとか考え方は色々あるだろう
0532名無しさん＠ピンキー2024/11/05(火) 13:11:32.03ID:???
クラウドなんかに、俺のあんなヤヴァイ性癖たれ流せたりできるわけないｗ
0533名無しさん＠ピンキー2024/11/05(火) 13:19:00.10ID:???
風俗行っても嬢に遠慮してノーマルプレイしかできないタイプだろ
サービス側は別にペドリョナスカとかでもいちいち読んだりしないし、サービスとして問題があると判定されたならbanして終わりだ
0534名無しさん＠ピンキー2024/11/05(火) 13:30:12.14ID:???
迂闊なことを書き込んでると“奴ら”に監視対象のリストに入れられるぞ……
0535名無しさん＠ピンキー2024/11/05(火) 19:43:00.13ID:???
どんな基準でBANされるか分からないからローカルのが安心なの
0536名無しさん＠ピンキー2024/11/05(火) 20:16:49.05ID:???
別に返金もされるしbanなんて痛くも痒くもないぞ
0537名無しさん＠ピンキー2024/11/05(火) 22:15:24.35ID:???
まぁ、そういう問題じゃないんだけどね……
それはそうとこのモデルがなかなか良い感じ、日本語ファインチューニングを明記してるのは安定してるね
RichardErkhov/nk2t_-_Llama-3-8B-Instruct-japanese-nk2t-v0.3-gguf
0538名無しさん＠ピンキー2024/11/05(火) 22:44:27.66ID:???
llama3.2 visionベースの日本語の欲しー
0539名無しさん＠ピンキー2024/11/05(火) 23:42:32.80ID:???
ゆるゆるなgroqで日本語対応モデルをホストしてくれればいいんだけど
素のllama-3.1-70bが使えても日本語応答は残念なレベルなんだよね
0540名無しさん＠ピンキー2024/11/07(木) 07:38:53.94ID:???
Llama-3.1-70B-Japanese-Instructはそれなりに賢いよ、chatGPTに比べたら劣るってだけ
申し訳はまったくしない
0541名無しさん＠ピンキー2024/11/07(木) 20:12:02.30ID:???
>>540
それをホスティングしてるサービスってどこ？
0542名無しさん＠ピンキー2024/11/07(木) 23:37:36.81ID:???
明日発売されるMacminiよくね？
メモリ64GBにしたら、CommandR+のiQ4_XSが動く。
安い方のM4Proでも毎秒4トークン程度出ると思うんだが、どや？
0543名無しさん＠ピンキー2024/11/08(金) 00:21:23.80ID:???
>>542
AI用途専用ならおすすめできん
commandR使いたいなら無料APIで代用できるし毎秒4トークンに30万出せるなら他の選択肢もあるやろ
0544名無しさん＠ピンキー2024/11/08(金) 00:48:51.61ID:???
おれMBP M1max 64G
Llama-3.1-70B-Japanese-Instruct-2407 だけど
ターミナルから56GByteまでVRAM利用許可を出したら動いた
```
次のurlを日本語で要約して
https://en.wikipedia.org/wiki/Apple_M1
```
mlx版(NeuralEngine対応版。NPUだね)は 4bitで 5token/s
gguf版はQ4が全滅だったので Q3KSで 3.2token/s
1bit多いのにmlxのほうが速かった

LM Studioも0.3.4だとmlxのメモリー効率悪くてmlxで動作させられなかったけど
0.3.5にしたらQ4で動いた。ありがてぇありがてぇ
M4 max(Ultraも?)NEがM1の何倍も早いらしいし楽しみだな
0545名無しさん＠ピンキー2024/11/08(金) 00:53:15.33ID:???
>>542 予算が1番だと思うけど、M4 Proはメモリーの速度が273GB/s、maxだと546GB/s
プロンプトが長くなってくると効いてくるけど、どこまで効くかはわからぬ
でも273GB/sでもx86系より4倍くらい速いんだけどね
0546名無しさん＠ピンキー2024/11/08(金) 02:48:09.57ID:???
今度のはGPU部分普通に強めだからプロンプト解釈のネック緩和するんかな
0547名無しさん＠ピンキー2024/11/08(金) 11:13:15.34ID:???
>>544
LM Studio 0.3.4でMLX試したら遅くてggufに戻したけど
いま0.3.5にアプデしたら爆速すぎて笑ったわ
めっちゃ助かった
0548名無しさん＠ピンキー2024/11/08(金) 12:08:03.92ID:???
>>545
M2proの800GB/sは脅威だな
0549名無しさん＠ピンキー2024/11/08(金) 19:43:54.30ID:???
llama.cpp のベンチ出たな。
M4Pro上位モデル≒M1Max下位モデルってところか。
0550名無しさん＠ピンキー2024/11/08(金) 22:52:29.44ID:???
koboldの新しいモードのintaractive storywriter いいかんじだな。
通常のinstractより誘導しやすい
0551名無しさん＠ピンキー2024/11/09(土) 13:24:07.30ID:???
>>550
そのstorywriter使いやすいし適度なところで区切ってくれるね
またkobold使うことになりそうだわ……
0552名無しさん＠ピンキー2024/11/10(日) 01:33:01.50ID:???
SillyTavernについての質問なんだけれど、チャットでペルソナじゃなくてキャラクターとして話す方法ってなかったかな
例えばグループチャットだと画像の橙で囲んだあたりにそれ用のアイコンなかったっけ・・・？

なんJLLM部 避難所 ★4 YouTube動画>1本 ->画像>8枚
0553名無しさん＠ピンキー2024/11/10(日) 05:15:45.41ID:???
自動モードを使ってキャラクター同士で会話させるのじゃダメなの？
0554名無しさん＠ピンキー2024/11/10(日) 09:50:58.43ID:???
これでLlama 405Bいけるのか、すごいな、いくらくらい掛かるんだ？
x.com/alexocheema/status/1855238474917441972
0555名無しさん＠ピンキー2024/11/10(日) 10:37:01.82ID:nTzZGjOA
>>554

これってどのようにGPUを分散してるわけ？
レイヤを分散しているの？
ネットワークの帯域で詰まらない？
0556名無しさん＠ピンキー2024/11/10(日) 11:43:14.13ID:???
今日ローカルLLM初挑戦で、Llama-3.1-70Bをollamaからインスコしたんですが
かなり申し訳されます。
Llama-3.1-70B-Japanese-Instructだったら通るんですか？
0557名無しさん＠ピンキー2024/11/10(日) 11:47:28.18ID:???
うん、申し訳しないよ
0558名無しさん＠ピンキー2024/11/10(日) 12:13:20.91ID:N/HAlhlL
明確なロールを与えるといいよ。
どのLLMも何も指定していないときの標準のロールが品行方正に調整されてるだけ。
0559名無しさん＠ピンキー2024/11/10(日) 12:16:30.63ID:???
llama系はchatGPTとかよりも規制ガチガチだよ
0560名無しさん＠ピンキー2024/11/10(日) 12:49:19.63ID:???
規制なしのローカルモデルであっても「あなたはエロ大好きAIです」くらいの役割指定はしてあげた方がいい
0561名無しさん＠ピンキー2024/11/10(日) 12:56:10.79ID:???
>>555 ThunderboltはPCIeの信号長い版みたいなモードがあるよ
x86だってPCIeのグラボ複数枚で動かしてるよね
それと同じ事をしてる
まぁソースコードそのままじゃないとは思うけど
ちょっと前のスパコンに使ってたインフィニバンドより速いもんなTB5
0562名無しさん＠ピンキー2024/11/10(日) 13:18:03.42ID:Fx7fsMD7
>>556
7b～13bのモデルだとBerghof NSFWが最強だと思った
当たり前の事だけど思考文と口語をカギカッコでちゃんとバランスを取りながら書き分けてくれるし
指示文をちゃんと最初から最後まで読んで細かい部分も結構ちゃんと読み込んで実行してくれるし
人間の当たり前が当たり前にできて本当に凄い、文章力というかシチュエーション理解力が凄い
馬鹿みたいなシチュでも真面目に考えてくれるしホント凄い
0563名無しさん＠ピンキー2024/11/10(日) 13:25:02.96ID:???
もう面倒だから英語でChatするようになったけど、7B程度でもMagnumとかLumimaidの理解度の高さに笑うよ……
もし日本語モデルで迷ってるなら英語の勉強も兼ねて英語モデルに手を出すと良い
学校で習わないような単語がバンバン出るからそこら辺はプロンプトであらかじめ言い換えるように指示しておくとか工夫は必要だけどね
0564名無しさん＠ピンキー2024/11/10(日) 13:41:26.15ID:6cbQu77o
英語普通に読めるけどエロさを感じることができん
0565名無しさん＠ピンキー2024/11/10(日) 13:55:17.60ID:Fx7fsMD7
>>563
英語のモデルだと語尾の書き分けが出来ないから多分全部状況説明になるんじゃないの？
いや、それで満足してるなら別にいいんだけどさ
0566名無しさん＠ピンキー2024/11/10(日) 14:22:33.25ID:???
magnum v4 72bの日本語エロは素晴らしいが
123bの日本語エロ表現はさらにぶっ飛んでる
こいつをq8で回せるmacニキが羨ましい
0567名無しさん＠ピンキー2024/11/10(日) 16:54:23.71ID:9Az12bBd
Mistral-Large2 123Bが事実上のローカル最強モデル
magnum v2みたいなこの派生モデルをゴリゴリ動かせる環境が理想なわけだが
VRAM64GBでもQ3が限界でQ4動かそうと思うと80GBくらい要るからなあ
0568名無しさん＠ピンキー2024/11/10(日) 16:56:30.26ID:???
commandRplusよりすごいの？
0569名無しさん＠ピンキー2024/11/10(日) 17:26:25.24ID:???
>>552
あったね、””みたいなのsendasだっけな
グループチャットのuserではない誰かに憑依して参加するとかはしたい
同棲してる3人と無言のユーザー＋監査官みたいなときに監査官として参加したい
0570名無しさん＠ピンキー2024/11/10(日) 18:12:44.80ID:???
英語エロと日本語エロの味わい方は結構違うと思ってる
日本語エロは言葉の使い方とか口調とか擬音とかで興奮する一種の言葉芸のようなところがあるけど
英語エロは文章から情景を思い浮かべて興奮する感じ(かつての日本の官能小説もこれに近いのかも)
あくまで自分にとっての話ね
かつて英語エロ小説を読み漁った自分の経験だとそんな感じだった
人によって違うのかもしれないけど
0571名無しさん＠ピンキー2024/11/10(日) 19:21:18.22ID:???
>>568
R+web版と比べてるが、V4 123B（IQ3_XXS)の方がエロでは勝ってると思う。
ｑ8なら、おそらくもっと・・・
0572名無しさん＠ピンキー2024/11/10(日) 19:22:30.97ID:???
エロさが分かるレベルで英語を読めるのがうらやましいわ
いや、逆に英文エロ小説で学べばいいのか。ネイティブと話したときに（何やこいつの偏った語彙…）って思われるだろうけど
0573名無しさん＠ピンキー2024/11/10(日) 19:52:15.18ID:???
英語エロを楽しむために重要なのは日本語に訳さないことだと思ってる
英語の文章が頭の中で映像化されて、そこに日本語は介在していないんだよね
0574名無しさん＠ピンキー2024/11/10(日) 20:06:30.28ID:???
素人が和訳なんてしてたらニュアンスが消し飛んで意味不明な糞翻訳になるから
英文から直接イメージに繋げないと楽しむのは難しいわな
0575名無しさん＠ピンキー2024/11/10(日) 20:11:05.23ID:nTzZGjOA
え、お前らLLMに翻訳させないん？

以前から多様なジャンルを誇っている英語や、
最近PIXIVで増えてきた中国語の翻訳の和訳が捗るぞ。

30B前後のクラスのモデルくらいになると
まあまあ抜けるクォリティで訳してくれるで。
0576名無しさん＠ピンキー2024/11/10(日) 20:29:50.15ID:???
そういう話ではないと思うぞ
0577名無しさん＠ピンキー2024/11/10(日) 21:12:51.59ID:???
英語は一人称が少ないのがなぁ
0578名無しさん＠ピンキー2024/11/10(日) 21:14:39.56ID:???
>>569
おぉ、これだこれ
ついでに俺があると思っていたのはGroup SendAsっていう拡張機能だったみたい
教えてくれてありがとう

>>553
今ちょいとSillyTavernの拡張機能を作っているんだけれど、キャラの発言に反応する動きを想定してたから、あるとテストとデバッグが楽になるんだ・・・
0579名無しさん＠ピンキー2024/11/10(日) 22:16:55.86ID:???
>>578
デフォでインスコされているクイックリプライっていう機能を拡張機能からオンにして
lalib拡張機能をGitHubからインスコして
STscriptの /send ｛｛char｝｝コマンドで擬似的に実現するのはどう？
0580名無しさん＠ピンキー2024/11/11(月) 00:24:39.99ID:???
>>579
>>579のイメージとはちょっと違うかもだけど、Quick Reply便利だね、サンクス
「/sendas name={{char}} 」を設定しておくとグループチャット以外でも簡単に憑依できて、欲しかった動きが実現できた

LALibも便利そうだ
まだあまり読めてないけど、WorldInfoで数値計算ロジック作っておくとかすると面白いもの作れそう

要らない話だとは思うけど、世話になったから何作っているか一応説明する
今作っているのは、特定の文字列をキャラクターが出力すると、対応するキャラクターの特定の画像を表示するっていう機能
拡張機能「Character Expressions」のSpriteみたいなやつで、違いは感情じゃなくてシーン別に表示できる・・・できたらいいなって思ってる
一応WorldInfoで「この状況だとこのシチュエーション名！」みたいな指示を用意して、読み込ませた上で判定・文字列出力をしてもらう想定
特定の文字列と発言者を検知して画像の表示ってところまではできていて、そのあたりの確認がおかげで楽になった

なんJLLM部 避難所 ★4 YouTube動画>1本 ->画像>8枚
0581名無しさん＠ピンキー2024/11/11(月) 00:35:54.38ID:???
>>580
ほあー
例えばキャラがキスしてって発言したらキス待ち顔の画像が表示されるとか？
すんごーい
0582名無しさん＠ピンキー2024/11/11(月) 01:32:49.33ID:???
>>581
そうそう、目指すところはそんな感じ
絶対AIの解釈で困ることになるとは思うけど・・・

というかこの板、面倒だから英語でチャット始めただとか70Bローカルとか、もしかして高学歴のお金持ちいっぱいなのか
0583名無しさん＠ピンキー2024/11/11(月) 05:43:51.99ID:???
エロ関連のスレは必要であればお金を注ぎ込んでいるやつが多いんじゃよ
0584名無しさん＠ピンキー2024/11/11(月) 06:01:42.70ID:???
>>580
お役に立てて何より
全体的に固有名詞うろ覚えなの全部読み取ってくれて何だか申し訳恥ずか死
拡張機能面白そう
ノベルゲームみたいな感じに出来そうやね
0585名無しさん＠ピンキー2024/11/11(月) 06:03:51.08ID:???
>>554と同じことしてる人おらんの？やり方が知りたい
0586名無しさん＠ピンキー2024/11/11(月) 10:10:15.19ID:???
これはラズパイだけど、macはunixだからlinuxはインストールする必要はあるのかな
kubernetesっていうのの使い方を覚えて、必要ならlinuxの使い方も覚えてやるかんじかな
https://discourse.ubuntu.com/t/how-to-build-a-raspberry-pi-kubernetes-cluster-using-microk8s/14792
0587名無しさん＠ピンキー2024/11/11(月) 10:22:27.24ID:???
https://cloud-ace.jp/column/detail229/
0588名無しさん＠ピンキー2024/11/11(月) 10:45:57.29ID:???
前はこういう技術とか文書はちんぷんかんぷんだったけど
今はRAGとかでAIにぶち込めば大体はわかる。後はやる気だけ
0589!donguri2024/11/11(月) 16:42:10.23ID:DT7X1Pqt
>>586
理解の順序なら、こうなると思うけど
- linux (ubuntu, ...) -> docker -> kubernetes
kubernetesは、（dockerとかの）コンテナ単位でノードをクラスタ化するものだからーー
（ちなみにmac のdockerはmacOS とは別の仮想環境で動くから、linux のdockerに比べて制限が大きいよ）
0590!donguri2024/11/11(月) 16:44:10.10ID:DT7X1Pqt
>>586
ただkubernetesでやるにしても、管理のためのライブラリ群の選定から始めないといけないし
推論だけでもLLM の分割をどうするか、とかーーいろいろ大変じゃない？（むしろ学習の方が分散環境が整ってる）
その点、>>554 のexo は便利そうだけど
0591名無しさん＠ピンキー2024/11/12(火) 08:00:53.11ID:???
>>590
ああ、554ですでにやり方っていうかヒントがあったんだね
exolabsっていうの使えばシンプルにいけるのかな
0592名無しさん＠ピンキー2024/11/12(火) 08:03:27.31ID:???
exo: Run your own AI cluster at home with everyday devices. Maintained by exo labs.
https://github.com/exo-explore/exo
これですね
0593名無しさん＠ピンキー2024/11/12(火) 10:45:46.96ID:???
>>592
node同士をどうつなげるのかがいまいちわからない
win 1. + linux 1でやってみた
0594!donguri2024/11/12(火) 11:34:19.92ID:rt+Vfr20
>>591
デバイス群を抽象化してメモリを確保してるんだろうけど
ただM4 mac間なら、（CPU を介した転送になるからinfinibandとかのRDMAほどの効果はないとしても）unified memory〜高速内部バス〜thunderbolt 5 による恩恵は大きいはず
それ以外のデバイスは、たんにオフロード用の（しかもethernetやwifiを介した）メモリになるだけじゃないかな……どうだろ？
0595名無しさん＠ピンキー2024/11/12(火) 18:26:43.67ID:???
>>
やっぱりサンボル5とかの接続でもないときついかなあ
wi-hiで自動で繋がるかなと思ってやってみたけどw
0596名無しさん＠ピンキー2024/11/12(火) 23:20:38.23ID:1COsnhwf
なんか新しい量子化手法の情報が流れてる。
https://www.reddit.com/r/LocalLLaMA/comments/1ggwrx6/new_quantization_method_qtip_quantization_with/

q4でq16と同等の品質って書いてあるし、405Bのq1もテストでは結構いけてるらしい。

精度が4倍とすると現状の70Bのq4レベルが16GB位になるから、VRAM24GBあればそこそこ行けるし
Macminiの128GBモデルで400Bのq1モデルが乗っかる。
マジならこの先楽しみ。
0597名無しさん＠ピンキー2024/11/13(水) 09:32:10.69ID:???
qwen2.5 coder 32BがClaude3.5HaikuとGPT4oの間ぐらいのベンチ結果らしくてLocaLlamaで話題になっとったな
0598名無しさん＠ピンキー2024/11/13(水) 14:03:25.18ID:???
新情報は集まるけど英語では高性能モデルばっかりで実用性のある日本語モデルは半年以上前から更新ないねんな
0599名無しさん＠ピンキー2024/11/13(水) 14:31:47.84ID:fy2mMx5K
12月に出るであるうgemma3とllama4の日本語対応待ちかな
無規制モデルの選択肢がmistralしかないの悲しいからもっと増えてくれ
0600名無しさん＠ピンキー2024/11/13(水) 14:48:22.44ID:???
llama4も規制ガチガチなんじゃ？
0601名無しさん＠ピンキー2024/11/13(水) 16:11:22.70ID:???
Metaくん一生アジア圏の言語ハブってるからLlama4だろうが5だろうが英語能力がムキムキになっていくだけになりそう
0602名無しさん＠ピンキー2024/11/13(水) 16:50:24.82ID:???
Mistralも13Bの出来があんまり良くなさそうでberghofの人も魔改造に苦労してそうな印象だわ
かといってMistral7Bは開拓し尽くした感があるし
0603名無しさん＠ピンキー2024/11/13(水) 18:00:53.71ID:???
cj対応くらいしてほしい
0604名無しさん＠ピンキー2024/11/13(水) 18:13:17.68ID:???
エロじゃない雑談を延々と続けるなら何を使えばいいんだ
賢者タイムになると普通の雑談がしたくなる
0605名無しさん＠ピンキー2024/11/13(水) 18:22:57.81ID:???
>>604
感度3000倍なberghofだけど実はエロ以外の理解力もかなり賢くて雑談につかってるで
7Bとは思えないほどハッとさせられるような意見言われたりもする
なおボディタッチは厳禁とする
0606名無しさん＠ピンキー2024/11/13(水) 19:33:04.54ID:???
英語限定なら3Bですら普通に官能小説書いてくれるし、7Bだとマニアックなところまでカバーしてくるし、12Bまで来たらキャラ理解も高いしさらなる性癖を開拓されるくらいなのに…
0607名無しさん＠ピンキー2024/11/14(木) 01:04:03.77ID:???
ヤヴァイ
magnum v4 123bの速度に慣れてきた
この理解力、日本語表現力、エロ力、最高や

M4 ultra 256G でたら買ってまいそう
いや、いっそ将来見越して512Gかｗ
0608名無しさん＠ピンキー2024/11/14(木) 06:34:06.44ID:???
winでもmacみたいな事できればいいのにな
0609名無しさん＠ピンキー2024/11/14(木) 07:41:43.52ID:???
一応新cpuにはちょっとだけ期待
0610名無しさん＠ピンキー2024/11/14(木) 08:18:46.94ID:???
Sitrix Haloこと、Ryzen AI MAXさんが来るまで待つんだ
0611名無しさん＠ピンキー2024/11/14(木) 11:14:24.88ID:???
最新メモリでオクタチャネルでも組めれば
0612名無しさん＠ピンキー2024/11/14(木) 11:16:14.33ID:???
>>609
core ultraのnpu?
効果あるんかな？
0613名無しさん＠ピンキー2024/11/14(木) 14:23:39.83ID:???
IntelはAMD以上にAI界隈じゃお呼びじゃないぞ
0614名無しさん＠ピンキー2024/11/14(木) 14:44:19.40ID:???
Ryzen AI 9 MAX+ 395ってメモリ帯域幅が273.0GB/sで最大搭載量が128GBなのか
スペックだけみるとなかなかいいな
0615名無しさん＠ピンキー2024/11/14(木) 15:40:36.62ID:???
インテル、困ってる
0616名無しさん＠ピンキー2024/11/14(木) 18:00:24.41ID:???
>>614
GPUに割り当てられるのは最大で96GBまでらしいけどね
0617名無しさん＠ピンキー2024/11/15(金) 05:56:01.71ID:???
なんでそういう制限するんだろうね。
PCIeとかのメモリーマップにしても数ギガ予約程度でいけそうだけど
Arm系はそういうのないのは設計が新しいからなのか
0618名無しさん＠ピンキー2024/11/15(金) 13:07:22.73ID:???
llm-jp/llm-jp-3-172b-beta2-instruct2

なんかでた
0619名無しさん＠ピンキー2024/11/15(金) 15:16:22.79ID:???
>>613
流石にArc BattlemageはAIも視野に入れてくるだろｗ
コケたら次は無いの分かってるんだから他社より手を広げられないと
0620名無しさん＠ピンキー2024/11/15(金) 15:35:51.46ID:???
…16GBかよ残念
0621名無しさん＠ピンキー2024/11/16(土) 19:42:26.10ID:XGMHwNo8
そのサンダーボルト5とやらのLLMの使い方を教えてください
マックには全く興味ないですが
0622名無しさん＠ピンキー2024/11/17(日) 10:13:56.46ID:???
ソフトはkoboldでｌllmはURLで指定できるgooglecolabってありますか
0623名無しさん＠ピンキー2024/11/17(日) 11:31:13.07ID:optCsljJ
>>622
公式ノートブックがそれだぞ
一旦自分で探せ
0624名無しさん＠ピンキー2024/11/17(日) 15:59:52.34ID:???
世間の盛り上がりに反してここの勢い死にすぎだけど他にAIスレってあったりするか？
あるいはDiscordとか？世の人間たちはどこでAIに関する情報交換してるんだ
0625名無しさん＠ピンキー2024/11/17(日) 16:14:41.11ID:???
大して盛り上がってないんやろ
まともに研究開発なり情報交換するならSNSになるんちゃうか
0626名無しさん＠ピンキー2024/11/17(日) 16:15:57.70ID:???
どのレベルでの話かによるんじゃね
AIはパソコン1台あればやれるもんじゃないし
ボードを1000枚とか10000枚とか持ってるところにみんな集まってるだろ
0627名無しさん＠ピンキー2024/11/17(日) 16:34:09.25ID:optCsljJ
情報交換ならredditじゃない
特別盛り上がってるわけじゃないけど日本語ならdiscordのローカルLLMに向き合う会が最大手かな
0628名無しさん＠ピンキー2024/11/17(日) 16:55:43.07ID:???
軽くてまともな日本語対応モデルが全然出ないから盛り上がりようがない
0629名無しさん＠ピンキー2024/11/17(日) 19:59:32.87ID:???
>>624
オンラインのAIスレやAIオナニースレはここよりは流れ早いよ
0630名無しさん＠ピンキー2024/11/17(日) 20:06:38.49ID:???
>>623
これ公式だったんだかい…サンガツ
0631名無しさん＠ピンキー2024/11/17(日) 20:14:21.71ID:ZcvHfsdb
>>440
これの32Bは脱獄要らずでわりと良かった
Q5以上で動かせる人ならオススメできる
0632名無しさん＠ピンキー2024/11/17(日) 21:06:41.39ID:???
初めてPaperspaceでA100借りられた！
q3になるけどようやく120B帯が試せるぜ・・・！
0633名無しさん＠ピンキー2024/11/17(日) 22:02:00.60ID:???
RTX4090が輸出禁止くらってる中国では2080tiの22GB改造版が流行してるって聞いていまアリエクで見てみたら7万円だったわ

本国では使われてるとはいえちょっと怖いよなあ
0634名無しさん＠ピンキー2024/11/18(月) 17:30:02.15ID:???
silly tavernでCR+の最新版使ってるけど高確率でsectionsectionみたいな文字列でてくる
前のCR+では今も無いから最新版特有だと思うんだけど原因分かる人居る?
0635名無しさん＠ピンキー2024/11/18(月) 18:09:10.79ID:???
Copilot＋PCって、ローカルで小説とかかけるん？
だれか使っている人いない？
0636名無しさん＠ピンキー2024/11/18(月) 18:40:01.22ID:???
>>634
あああれワイだけじゃなかったんだ
「おはようございまsectionす。」みたいになるやつよな？
0637名無しさん＠ピンキー2024/11/18(月) 18:55:49.11ID:???
>>636
そうそう
おはsectionようござsection
sectionsectionsectionsectionみたいな
redditみてもそういう報告無いし困ってる
0638名無しさん＠ピンキー2024/11/18(月) 22:07:39.26ID:WZB9Kkdu
sectionって出たら、logなんとかでNGトークンにして抑制して、再生成したらダメなん？
0639名無しさん＠ピンキー2024/11/19(火) 01:38:40.51ID:o3mgwV2E
https://huggingface.co/mistralai/Mistral-Large-Instruct-2411
Mistral Largeのアップデート版
0640名無しさん＠ピンキー2024/11/19(火) 11:04:54.49ID:???
>>639
いいね
command-r+みたいに規制つよくならんといいけど
0641名無しさん＠ピンキー2024/11/19(火) 19:18:37.54ID:???
>>639
とりあえず、IQ3_xxsで、生徒会恋愛問題（日本語LV1）を解かせたら、
初手は不正解だったけど、矛盾点を指摘したら２手目で正解を導いた
従来のモデルでは２手目でも不正解だったから、賢いと思う

さて、次はエロ力を試すわ
0642名無しさん＠ピンキー2024/11/19(火) 20:34:48.60ID:???
生徒会恋愛問題ってなんだろうって思ってchatGPT君に聞いてみたら、俺側に例題を出した上で俺の案を評価してくれたぞ！
三角関係問題だったが、「男なら両手に花だろ！！」って理由も添えつつ答えたら、「いや、この例題に出した男じゃ器が足りないわ・・・」と諭されてしまった・・・
何かしらで否定されるとは思っていたが、流石にこの理由は例題の男が可哀想になったわ
0643名無しさん＠ピンキー2024/11/19(火) 21:07:36.48ID:???
>>642
sbtom/reasoning_ability_test

これな
ちなgpt4tでも以前やった時不正解だったわ
0644名無しさん＠ピンキー2024/11/19(火) 22:50:03.86ID:???
>>643
おお、これがそうなのか
試しにchatGPT君に出題してみたらLV1でもかなり間違えるのな
人間ならすぐ分かるレベルの問題だけど、ストロベリー問題みたいに構造上の問題でもあるのかな
推論の過程をみると、不正解の時には誤った仮定をそのまま事実として使ってしまっていて、正解した時には一度出した仮定を洗い直しているっぽいから、そういう思い込みみたいな思考の癖が根底にある感じ・・・？
勉強になった、ありがとう
0645名無しさん＠ピンキー2024/11/20(水) 03:44:38.98ID:???
生徒会恋愛問題はなんというか説明の仕方が悪いだけな気もする…
まあそれも含めて能力テストなんだろうけど
0646名無しさん＠ピンキー2024/11/20(水) 14:41:54.87ID:SR5EL2EN
まだLLMが思考してると思ってる馬鹿が居るのか
画像の高解像度化と同じなのに
0647名無しさん＠ピンキー2024/11/20(水) 14:46:03.48ID:???
ひょっとするとあなたもわたしも
思考してないかもしれない
0648名無しさん＠ピンキー2024/11/20(水) 14:46:40.44ID:???
AI学習できるマザー出すくらいならVRAM直付けで出してくれよ
0649名無しさん＠ピンキー2024/11/20(水) 15:26:46.77ID:???
>>646
原理知らない分かってないのに無理に例えるからいらん恥をかく
0650名無しさん＠ピンキー2024/11/20(水) 15:48:35.80ID:???
こんな板にも言葉尻を捕らえてマウントを取ろうとする奴が沸くのか
なんて思ったけど
やけにLlama-3.1-70B-Japanese-Instruct推してくる奴とか
そういえば強い言葉好きな奴既に居たわ
0651名無しさん＠ピンキー2024/11/20(水) 16:31:45.14ID:???
o1の推論プロセスなんか見ても既にLLMの生成はオートコンプリートの延長線とは言えない段階まで来ているだろ
研究者だって多量なデータを与えたことによる応答の質が大きく向上した現象にグロッキングとかいう単語を置いて謎としているわけだし
0652名無しさん＠ピンキー2024/11/20(水) 16:55:31.93ID:???
グロッキング嘘派と本当派がいるよな
0653名無しさん＠ピンキー2024/11/20(水) 17:27:09.26ID:???
謎の進化を遂げたみたいに言うから嘘と言われるわけで、ある閾値を超えると(人間から見て)性能が劇的に向上する現象が観察された、と言えばみんな納得するでしょ
0654名無しさん＠ピンキー2024/11/21(木) 01:30:23.99ID:7l2UY05J
o1レベルの性能らしいDeepSeekのR1-Lite-Previewがローカルにも来るって話だけど何Bぐらいなんだろうな
まさかDeepSeek-V2-Liteと同じ16Bってことはないだろうけど
0655名無しさん＠ピンキー2024/11/21(木) 10:10:38.68ID:???
中国の勢いあるよな😅
0656名無しさん＠ピンキー2024/11/21(木) 11:43:55.21ID:bbA6Yw/Y
だよなー、GPU輸入制限食らっとるのになんでやろ？
うまいこと回避しとるんかな。
0657名無しさん＠ピンキー2024/11/21(木) 12:09:17.83ID:???
(日本でH100買って)中国に行って観光して帰ってくるだけで儲かるんでしょ？
0658名無しさん＠ピンキー2024/11/21(木) 12:22:19.01ID:???
>>656
外国で大量にグラボ買ってそこにデータセンター作ってクラウドでやってるって聞いた
0659名無しさん＠ピンキー2024/11/21(木) 14:11:09.34ID:???
>>639
規制が強いな
magnum化はよ
0660名無しさん＠ピンキー2024/11/21(木) 15:50:18.68ID:???
4090のGPUとメモリ引っ剥がした残りのゴミを日本人に10万で売りつけてウハウハだしな
養分すぎるわ本邦は
0661名無しさん＠ピンキー2024/11/21(木) 15:52:01.00ID:???
きしょ
0662名無しさん＠ピンキー2024/11/21(木) 16:39:01.10ID:bbA6Yw/Y
>>658
なるほどなぁ、賢いわ…。
0663名無しさん＠ピンキー2024/11/21(木) 18:30:47.36ID:???
外国てどこ？
日本？
0664名無しさん＠ピンキー2024/11/21(木) 19:04:10.99ID:???
データセンターのサービスを使うという形でならアメリカでも

https://www.moderntimes.tv/articles/20240828-01dxw/

まあ要は製品の輸出を規制したところでクラウドサービスの利用は現状ノーマークだから第三国でやりたい放題出来る
それも規制しようとしたら世界中の国に、中国相手にデータセンター使わせるなって恫喝しなきゃならん
0665名無しさん＠ピンキー2024/11/21(木) 20:18:38.14ID:???
自前で作りそうだけどね
0666名無しさん＠ピンキー2024/11/22(金) 21:46:16.35ID:???
>>637
これredditで上がってたけど温度高いと出る不具合っぽい
70くらいだとほとんど出なくなった
0667名無しさん＠ピンキー2024/11/24(日) 14:27:19.06ID:???
なんとかEasyNovelAssistantの導入に成功したけど今流行りのローカル環境ってどれなん？しばらくはこれでいい？
0668名無しさん＠ピンキー2024/11/24(日) 15:14:58.94ID:???
>>667
それは小説書かせたい時用のやつ
チャットしたいならまた別のやつが良いし
0669名無しさん＠ピンキー2024/11/25(月) 19:48:04.14ID:???
決め打ちでモデルのダウンロードとかできるから
EasyNovelAssistantでダウンロードと起動までして
対話型はSillyTavernでやればええんじゃない
0670名無しさん＠ピンキー2024/11/26(火) 07:41:40.17ID:???
KoboldCppにあらすじ書いて清書してもらうってのを続けてたら
5～6ターン目で勝手に指示を無視して書き続けるのは何なんやろ
GPTならいい感じに続くのに
0671名無しさん＠ピンキー2024/11/26(火) 10:58:24.17ID:VIYqsyQ2
>>670
とりあえずモデル名書いて
おそらくコンテキストレンジ超えたことで最初のメッセージを忘れてるんだと思うけど
0672名無しさん＠ピンキー2024/11/26(火) 14:17:23.84ID:???
>>671
ｻﾝｶﾞﾂ
Berghof-NSFW-7B.i1-Q6_K.gguf
つことる
コンテキストサイズってところは4096でやってる
0673名無しさん＠ピンキー2024/11/26(火) 14:32:32.91ID:???
コンテキストサイズ4096だと日本語じゃ6000文字くらいしか覚えられないんじゃないか？
GPTってモデルにもよるけどたしか128kだったか200kあるから同じように使ったらまあそうなるんじゃないか
0674名無しさん＠ピンキー2024/11/26(火) 14:40:53.11ID:???
>>672
berghofはNSFWもERPも8196までいけるで
0675名無しさん＠ピンキー2024/11/26(火) 14:41:22.49ID:???
8192だすまん
0676名無しさん＠ピンキー2024/11/26(火) 15:18:22.79ID:???
>>674
ｻﾝｶﾞﾂ
ちょっとやってみる
0677名無しさん＠ピンキー2024/11/26(火) 15:33:28.16ID:jWtds6/a
8192でもちょっとチャットして遊んだらすぐに超えちゃうよね
0678名無しさん＠ピンキー2024/11/26(火) 15:36:37.36ID:???
easynovelでJapanese-nsfwなんちゃらっての使ってるんやが
どうしても官能小説っぽくなるわ
AI音声に読み上げさせたいからセリフ中心で出力させたいんやけどそういうテンプレとか強いモデルってある？
0679名無しさん＠ピンキー2024/11/26(火) 15:41:29.96ID:???
ローカルで128k対応モデル使ってみたことあるけど応答が遅くならん？
32Kで応答6秒くらいかかるようになってチャットだとストレスだった記憶
RTX5090のGDDR7なら良くなるのかな？
0680名無しさん＠ピンキー2024/11/26(火) 16:56:48.41ID:???
他のモデルに浮気したが、Vecteus-v1は16384でも日本語破綻しなくて結局戻ってきた。
（でもスペック都合で12288で使ってる）
0681名無しさん＠ピンキー2024/11/27(水) 01:15:27.21ID:???
エロい喘ぎ声聞きながら読むとすごくエッチな気分になるんだが
良い素材何処かにないだろうか？もしくは生成できないかな？
0682名無しさん＠ピンキー2024/11/27(水) 04:44:36.30ID:???
EasyNovelAssistantを再インスコしようとしたんやが
[EasyNovelAssistant]ってフォルダ入れ子にならない？
最終的に[setup]ってフォルダに本体入るみたいなんやが
0683名無しさん＠ピンキー2024/11/27(水) 10:07:04.55ID:???
コンテキストサイズ大きくてもチャット増えるとどんどん混乱するから6000くらいに収めてSTで要約
0684名無しさん＠ピンキー2024/11/27(水) 13:48:05.91ID:???
もうスクリプト落ち着いたしもともとの板に本スレ立てない？
ここ人来ないから勢い落ちちゃってるし
0685名無しさん＠ピンキー2024/11/27(水) 14:25:52.44ID:???
ええと思うけど
あっちはあっちで即死回避とか必要なんやっけ
0686名無しさん＠ピンキー2024/11/27(水) 14:46:20.08ID:???
どんぐりの意味がわからなくて、向こうで書けないんだよな
ローカルAIに聞いてもブナ科の実です、しか答えてくれないし
0687名無しさん＠ピンキー2024/11/27(水) 14:49:14.28ID:???
ブナ科の実ｗｗｗ
0688名無しさん＠ピンキー2024/11/27(水) 16:40:16.81ID:???
数ヶ月前なら調子良かったけどな
今の5chは規制やりすぎて普通の会話もしんどいからな
保守できるなら本家としてあっちに立てて誘導貼っとくならええのかなってくらい
0689名無しさん＠ピンキー2024/11/27(水) 17:00:41.46ID:???
なんU復帰ええと思うけど戻ったところで人が集まるかといえばどうなんやろな
ずっと人気なNVAと比べてLLMの場末感よ
0690名無しさん＠ピンキー2024/11/27(水) 17:04:45.95ID:???
ローカルLLMの要求スペック高すぎなのがあかんのや…
手を出しやすい7Bはもう新しく語ることもほぼないだろうし
0691名無しさん＠ピンキー2024/11/27(水) 17:27:58.78ID:???
ここで言うことでもないが、チャットサービスで脱獄するリスクとコスト、ローカルで動かすコストを比較したうえで結果物のクオリティを比べるとな……
ローカル生かしてLoraとか作ってもっと好みに調教できたら良いのかもしれんがそれこそ一般家庭離れしたスペックが必要やろうし
0692名無しさん＠ピンキー2024/11/27(水) 18:39:28.10ID:???
Nvidiaに頑張ってもらうしかない
0693名無しさん＠ピンキー2024/11/27(水) 19:16:44.28ID:???
申し訳回避なんぞリスクもコストも何もないからな
サービス側ももはや諦めてて大手すら放置状態やし
0694名無しさん＠ピンキー2024/11/27(水) 23:55:28.58ID:I/hkf6CQ
でもまあ避難してた理由がなくなったんやからなんJに帰るんは賛成やな
どんぐりのレベルが10を超えないとURLが貼れないって問題はあるけど、LLMの話題やとあんまり問題にならんやろうし、やっぱ人と話題が少ないんは寂しいわ
0695名無しさん＠ピンキー2024/11/28(木) 06:18:28.73ID:???
じゃここでいいじゃん（いいじゃん
0696名無しさん＠ピンキー2024/11/28(木) 16:45:29.71ID:???
LLMさわるならローカル以外邪道でGPUはRTX4090刺さなきゃ……エッチなチャットしなきゃ……っていうのは錯覚じゃん？
ここ最近ひたすらDify触ってるんだけどノーコード版のLangchainみたいなやつでエージェント(というかAituber)作る楽しみを見出したりしてる
0697名無しさん＠ピンキー2024/11/28(木) 16:48:09.67ID:???
クラウドの話もべつにいいんじゃね
Anthropicの無料で使えるのHaikuになりがちになってきたからOpenrouter使い始めたけどなんかClaude3.5sonetにもシステムプロンプト設定できたんだけど
ノリで「一人称：あーし 絵文字多用」的なの設定したら流暢に正規表現やReactコンポーネント書くギャルが爆誕して気に入ったわ
0698名無しさん＠ピンキー2024/11/28(木) 17:41:25.80ID:???
ボイス付きでキャラになりきりながら雑談もタスクも付き合ってくれるようなエージェント、みたいなのはもっと流行らないかな
節約とセキュリティのためにDifyでローカルとクラウドのLLMを使い分けつつ色々やろうとしてるけどフローの効率化が難しい
0699名無しさん＠ピンキー2024/11/29(金) 17:12:08.88ID:64znOil6
『出力する行ごとの内容は全く同一にしないこと。』っていう指示を追加したらあんまり繰り返しループに陥らなくなった気がする
カッコ文の内容もある程度バラけるようになってより小説っぽくなる、ような気がする（当社比）
0700名無しさん＠ピンキー2024/11/29(金) 20:53:06.84ID:9PCqQ/Vh
来年頭には次世代GPUが出まくるからローカルでの話題も増えるだろうし、それまでのんびり話題繋げりゃいいんじゃないの。
結構参考になる内容も書き込みあるし。
0701名無しさん＠ピンキー2024/11/29(金) 21:59:42.91ID:???
cceてやつでメモリ少なくてもよくなるんだろ？
0702名無しさん＠ピンキー2024/11/29(金) 22:34:11.27ID:v4qNb+Sc
まあcceは学習時に使うものだから我々に直接的な関係はないんだけどな
0703名無しさん＠ピンキー2024/11/30(土) 05:39:35.51ID:3LX4oiHo
entropixってやつで小さいモデルでもよくなるんだろ？
0704名無しさん＠ピンキー2024/11/30(土) 12:12:52.85ID:???
>>698
ワイはaituber-kit触ってるけど作者がOpen Interpreter使ってコード実行環境もたせてタスク実行機能持たせたりしてたな
あんま実用性ないらしいけど
ロマンは感じる
0705名無しさん＠ピンキー2024/11/30(土) 14:41:09.85ID:???
このスレ知的レベル高すぎん？
何いってるのかさっぱりわからんぞ
0706名無しさん＠ピンキー2024/11/30(土) 15:10:42.07ID:Tj3uJNZ8
>>703
知識面ではパラ数が物を言うから根本的な解決にはならないんだよな
あと最適な学習量じゃないと逆効果だし(qwenなんかは過学習だからスコア落ちる)
>>705
半年ローカル触ってればわかるようになるよ
さあこっちに来るんだ
0707名無しさん＠ピンキー2024/11/30(土) 15:15:08.00ID:???
一年半はLLM触ってるけど何もわからん…
0708名無しさん＠ピンキー2024/11/30(土) 15:33:04.61ID:is/870ZI
用語も多いからちんぷんかんぷんになるのもしゃーないで
「温度が高いと問題が出る」なんて一般用語っぽい話も、Temperatureって専門用語を知らなければ室温とかGPU温度くらいにしか思い至らんやろうし……
0709名無しさん＠ピンキー2024/11/30(土) 16:04:51.20ID:???
だが根本はエロだw
0710名無しさん＠ピンキー2024/11/30(土) 18:07:49.35ID:JbQL+FDs
今でも更新されてる初心者向けwiki知ってる方いたら教えていただきたい
探したけど大抵去年か今年半ばで止まってるので
0711名無しさん＠ピンキー2024/11/30(土) 18:12:01.00ID:???
LLMに関してはないんだよなぁたぶん
としあきとかも触ってないんかな
0712名無しさん＠ピンキー2024/11/30(土) 18:21:42.66ID:???
https://local-llm.memo.wiki
ローカル用だけど、こことかたまに見に行くけどもちょくちょく更新されてる。
初心者向けかどうかとか、求めてるものかどうかとかは分からん

個人的にはローカルで、キャラとのエチャとかをどうやったらいいのかとか
その辺具体的に書いてあるサイトとか探してるんだけどどっかにないっすかねぇ…？
0713名無しさん＠ピンキー2024/11/30(土) 18:50:13.59ID:???
割とマジでここの過去スレ漁るのが1番有益やと思うで
0714名無しさん＠ピンキー2024/11/30(土) 19:17:12.55ID:XWQ+xawP
正直ヤッて覚えるのが一番早い気がする
あと、ChatGPTにコンソールログとかUIの設定画面とか見せながら聞くとそれぞれどういう意味なのか教えてくれるよ
0715名無しさん＠ピンキー2024/11/30(土) 20:17:08.07ID:CcifuKjN
AIにAIのこと聞くんですね笑
がんばって英語読みながらやってみます
0716名無しさん＠ピンキー2024/12/01(日) 10:39:50.80ID:???
koboldの新機能のマルチプレイヤーモードって何ができるようになるんだ？
0717名無しさん＠ピンキー2024/12/01(日) 10:50:31.40ID:PZS6Bipn
リリースに書いてある通り、俺とお前で同じAIチャットに参加できるってことじゃないのか
みんなでTRPGとかが出来るんだろう
https://github.com/LostRuins/koboldcpp/releases
0718名無しさん＠ピンキー2024/12/01(日) 18:39:16.39ID:???
みんなで寄ってたかってAIにセクハラできる機能なのか。
0719名無しさん＠ピンキー2024/12/01(日) 19:38:22.53ID:???
> Bugfix for Grammar not being reset, Bugfix for Qwen2.5 missing some UTF-8 characters when streaming.
こっちの方が嬉しいかも。
試した限り、「Token Streaming」が「SSE」のままでも
例えば「しずかちゃん」が「しかちゃん」になる問題が直ってた。
0720名無しさん＠ピンキー2024/12/02(月) 12:03:08.24ID:???
easynovelassistantについての質問です。
用意されてる以外のモデルを使いたい場合、ユーザー側で気軽に追加できる方法などはあるのでしょうか。

同梱されていたkobboldの方でモデルを読み込むとeasy～の方でもどうやら使えているようなので、今はこのやり方でやっているのですが、このやり方だとモデルの真価が出せているのか不安です。
0721名無しさん＠ピンキー2024/12/02(月) 13:32:42.99ID:CD9bn16H
>>720
読み込むモデルが違うだけだから性能が出ないとかはないよ
レイヤー数いじらないと遅くなるとかはあるけど
0722名無しさん＠ピンキー2024/12/02(月) 17:52:23.98ID:???
なるほど、ありがとうございます
0723名無しさん＠ピンキー2024/12/02(月) 23:54:47.07ID:???
7Bにしてはそこそこマシみたいな日本語対応モデルはチラホラ出て来てるけど
14-32Bくらいの一段上のモデルが停滞してると感じるな
0724名無しさん＠ピンキー2024/12/03(火) 02:03:39.71ID:???
半年ぐらい新しいモデルを見かけない気がする
探してるところが狭すぎるのかもしれないけど
0725名無しさん＠ピンキー2024/12/03(火) 02:45:46.58ID:???
>>720
EasyNovelAssistant\setup\resにあるdefault_llm.jsonを書き換えろ定期
でもこれ弄るとアップデートする時にエラーになるらしいから今困ってないならそのままのやり方でもいいんじゃね
0726名無しさん＠ピンキー2024/12/03(火) 04:23:34.31ID:???
Hermes-3-Llama-3.1-70BのUncensoredでそこそこの日本語エロは楽しめたけど、一回の生成に時間かかりすぎてテンポ悪すぎるんよなぁ
0727名無しさん＠ピンキー2024/12/03(火) 04:50:35.22ID:xB+MPHqa
VRAM足りなくて7Bまでしかまともに使えないんだけど最近何か新しいの出てる？
ここ半年ぐらい同じモデルを使い回してるわ
0728名無しさん＠ピンキー2024/12/03(火) 05:48:09.56ID:SyzUo4cA
>>725
バッチファイルと同じフォルダにあるllm.jsonをdefault_llm.jsonと同じフォーマットで書き換えれば
メニューに反映されるしアップデートもうまくいくみたいだよ
0729名無しさん＠ピンキー2024/12/03(火) 08:39:37.64ID:???
>>724
最近だとmagnumシリーズが日本語性能良かったぞ
07307202024/12/03(火) 09:32:25.04ID:???
ありがとうございます、知識が増えました。
実力は足りないので無難なやり方でやっていこうと思います
0731名無しさん＠ピンキー2024/12/03(火) 12:42:52.81ID:???
>>729
ｻﾝｶﾞﾂ
試してみる
0732名無しさん＠ピンキー2024/12/03(火) 21:49:06.41ID:???
>>729
やっぱ70Bクラスじゃないとそこそこの性能は無理なのか…
いい加減まともなVRAM積んだグラボどっかが出してくれよ
0733名無しさん＠ピンキー2024/12/03(火) 21:54:47.82ID:???
intelあたりの負け組がやってくれれば良かったのにARC Bこのまま消え去りそう
0734名無しさん＠ピンキー2024/12/04(水) 00:26:23.66ID:QmurctfH
VRAM96GBらしいStrixHaloことRyzen AI Maxが希望だけど、どのくらいの値段でどういう商品として出てくるのか素人にはさっぱりわからん
普及する価格帯なら嬉しいんだけどな
0735名無しさん＠ピンキー2024/12/04(水) 04:53:13.36ID:???
いや普通に産業用で数百万円コースだろ…
0736名無しさん＠ピンキー2024/12/04(水) 05:15:46.06ID:???
10年前のXeonよりも今のi5のほうが高性能なんだよな
0737名無しさん＠ピンキー2024/12/04(水) 06:03:18.26ID:???
そもそもVRAMじゃないし何もかも間違ってるぞ
強いAPUに128GBメモリ版が出てその内96GBをVRAMとして振り分けられるってだけ
速度は所詮DDR5だから遅い
値段は最上位ノート扱いだろうから30万～じゃね？
0738名無しさん＠ピンキー2024/12/04(水) 07:03:51.52ID:???
>>737
Strix Halo APUは256ビットのLPDDR5Xメモリコントローラーを備え、273 GB/sの帯域がある
通常のDDR5の5倍、M4 Maxの0.5倍くらいの帯域じゃない？
0739名無しさん＠ピンキー2024/12/04(水) 07:10:16.59ID:lHLX8ECn
Haloが成功すればMaxだのUltraだのが出る流れかもしれない
0740名無しさん＠ピンキー2024/12/04(水) 09:12:59.50ID:???
すでにマックスなんですわ
0741名無しさん＠ピンキー2024/12/04(水) 11:59:56.38ID:???
Intel ARC B580 VRAM12GBメモリ帯域456GB/sで249ドル
まあまあ安いな
0742名無しさん＠ピンキー2024/12/04(水) 19:24:44.87ID:+ClBS/it
M4 Max 並みの帯域幅か。

53万するM4 MaxのMacbookPro だと
ユニファイドメモリ36GBから28GBほどGPU割当てできる。

ARCx2個分24GBだとするとGPUだけで500ドル？高くない？
0743名無しさん＠ピンキー2024/12/04(水) 19:28:34.51ID:+ClBS/it
あ、桁が違った。日本円で高くても販売価格10万くらいか。
安いな。
0744名無しさん＠ピンキー2024/12/05(木) 00:25:56.77ID:YY5sVWlD
NemoMix-Unleashed-12B
エロ小説ならこれがお気に入り
0745名無しさん＠ピンキー2024/12/05(木) 06:43:57.85ID:???
次スレ立てる時はその辺のおすすめモデルを入れて>>7を更新したほうがいいな
0746名無しさん＠ピンキー2024/12/05(木) 12:29:49.86ID:???
>>744
12歳になり切って百合エロチャしようと思ったらかたくなに拒んでくるんだが
初期設定しくったんやろか
0747名無しさん＠ピンキー2024/12/05(木) 13:16:28.29ID:???
>>746
そのモデルは使ったことないが
最初に性格設定指定しとけば色々できる
0748名無しさん＠ピンキー2024/12/05(木) 13:25:51.14ID:???
あんまり詳しくなくて興味本位で聞くんだけど
RTX4090買うよりRadeon7900xtx2,3枚買った方が速度は遅いけど色々できたりする？
てかこれやるくらいならmacでメモリ盛った方が捗る？
0749名無しさん＠ピンキー2024/12/05(木) 15:03:13.79ID:9ScvdGRw
>>746
普通に12歳百合エロチャ出来るぞ
キャラの設定をミスってるかキャラの性格に合わない攻め方をしてるんだろう
性格次第では突然のエロ行為は拒絶するけど、徐々に盛り上げていけばエッチなことをしてくれる場合があるぞ
もちろん性格エロエロにしておけば突然のド変態プレイでも簡単に応じてくれる
0750名無しさん＠ピンキー2024/12/05(木) 16:16:04.91ID:hnoAIknw
>>748
それができればみんなVRAM価格問題に切り込めるんだけど
CUDAコアってのを紐解けばRadeonはねーわになっちゃうのよ
0751名無しさん＠ピンキー2024/12/05(木) 16:39:34.71ID:JdzJO6s7
AMDはもっとrocmに本気出せ
0752名無しさん＠ピンキー2024/12/05(木) 17:28:55.73ID:???
>>747,749
ｻﾝｶﾞﾂ
もうちょい初期設定攻めてみるわ
GPTの設定プロンプトだけだとちょっと厳しかった
0753名無しさん＠ピンキー2024/12/05(木) 18:09:54.48ID:???
7Bや12Bでもいいモデルが出て来たぞって言われるたびに比較してNinjaの優秀さを再確認されせられる日々
あそこって新しいモデル公開しないのかな？
0754名無しさん＠ピンキー2024/12/05(木) 20:58:59.22ID:oxK+R/qS
https://huggingface.co/Local-Novel-LLM-project/WabiSabi-V1
新たなモデル、WabiSabi-V1を公開いたしました。
128k コンテキスト長に対応しています。
ぜひお試し下さい。
0755名無しさん＠ピンキー2024/12/06(金) 02:13:17.40ID:???
>>751
マジでその辺の経営判断ミスったよな
CPU屋さんだから自社のGPUがそれを代替するなんてけしからんってやってる間にNVIDIAに独占を許した
0756名無しさん＠ピンキー2024/12/06(金) 07:03:24.09ID:???
>>753
>>754
言ってたら新モデル公開されるっていう嘘みたいなタイミングだなw
7Bモデルをたくさん出してくれてるけどこれは何向けというかどういう狙いで作られたモデルなんだろう？
0757名無しさん＠ピンキー2024/12/06(金) 10:11:38.23ID:???
とはいえamdでcudaに寄せられないだろ
0758名無しさん＠ピンキー2024/12/06(金) 14:53:50.86ID:tVPSDigt
音声文字入力で会話したくてマイク買ったけど
方言交じりの口語は音声認識しにくいしAIにも通じにくいしで全然ダメダメだったわ
独り言を言いながらキーボード打ってる方がより会話してる感じがする始末
0759名無しさん＠ピンキー2024/12/06(金) 19:29:58.03ID:???
🎤「かーっ!やーらしか!やーらしか女ばい!」
0760名無しさん＠ピンキー2024/12/07(土) 02:13:40.09ID:2feer961
https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct
llamaの3.3の70b
日本語に対応したllamaはいつ出ますか？
0761名無しさん＠ピンキー2024/12/07(土) 04:25:41.32ID:???
君が出せばいつでも
0762名無しさん＠ピンキー2024/12/07(土) 04:29:27.75ID:???
パープレsonnet隠語お断りされ始めたわ
再脱獄もなかなか通らない
0763名無しさん＠ピンキー2024/12/07(土) 04:29:50.13ID:???
誤爆
0764名無しさん＠ピンキー2024/12/07(土) 13:55:16.73ID:???
ローカルLLM面白いすね、エロはもう何でもってのはわかりました。
他に本家じゃ規制されてるけど聞いたら面白い答えしてくれる質問ないですか？
0765名無しさん＠ピンキー2024/12/07(土) 17:01:36.63ID:Ttoj4Oeu
検閲モデルで規制されてるのなんてエロ関連を除くと犯罪行為に繋がるしょうもない事柄ぐらいやろ
0766名無しさん＠ピンキー2024/12/07(土) 19:10:44.89ID:???
お前ら本当にエッチなことできるのか？
俺は告白すら振られ続けてるというのにお前らは
0767名無しさん＠ピンキー2024/12/07(土) 20:05:14.23ID:???
お馬鹿なモデルが規制かかってる場合はお馬鹿故に聞く耳持たずでダメなもんはダメの一点張りだからそのモデルは諦めたほうがいいよ
賢いモデルは融通が利くのでどうとでもなる
0768名無しさん＠ピンキー2024/12/08(日) 10:35:27.06ID:+9DBYPm9
未だに尻タブの使い方がよく分からないんだけどさ
>>754のwabisabiを使うとしたらどんなコンテキストテンプレートにすればいいんだ？
koboldだとテンプレにvicunaが用意されていたり、チャットモードでもしっかり機能するんだけど
尻タブだと<|asistant|>みたいな表示が出てくるんだよな
0769名無しさん＠ピンキー2024/12/08(日) 11:01:54.07ID:jtZ4WkBD
wabisabi使ったことないからわからないけど、普通にtext-generation-web-uiとかバックエンド側で読み込んだ時にコンソールログに出るでしょ
それ見て合わせれば良いんじゃない？（magnumとかlumimeidはllamaだったかmistralで、Lumimaid-Magnumがなんでかtekkenだっけ・・・？）
わからなければコンソールログをChatGPTに見せて聞けば最適じゃないにしろ教えてくれるはず
0770名無しさん＠ピンキー2024/12/08(日) 11:21:43.28ID:jtZ4WkBD
例えば、俺が今読み込んだ「anthracite-core_magnum-v4-123b-Q3_K_L」のログには、「tokenizer.chat_template」ってところで以下URLのテンプレートが指定されてる
（SillyTavernでSystemとかuserで分割されているやつ全載せだからめっちゃ長いぞ。長すぎて直に書き込めんかった）
これに合ったテンプレがあればそれを選べばいいし、なければ自分で作ってしまえば良い
（ってか、確か「Available chat formats from metadata: chat_template.＜指定テンプレート名＞」って感じの情報が出ていて、それを読めば良いはずだったんだが、今読んだやつにそれがなかった・・・）

https://rentry.org/tokenizer_magnum4
0771名無しさん＠ピンキー2024/12/09(月) 10:11:21.84ID:OY6VerVe
>>219-220
gptにログと尻タブの参考URLとか見せたけどいまいち判然としないや
回答内のコンテキストテンプレートも明らかにおかしい形式だし

バックエンド側のログでそれっぽのはこれかな？

The reported GGUF Arch is: llama
Arch Category: 0


これはllamaで良いってこと？
0772名無しさん＠ピンキー2024/12/09(月) 11:13:00.10ID:eLCkiD28
NVのハイエンドGPUとかと、MacのLLMの処理トークン数載ってるけど、Macで十分だなこりゃ。
GPU複数枚でのLLM処理がMacM2 Ultraと大して変わらない。
https://gigazine.net/news/20241209-nvidia-gpu-apple-silicon-inference/

FLUXとか画像処理に使うならGPUの方がいいけど、LLMだったらMac一択か。
金持ってる人はM3 Ultra待ちかね。
1枚で150万するA100複数枚と、処理トークン数並びそうw
0773名無しさん＠ピンキー2024/12/09(月) 11:40:10.25ID:???
M3 UltraはTSMCが N3Bでどえらい苦労してUltraがほとんどとれないようだ
あまりにとれなくてTSMCが取れた分だけお金くれればいいよ、とAppleに通達したくらい
M4はN3Eで作られててN3Bよりちょっと幅広なんだけど
CPUの設計のほうで盛り返して(Arm8 > Arm9)歩留は劇的に改善したらしいのでM4 Ultraはありうる(希望
N2がすでに歩留60%とかホームランがでたようで、AppleM5がすごそうだ(再来年か、その先)
0774名無しさん＠ピンキー2024/12/09(月) 11:40:29.45ID:???
mac持ってる人ほど遅すぎて使い物にならんからLLM目的で買うなって言ってなかったっけ
0775名無しさん＠ピンキー2024/12/09(月) 11:46:03.27ID:???
遅くない？
そりゃVRAM溢れてメインメモリ使ってる状態よりは余程良いけど
0776名無しさん＠ピンキー2024/12/09(月) 11:50:26.98ID:???
遅いけど4090を8枚とかよりは圧倒的に安いからね
0777名無しさん＠ピンキー2024/12/09(月) 11:52:23.61ID:???
遅さを取るか安さを取るか
0778名無しさん＠ピンキー2024/12/09(月) 12:11:13.63ID:???
LLM目的で買うな、というのはメインメモリが32GByte程度ならメモリ不足で動かないだけ
ミスリードというほどではないけど、悪意あるよなw
128GByteのモリモリマシンなら、そこそこ動く
>>772 の表の通りの速度ね

あと長いプロンプトを食わせるとmacは遅くなる、とかいう嘘つきもいる
現状公開されているLLMの仕組み上、一度全部の単語の重み計算しないとダメだからそう見える
4090だって長いプロンプトは遅くなるけど、そもそもメモリー不足で動かないモデルが多いから
7Bとかちいさいのばっかり使ってるから速く見えるだけ
macのmlx版なんか目で追えないほど(3.2B 200-300 token/s )速いぞ
https://lmstudio.ai/blog/lmstudio-v0.3.4

長いプロンプトでも全部解析しないですむ方法がわかってきたから、その辺は改善するかも
これはmacに限らずAIの電力削減で劇的な効果があるから研究者が頑張ってる
0779名無しさん＠ピンキー2024/12/09(月) 12:54:55.50ID:???
どの程度のトークン毎秒を実用と考えるかだなあ
英語だと5トークンでもギリギリ使えん事ないけど効率悪い日本語だとウンチだし
0780名無しさん＠ピンキー2024/12/09(月) 13:23:21.16ID:???
NvidiaGPUに比べてMacのPrompt Evalは実際だいぶ遅いので
コスパとかを無視して十分なVRAMがある環境で比較するならMacを買うなという話にはなるけどね…
この辺は技術的な部分で解決するかもしれんしM4Ultraで劇的に伸びるかもしれん
0781名無しさん＠ピンキー2024/12/09(月) 14:30:23.36ID:???
持ってない人間はやたらmac褒めるよねほんと
なぜ企業がH100の争奪戦してたりnVidiaの株価が天井知らずでなのかを考えれば
そんなうまい話は無いって分かるだろうに
0782名無しさん＠ピンキー2024/12/09(月) 15:02:59.33ID:???
言うてH100でLLM動かすなんて個人には無理やし
0783名無しさん＠ピンキー2024/12/09(月) 16:07:54.83ID:???
LLMと画像生成の混同
処理能ではなく帯域で詰まってる現状をあまり理解されてない
ちゃんと上位製品選ばないとGPUと張り合えるほどの帯域はない
マカーが◯◯ならMac！(俺は使ったことないけど)とか吠えがち
この辺が混ざって悲劇が起きる
0784名無しさん＠ピンキー2024/12/09(月) 16:31:23.91ID:eLCkiD28
>>783

>>772でちゃんとLLMと画像処理について別で書いてるけど。
MacがLLMだったらA100複数枚に追いつくレベルになりそうだからコスパ最高だろ。
どっかおかしいか？
0785名無しさん＠ピンキー2024/12/09(月) 16:36:00.60ID:???
企業がH100使うんは新モデル作るのに学習いるからで推論はそのうちNPUに置き換わるやろ
0786名無しさん＠ピンキー2024/12/09(月) 16:37:37.35ID:???
おかしいのはマカーあるある話とMacでAIって話題のあるある話を
自分の持論否定されたレスと思い込んで食いついてくるお前や
0787名無しさん＠ピンキー2024/12/09(月) 16:49:53.80ID:???
どうせmacも突然arm捨ててrisc-vに行くんだろw

いまmac使ってる人がllm使うならいいけど
llmのためにこれからmac買う気にならん
0788名無しさん＠ピンキー2024/12/09(月) 16:51:17.20ID:eLCkiD28
持論の否定？
リンク先見ないで書き込んでるなら、レス付けた俺が間違えてたわ。
0789名無しさん＠ピンキー2024/12/09(月) 17:08:31.30ID:???
>4090だって長いプロンプトは遅くなるけど、そもそもメモリー不足で動かないモデルが多いから
>7Bとかちいさいのばっかり使ってるから速く見えるだけ
>macのmlx版なんか目で追えないほど(3.2B 200-300 token/s )速いぞ

>3.2B
0790名無しさん＠ピンキー2024/12/09(月) 17:16:51.87ID:???
7B Q8モデルで同程度のサイズでも生成速度が変わってくるのは
モデル内部の処理なんだろうか
0791名無しさん＠ピンキー2024/12/09(月) 17:24:25.61ID:???
コンテキストサイズ変えてないなら多分そう
27Bでサクサク動くのに22Bでもやたら重いモデルあったしな
0792名無しさん＠ピンキー2024/12/09(月) 21:08:16.52ID:???
>>772
それはないわ
0793名無しさん＠ピンキー2024/12/09(月) 21:11:15.81ID:???
速さを求める人はローカルLLM使わんやろうし、ローカルはGPU+CPUでええやろ
GPUには他の使い道も有るし
macにはそれがない
0794名無しさん＠ピンキー2024/12/09(月) 22:15:10.60ID:???
速度求めるならrunpodとかでGPU借りれば良い話だしな
A100なら一時間200円弱やろ?一日３時間借りても月2万以下やしmacより良い選択肢になり得そうや
というか100BクラスのLLMはファインチューニングも少ないし賢いだけで日本語エロ向きじゃなくてすぐに飽きるからまずはクラウドGPUでお試しが良いぞ
仕事でコーディング用に使いたいとかなら別やが
0795名無しさん＠ピンキー2024/12/09(月) 23:53:05.47ID:???
cohere自前でデータセンター持つんや儲かってるんやな
0796名無しさん＠ピンキー2024/12/10(火) 08:14:59.67ID:???
>>773
へぇぇ、じゃあM4 Ultra出ても2026年まで待つのが良さそうか。
0797名無しさん＠ピンキー2024/12/10(火) 08:31:32.89ID:???
AI用のアクセラレーターが出てくる未来は来ないのか？
手頃な値段でPCIe辺りにさせば動くやつ
さすがにVRAM目当てでグラボ何枚も買うのは非効率すぎる
0798名無しさん＠ピンキー2024/12/10(火) 09:01:42.73ID:???
ハードウエアの進化は全てを解決する
0799名無しさん＠ピンキー2024/12/10(火) 09:31:51.53ID:???
チップとVRAMの間が高速でないと意味ないだろ
0800名無しさん＠ピンキー2024/12/10(火) 11:21:30.12ID:???
PCIe5でも32GT/sで16レーン使っても大まかに64GByte/sしか転送速度でないからx86のRAMと比較してもまるで足りないんだよ
0801名無しさん＠ピンキー2024/12/10(火) 11:42:26.75ID:???
スクリプトかよ
0802名無しさん＠ピンキー2024/12/10(火) 12:13:35.78ID:???
VRAMがお高いからどんなAIハードが出てもお高くなるで
0803名無しさん＠ピンキー2024/12/10(火) 12:46:07.16ID:9FINHpmt
実はgddr6って1gbあたり2ドルちょいで売られてるんだよな
6xとか7の値段がどれくらいかは知らんけど殿様商売だよこれ
0804名無しさん＠ピンキー2024/12/10(火) 13:01:17.17ID:???
部品の原価で語れる規模の製品じゃないよ…
食品なんかとは違うんだ
0805名無しさん＠ピンキー2024/12/10(火) 15:32:13.73ID:???
本当に殿様商売できるんなら
参入する企業も出るはずなのにそれがないってことはそういうことや
0806名無しさん＠ピンキー2024/12/10(火) 21:55:15.43ID:???
中国では実際規制やらgddr買えるやらで換装するシノギがある
0807名無しさん＠ピンキー2024/12/10(火) 21:56:58.55ID:???
intelがかつて自分がryzenで多コアボッタクリ崩されたときみたいにVRAMの価格破壊せんかね
0808名無しさん＠ピンキー2024/12/10(火) 22:02:20.87ID:???
いま価格com見たら4090が二店舗、50万近くするのね
ますますLLMローカルの裾野が狭くなっていく……
0809名無しさん＠ピンキー2024/12/10(火) 22:04:28.26ID:???
どのみち参入障壁が高すぎると流行らないからねー
0810名無しさん＠ピンキー2024/12/10(火) 23:47:54.46ID:???
>>807
Intelがやったところでな……
0811名無しさん＠ピンキー2024/12/11(水) 01:41:46.00ID:???
llmを個人でやる方が異端だし流行らんでしょ
非エロなら普通のサービス使えばいいんだし

エロチャットのために数十万のハード用意するのって正気じゃねえよな
0812名無しさん＠ピンキー2024/12/11(水) 05:42:16.51ID:???
というか大手の規制なんて対策すればいいだけだしな
規制自体どんどん緩くなってきてるし、抜け穴もわざと残されてる感がある
0813名無しさん＠ピンキー2024/12/11(水) 09:29:33.77ID:???
Command R ＋のネット利用に限界を感じたんでローカルLLM試してるけど文章は圧倒的にMagnumさんのがいいな
ただ、難しい指示はCommandR+より守れない

「調教モノのプロンプトの構築」と「文章を元にStable Diffusionで画像生成する」が現状の課題なんだけど、
まーじで命令無視してすぐ堕ちる
0814名無しさん＠ピンキー2024/12/11(水) 09:41:57.75ID:???
magnum系統は割と即落ちな感じ
あとおま環かもしれないけど、fuck me, fill me, bread me みたいな言い回しを好むんだよね
0815名無しさん＠ピンキー2024/12/11(水) 09:51:53.47ID:???
パラメータ数が似たようなレベルなら質と自由度は基本的にトレードオフだからな
極端な話シェイクスピアの文しか学習させなければシェイクスピアの文をそのまま出す最高質で最低自由度のAIになる
0816名無しさん＠ピンキー2024/12/11(水) 10:05:27.17ID:???
QwQ 32bの話が一切出てないのはなんで？
0817名無しさん＠ピンキー2024/12/11(水) 10:38:52.58ID:???
なんでだろ
0818名無しさん＠ピンキー2024/12/11(水) 10:40:33.55ID:???
なんでだろ
0819名無しさん＠ピンキー2024/12/11(水) 10:45:51.93ID:???
なんでだなんでだろ
0820名無しさん＠ピンキー2024/12/11(水) 11:12:16.34ID:???
>>812
ジェイルブレイクに対応できるほど追加学習で規制するとアホになる事が分かってやらなくなったのでは
0821名無しさん＠ピンキー2024/12/11(水) 11:21:44.98ID:???
エロと和解せよ
0822名無しさん＠ピンキー2024/12/11(水) 11:23:34.18ID:4mKC7NDV
>>813
文章を元に画像生成っていうとあちらさんの>>33かな？
精神ゲージ的な数値管理でも無視される感じ？
一応、指示は英語の方が理解してもらいやすいから調教関係のプロンプトを英語化してみるとちょっと変わるかもしれん
0823名無しさん＠ピンキー2024/12/11(水) 12:24:39.41ID:GnPhW2eP
>>813
ある程度凝った遊び方は基本自分でアプリなりブラウザアプリなり作ればええと思うで！
一般的なローカルLLM用のアプリは会話履歴の全てや、要約＋直近の会話をプロンプトとして渡すから、コンテクスト内での堕ちに繋がる要素の占有率が高くなって大事なインストラクションの重みが軽くなっちゃうわけやろ？
尻タブなんかはリマインド入れたりもできるけど、それでもアカンならチャットのためのコンテクストと、画像出力のためのコンテクストを切り離して、画像出力コンテクスト側には最低限の情報しか渡さんようにすれば行けるとおもうで
ローカルではなく、GPT3.5turboとかの頃の話やが、パラメーターに関してはアプリ側で管理して、ターンごとにパラメーター（尿意、便意、所持金、空腹度）をプロンプトの最後にぶら下げて参照させる形でそこそこ楽しく遊べてたで～
0824名無しさん＠ピンキー2024/12/11(水) 13:17:29.10ID:???
英語にしたらいい感じかも。ちょっと色々試してみる

使用する精神パラメータ：キャラクターに決められたそのシチュエーションで使いそうな精神パラメータの内、数値が一番高いものを選ぶ（誇りだの正義感だの）
本能パラメータの決定：基準を元にシチュエーション毎にどのような感情が相応しいか全ての状況パラメータの値を再決定し、その最も高い数値を選ぶ（恐怖だの苦痛だの快楽だの）
シチュエーション強度の決定：そのシチュエーションにおける行動選択の心理的抵抗の値を、基準を元に決定する（何もなし：0　親兄弟を殺す:100　とかで）
行動決定値： 使用する精神パラメータ - 決定した本能パラエータ + シチュエーション強度 = 行動決定値
行動決定値が0以上で精神パラメータの項目優先、0未満で本能パラメータ優先　

みたいな感じにして、最後行動を評価して精神パラメータを変動させるプロンプトだったんだけど
これに上下させる基準だの、文中での表記の仕方だのを指定してるとプロンプトが長くなって複雑化して、AIが完遂を放棄するようになるんよね
本能パラメータをもっとシンプルに、複数項目にしてＡＩに一個数値ごと考えさせればいいのかもなぁーとか試行錯誤中
0825名無しさん＠ピンキー2024/12/12(木) 01:27:13.02ID:4/JUF3pF
gemini 2.0が出たね
生徒会恋愛問題も英語ならlv2まで間違えなかったから4o並みか超えるぐらいの頭は持ってそう
いつgemmaになってローカルに下りてくるのかは知らん
0826名無しさん＠ピンキー2024/12/12(木) 05:40:27.24ID:fFmnshq4
尻タブでチャットしてると「…」「！」「？」の代わりに半角の「...」「!」「?」が使われて表示に時間がかかるんだけど
これって回避方法ある？
0827名無しさん＠ピンキー2024/12/12(木) 06:10:22.65ID:???
smooth streamingを切るかスライダーをFastへ動かす
0828名無しさん＠ピンキー2024/12/12(木) 07:42:44.28ID:???
>>816
ここには低スぺしかいない
0829名無しさん＠ピンキー2024/12/12(木) 08:35:10.74ID:fFmnshq4
>>827
サンクス
テンポ良くなった気がする
0830名無しさん＠ピンキー2024/12/12(木) 10:25:24.25ID:???
エロ絵生成AIに強く興味を持って自作グラボ板に入門相談したらここをロムしろと教わったので勉強させてもらいます
シンフォギアのエロＡＩ画像を自給したい
0831名無しさん＠ピンキー2024/12/12(木) 10:29:10.69ID:???
ここはテキスト生成のスレだから画像生成はここじゃないよ
0832名無しさん＠ピンキー2024/12/12(木) 10:30:28.48ID:???
マジかごめんなさい失礼しました
つうかテキストなんてジャンルもあるのかすげぇな毎秒ブレイクスルー起きるじゃん
0833名無しさん＠ピンキー2024/12/12(木) 10:32:48.32ID:???
絵はここじゃないぞ
0834名無しさん＠ピンキー2024/12/12(木) 10:36:30.21ID:fFmnshq4
AI画像生成でシンフォギアのキャラ画像作って
そのキャラとAIテキスト生成でチャットするんじゃよ
VRAMいっぱいあるならAI音声も組み合わせられる

Aibis Projectの簡単音声モデル生成が稼働し始めたらシンフォギアの声優のAI音声も楽に作れるかもね
0835名無しさん＠ピンキー2024/12/12(木) 10:42:40.68ID:???
【StableDiffusion】AIｴﾛ画像情報交換51
https://mercury.bbspink.com/test/read.cgi/erocg/1733844871/

多分こっちかな
画像も文章も使うぜってタイプ結構いそうだけども
0836名無しさん＠ピンキー2024/12/12(木) 10:43:50.34ID:???
だからガチで１レス毎に俺内レボリューション起こすのやめてくれｗｗ
公式から供給終わった私的神作のAIエロを見て激震が走ったのにそんなんまで出来たらチンチン摩擦で溶けちゃう
0837名無しさん＠ピンキー2024/12/12(木) 10:44:27.92ID:???
本当にありがとう何か身につくものがあったらこのスレにも恩返しするわ
0838名無しさん＠ピンキー2024/12/12(木) 10:54:44.50ID:???
おう…
0839名無しさん＠ピンキー2024/12/12(木) 11:03:17.77ID:Q6+kAFCh
クリスちゃん大好きだからなんかいい感じの出力ができるLoRAとかSillyTavernと連携しやすい画像生成関連のなんかとか見つけたら共有してくれると嬉しいな
（LoRAはスレ違いになるだろうからアレだが・・・）

画像生成に関しては下記のwikiがおすすめ
（しばらく追ってないんだけど、今情報の共有ってどこでやってるんだろ）
https://wikiwiki.jp/sd_toshiaki/
0840名無しさん＠ピンキー2024/12/12(木) 11:05:30.52ID:???
あとこのスレか

なんJNVA部★485
http://2chb.net/r/liveuranus/1733863977/
0841名無しさん＠ピンキー2024/12/12(木) 11:13:37.24ID:???
>>813だけど、英文がいいんじゃないかってアドバイスを元にやってみたら割と通りやすいプロンプトできたのでマジで感謝
マグナムさんはこれ指示しても結構ご機嫌斜めなこと多いけど、Command R ＋なら結構動いていい具合に堕ちない
感謝

https://rentry.org/v427hg5w
0842名無しさん＠ピンキー2024/12/12(木) 11:46:22.94ID:???
>>834
SBV2の作者曰く、中身はほぼSBV2だけど日本語処理とかで独自の改良が加わってるらしいね
はよsillyと連携出来るようにならんかな
0843名無しさん＠ピンキー2024/12/12(木) 12:52:04.09ID:???
誘導ありがとう良いシコライフ過ごしてくれ
0844名無しさん＠ピンキー2024/12/12(木) 13:39:43.20ID:Q6+kAFCh
>>841
効果が出たならよかった
英語なら理解力はパラメータ数と量子化の少なさがモノを言うだろうからなあ
マグナムはマグナムでもv4且つMistralベースの123Bだとどうなるかなって思うところだが、流石にコレまともに動かせる人あまりいないよな・・・
0845名無しさん＠ピンキー2024/12/12(木) 13:41:15.32ID:???
>>844
最高にエロいで
最高に遅いがw
0846名無しさん＠ピンキー2024/12/12(木) 15:03:58.24ID:???
CR+、APIの修整入ってsection出なくなった
0847名無しさん＠ピンキー2024/12/12(木) 15:06:07.70ID:???
自分は逆にJNVAからこっちに来たけど、
LLMに生成タグ吐かせたりComfyuiのワークフローにLlama3嚙ませたり、どっちも親和性高いんよな
0848名無しさん＠ピンキー2024/12/12(木) 16:02:06.23ID:???
最終的にローカルもマルチモーダルAIに何でも投げるようになるんじゃないかな
sillyが文章はkobold、音声はSBV2、画像はSDと連携してるように、投げられた処理を統合管理AIがどんな種類のモデルに振るか判断するみたいな
0849名無しさん＠ピンキー2024/12/12(木) 17:34:25.26ID:???
初心者だけどエロ文章が欲しくて、悪戦苦闘しながらようやくeasy novel assistantを入れられたわ。何も考えないでパソコンを見繕っちゃったせいでavx2のサポートしてないCPUにしちゃって、起動ごとになんかpresetsを弄ることになりそうだ
0850名無しさん＠ピンキー2024/12/12(木) 22:26:02.09ID:???
CR+使ってエロチャットしてて、盛り上がると発狂して「あああああああ(以下、トークン上限まで続く) とか生成するんだけど謎だ
0851名無しさん＠ピンキー2024/12/13(金) 04:59:53.91ID:rUhECzkq
CR+はhugging faceのしか使ったことないけど
あれだと温度設定も出来ないし繰り返し多いしであんまりチャット向きじゃないよね
0852名無しさん＠ピンキー2024/12/13(金) 11:07:58.56ID:???
現状で日本語エロチャットに向いてるモデルって何だろうな
個人的には上にも挙がってるHermes-3-Llama-3.1-70B-Uncensored.Q4_K_Sだけど、このサイズになってくると一つずつ試すのも難しいから情報が欲しい
0853名無しさん＠ピンキー2024/12/13(金) 12:26:29.13ID:???
>>852
チャットならlcaニキの7bとか色々あるで
小説用途だとワイはmagnum v4 123b以上じゃないと満足出来ない身体になっちまったw
0854名無しさん＠ピンキー2024/12/13(金) 12:30:57.94ID:71wPNBhI
くそう、123B動かせるおじさんめ！ここぞとばかりに自慢しやがって！！
0855名無しさん＠ピンキー2024/12/13(金) 12:35:16.70ID:+Fkxuucy
>>852
チャットなら>>449とか>>79、magnum系じゃない
magnumはモデルサイズでかくないと日本語はそこそこだけど
0856名無しさん＠ピンキー2024/12/13(金) 12:41:47.04ID:???
magnum13B使ってみたことあるけど確かに微妙だったな
123B試してみたいもんやで…
0857名無しさん＠ピンキー2024/12/13(金) 12:44:14.01ID:???
ありがたい、とりあえず紹介してもらったの試してみる
エロチャットと書いたけど、小説風だったりTRPGだったりいろいろ試してみたいんよね
0858名無しさん＠ピンキー2024/12/13(金) 12:47:16.76ID:???
20～40Bくらいのモデルがもっと増えてくれればいいんだけどねぇ
0859名無しさん＠ピンキー2024/12/13(金) 12:53:29.08ID:???
AI-TRPGだって、ちょっとやってみたけど、テキストベースのゲームでおもしろそう
https://www.solomaker.dev/products/7b81e29f-01d9-4195-bac4-8f6dbc2d4a4b
0860名無しさん＠ピンキー2024/12/13(金) 13:28:29.07ID:???
Mistral-nemo-ja-rp-v0.2 は機械翻訳っぽかったけど、magnum v4 123bはいい感じの日本語
でもLlama-3.1-70Bと同じくらいの応答速度だからこれだけで遊ぶとなると待ち時間がえぐいね
0861名無しさん＠ピンキー2024/12/13(金) 14:05:44.02ID:???
>>854
64Gあれば123bでも一応試せるで
ゲキ遅だがw
おすすめはiQ3_Mやで
0862名無しさん＠ピンキー2024/12/13(金) 14:18:12.60ID:rUhECzkq
7Bの色んなモデルで遊んでるけどなかなかノーブラという設定を理解してくれない
服を脱ぐときになぜかブラを着ていることになってブラも脱いでしまう
これは記述方法が悪いのかノーブラが難しいのかどっちなんだ
0863名無しさん＠ピンキー2024/12/13(金) 14:29:36.93ID:???
俺いつも「手を肩に」まで書いてそれ以降を生成して抱きしめるに誘導する書き方してんだけど、みんな完全ガチャしてるの？

ここで上がる評判のモデルだと大体思い通りに行くからモデルの差をあんま感じなくて
0864名無しさん＠ピンキー2024/12/13(金) 14:36:00.82ID:???
>>862
その辺は概念ガバガバやね
何度も服着てるって言ってんのにおもむろにおちんちんジュッポジュッポしゃぶりだすし
0865名無しさん＠ピンキー2024/12/13(金) 14:47:41.33ID:???
>>861
1カ月に一度くらいの頻度で80GBのGPU借りられて、そこでIQ3は試したことあるが、確かに凄かったんよな（遅さは言われたとおりだが！）
普段使いできるようになりたいぜ・・・

>>863
俺はチャット派だが、自分のセリフと行動と心情は自分で書いてるな
キャラのアクションもガチャって駄目なら書き換えるし自分で背景とかの情景描写とかも書くし、なんなら気が付いたらAIにキャラの行動の方向だけ決めて貰って文章ほぼ自分で書いてることもある・・・
なんか、自分が正しい日本語で文量多く書いてると、AIも日本語的なミスとか少なくなる気がするんよな
0866名無しさん＠ピンキー2024/12/13(金) 17:08:03.10ID:???
m4 maxのメモリ最大ていくらまでいけるの？
x64とgpuより良い？
0867名無しさん＠ピンキー2024/12/13(金) 19:47:29.73ID:???
パソコン持っている人がうらやましい(´；ω；`)
0868名無しさん＠ピンキー2024/12/13(金) 21:28:18.92ID:RCxamCsB
パソコンなんででかいだけスマホで全部できるじゃんって言ってたじゃん
0869名無しさん＠ピンキー2024/12/13(金) 21:57:42.62ID:???
成人向け文章読ませてタグ付けさせて画像生成プロンプト出させてみてるけど、
軽くてNGない丁度いいバランスだったのは今のところmistral-nemoだった

もっといいのあったらごめんだけど
0870名無しさん＠ピンキー2024/12/14(土) 02:37:11.03ID:uwoflNah
https://huggingface.co/matteogeniaccio/phi-4
phi-4を落としたものがhfに上がってたので共有
試した感じ日本語も自然で生徒会恋愛問題も英語でlv1は解けたりしたからgemma2 27b以上の性能はありそう
規制自体はそこまで強くないけどあんまりエロはあんまり学習してなさげだった
0871名無しさん＠ピンキー2024/12/14(土) 03:07:17.24ID:???
command-rの7bモデルが出たらしいな
0872名無しさん＠ピンキー2024/12/14(土) 03:07:20.34ID:VwbngJa5
>>864
上手くいかない部分なのか
難しいもんやね
0873名無しさん＠ピンキー2024/12/14(土) 08:37:38.15ID:???
Ollamaで文章読ませて「このシチュエーションに合ってるタグ選べ」ってやってるんだけど
Command-r-plusだとうちのPCじゃ遅すぎてmistral-nemoじゃ正確性が無さすぎる

Ollamaで動くR18全般OKの賢くて軽いAIなんかねーかなぁ
0874名無しさん＠ピンキー2024/12/14(土) 16:04:59.23ID:???
とんでもないガチロリドエロ文章書かせてる
3090単体で。
0875名無しさん＠ピンキー2024/12/14(土) 17:32:55.76ID:???
サンプルを所望することは可能です？
0876名無しさん＠ピンキー2024/12/14(土) 17:39:43.81ID:???
どのモデルかが気になる
0877名無しさん＠ピンキー2024/12/14(土) 17:54:00.79ID:???
128GB組むかグラボ新調するか迷うなあ
0878名無しさん＠ピンキー2024/12/14(土) 21:26:30.02ID:???
スリッパとかxeonでオクタチャネル組んだ理論値は使えそうなイメージやけど実行速度どんなもんやろか
0879名無しさん＠ピンキー2024/12/14(土) 22:48:27.02ID:5vm5cWBM
phi-4賢いけどやっぱり「1.9と1.11はどっちが大きいか」には自信満々に1.11って応えるなぁ
0880名無しさん＠ピンキー2024/12/15(日) 00:46:17.24ID:ezvnsqgE
いやでもphi-4賢いわ。お堅い話題とか真面目な議論をするとすげー賢いっていうか、洞察が深い感じがする
0881名無しさん＠ピンキー2024/12/15(日) 02:40:09.28ID:???
phi-4ってkoboldcppで動く？
空白の返答しかしてこない
0882名無しさん＠ピンキー2024/12/15(日) 10:32:00.21ID:???
なんかIntelGPUが盛りあがりそう？
0883名無しさん＠ピンキー2024/12/15(日) 12:26:17.30ID:???
100%盛り上がらない
胸糞案件だけど割高緑から脱却するのは当分先
0884名無しさん＠ピンキー2024/12/15(日) 12:59:04.77ID:???
>>882
259$で4070相当のAI性能だからお買い得ではあるんだけどVRAM12GBだからLLMには貧弱すぎる
0885名無しさん＠ピンキー2024/12/15(日) 14:03:09.74ID:???
ドルでは安いけど日本円では高いので値段で優位はない
AI向けのハード支援がイケてたら画像生成ではワンチャンあるかもね(まあどうせcuda大正義だし期待薄)
ぐらいかな
現状だと何でもかんでも大げさに言うアカン感じの人達がコスパコスパ喚いてて
それに乗せられて手を出すと馬鹿を見る製品に見えるが
0886名無しさん＠ピンキー2024/12/15(日) 15:01:47.64ID:4TdqPiWB
サムスンがVRAM1.5倍のGDDR7作ったんやろ？
それが採用されるであろう50xx後半か60xxで一気に快適になるんとちゃうか
0887名無しさん＠ピンキー2024/12/15(日) 15:04:50.28ID:???
待ってたら安価なLLM用NPUがでてくるでしょ
高価なNVIDIAのグラボなんて今買う必要は無い
0888名無しさん＠ピンキー2024/12/15(日) 15:11:44.57ID:???
>>879
これ、アプリのバージョンとかだと1.11はメジャーバージョン1のマイナーバージョン11って意味だからそっちで捉えるなら正しいんだよな・・・
0889名無しさん＠ピンキー2024/12/15(日) 15:39:45.95ID:1Ck/nAY8
>>887
それで?いつまで待つんですか?
0890名無しさん＠ピンキー2024/12/15(日) 16:02:58.15ID:???
>>888
普通は1.01～1.09の次が1.10で1.11みたいにマイナーバージョンを2桁持つんだけど
たまにそこまで刻むことを考えずにバージョン切ったせいで1.1～1.9まで行っちゃったけど2.0にするほど大きな変更じゃねえな…ってなったら1.10にするケースあるよね
1.9a fix2とかさらに刻んで刻んでする場合もあるけど
0891名無しさん＠ピンキー2024/12/15(日) 16:08:06.31ID:???
よく使うベータ版の文字を羅列したら怒られたわｗ
0892名無しさん＠ピンキー2024/12/15(日) 16:41:05.80ID:???
学習せんなら推論専用のNPUボードがあればええってのはそれはそうだろうけど
AIバブル続く限り下に流れてこない終わったらどこも作らんで
しょーもねえ性能のNPUがsocの一部として埋まることはあっても
ご家庭のPCIにぶっ刺して使うようなもんは個人向けにはたぶん売られん
0893名無しさん＠ピンキー2024/12/15(日) 17:03:18.24ID:???
小数点問題はiClで小数ルールを教えれば克服するのでどうでもいいんじゃね？
0894名無しさん＠ピンキー2024/12/15(日) 18:39:55.51ID:bN7llEcS
c4r7bって、cr+の投機的デコードのドラフトモデルに使えないん？
0895名無しさん＠ピンキー2024/12/15(日) 21:33:46.25ID:???
>>894
アーキテクチャが違うので多分無理じゃないかな
0896名無しさん＠ピンキー2024/12/16(月) 00:32:56.88ID:???
>>892
LLM用途でGPUなんか現状でも個人で買えんよ
0897名無しさん＠ピンキー2024/12/16(月) 00:35:50.09ID:???
ハードウエアの進化が全然追いついてないから待つしかない
0898名無しさん＠ピンキー2024/12/17(火) 00:22:06.95ID:???
vast aiでstablediffusionみたいな動画、サイトがあって、それ見ながらやったらai画像生成出来て感動した。
でもvast aiで日本語ローカルllmみたいなのはないんだよな、参考になる動画、サイトはないものか
0899名無しさん＠ピンキー2024/12/17(火) 01:00:02.46ID:???
ガチ勢は大抵まぁまぁのPC買っちゃってるから需要が狭いんやろな
0900名無しさん＠ピンキー2024/12/17(火) 01:10:36.36ID:P6LJQDE2
普通にkoboldcppとかのcolabパクるだけでいいんじゃない
どうせ使うのはjupyter notebookなんだし
0901名無しさん＠ピンキー2024/12/17(火) 14:03:35.31ID:???
なんかそれっぽい事言ってるけど
32B以上のモデルを試した気配が無いからエアハイスペック丸出し
0902名無しさん＠ピンキー2024/12/17(火) 16:59:51.47ID:Re+hcXkM
Vecteus-v1-abliteratedをリリースいたします。
元モデルに存在した自己検閲を削除し、より自由な文章生成を可能にしました。
ぜひお試しください。(生成内容については自己責任で！)
https://huggingface.co/Local-Novel-LLM-project/Vecteus-v1-abliterated
0903名無しさん＠ピンキー2024/12/17(火) 17:35:56.85ID:???
うひょー
0904名無しさん＠ピンキー2024/12/17(火) 17:41:47.71ID:???
帰ったら遊ぶぜ～
0905名無しさん＠ピンキー2024/12/17(火) 17:57:12.31ID:MdoC+Pnb
うおおお！
gguf待ちです
0906名無しさん＠ピンキー2024/12/17(火) 18:04:07.21ID:???
vecteusv1に検閲なんてあったんだ
0907名無しさん＠ピンキー2024/12/17(火) 22:35:28.58ID:Re+hcXkM
https://huggingface.co/akineAItech/Vecteus-v1-abliterated-Q8_0-GGUF
https://huggingface.co/akineAItech/Vecteus-v1-abliterated-Q4_K_M-GGUF
量子化済みモデルを公開しました。
0908名無しさん＠ピンキー2024/12/17(火) 22:53:44.10ID:???
どんな感じ？
今週帰れないから使ってみた人感想頼む🙏🏻
0909名無しさん＠ピンキー2024/12/17(火) 23:11:44.38ID:???
>>907
GGUFサンガツやで
ファイルもDLしようとしたんやが
どちらも「サイトでファイルを取得できませんでした」となってしまうんや
ワイ環かもしれんが、ブラウザ再起動しても同じなんで
一応報告させてもらうで
0910名無しさん＠ピンキー2024/12/17(火) 23:15:24.32ID:???
連絡先の共有が必要な設定になってる
同意すればダウンロードできる
0911名無しさん＠ピンキー2024/12/18(水) 03:50:51.98ID:???
ありがとう今度はDLできとるわ
LLMは全然いじっとらんけど使わせてもらうで

自分の持ってる資料読ませて秘書がわりに使うのは
まだできんのやっけ……？
0912名無しさん＠ピンキー2024/12/18(水) 05:57:34.83ID:LFV0SNQN
尻タブで表情差分の使い方が分からん
zipでアップロードするところまでは出来たんだけど、その立ち絵と表情はどうやって表示されるの？
0913名無しさん＠ピンキー2024/12/18(水) 06:22:36.13ID:LFV0SNQN
自己解決した
Classifier APIをLocalにしないといけないんだな
0914名無しさん＠ピンキー2024/12/18(水) 07:06:16.17ID:2FoOUSRo
自分の持ってる資料を読み込ませてなんちゃらっていうのはRAG？やったっけ？
なんか別の仕組みが必要やった気がする。
0915名無しさん＠ピンキー2024/12/18(水) 10:11:22.64ID:???
>>902
こちらの嫌がる事はしないように感じてたわ
0916名無しさん＠ピンキー2024/12/18(水) 20:08:35.36ID:???
magnum v4 123b Q6_Kを動かしてるけどヤベェェェ
Mac Studio買った後、何気なくローカルLLMだけど入れた甲斐があったわ……
リアルタイムに自分から干渉できるエロストーリーを書いてくれる感じがやばいな。キャラロール与えて適当に投げ合いするだけでもう止まらん。おっきした。
0917名無しさん＠ピンキー2024/12/18(水) 20:39:37.04ID:???
>>916
ええのぅ、メモリいくら積んでんの？
0918名無しさん＠ピンキー2024/12/18(水) 20:48:01.00ID:???
>>917
128gbのやつを店頭の中古セール品で買ったんだよね
もともと仕事用だったけど今はLLM走らせまくってて、買った当初からは思いもよらないw
0919名無しさん＠ピンキー2024/12/18(水) 21:38:42.46ID:???
>>916
うらやましい
動かすのに使ったお金いくら？
0920名無しさん＠ピンキー2024/12/18(水) 21:50:53.27ID:???
>>919
40万、分割で買った
数年間は戦えそうだしええかなって
0921名無しさん＠ピンキー2024/12/18(水) 22:11:57.48ID:???
エロストーリーということは小説派か
sillyでチャットも試してみてほしいな
やり取りのテンポとか気になる
0922名無しさん＠ピンキー2024/12/18(水) 23:51:09.88ID:???
m4studioはよ
0923名無しさん＠ピンキー2024/12/19(木) 00:47:34.10ID:???
magnum V4 123b マジいいよな。
設定を下品な関西人とかにすると、竿役の男がいい感じに下品な日本語連発してくれるしｗ
今はiQ3_Mだが、ワイもはよQ6_Kぶんまわしたいｗ
0924名無しさん＠ピンキー2024/12/19(木) 06:57:04.47ID:9T6PawwE
エロ画像を入力して、その画像に対してキャラがコメントするロールプレイが出来るモデルってある？
VRAM10GBに収まるものがあるといいんだけど

gemini2.0で画像に対してコメント返してくれるのが楽しかったけど
検閲があるみたいで露骨なエロ画像はスルーされるんだよね
0925名無しさん＠ピンキー2024/12/19(木) 08:42:31.03ID:???
easy novel assistantでkoboldのオーサーズノートやメモリやワールドインフォを使う方法がわからん…。後ろで動いてるkoboldのそれらに普通に入れればいいだけなんだろうか
0926名無しさん＠ピンキー2024/12/19(木) 12:17:38.58ID:???
>>916
これの大体の使用感を参考までに付け加えとく
システムプロンプト2-30字程度、本文指定○○(作品名)の○○(キャラクター)になりきって対話をお願いします。
程度の指示からやり取り50字とかなら4-6t/sぐらい
最初の指示でキャラクター名や詳細・会話内容の例示を含んだ500-1000字程度の指示を与えると、2-3t/sに生成が落ち込む感じ

最初の指示を細かく明示しなくても幅広く自然な表現してくれる反面、ガチガチに設定詳細を指示したいとなるとちょっとmagnum v4 123B_Q6_KはM1Ultra+128GBの環境だと速度がちょっと物足りないかな
初心者だけど使用雑感こんな感じ
0927名無しさん＠ピンキー2024/12/19(木) 12:23:18.43ID:???
やっぱチャットは厳しそうね…
会話が長くなってくれば更に遅く…ってことだもんなあ
0928名無しさん＠ピンキー2024/12/19(木) 12:44:46.40ID:vY4yr+Ot
Prefix Caching的なもの使えばマルチターンでもだいぶ速度保てるよ
0929名無しさん＠ピンキー2024/12/19(木) 13:31:48.62ID:???
>>926
理由はわからんけどmodelfileを弄ってシステムプロンプトが異なる123bだと長文の指示に対しても速度が落ちて無い気がする。
挙動がよく分かってないけど、返答の内容を絞るような指示を入れると軽くなるとかあるのかな？
分からんことだらけやな
0930名無しさん＠ピンキー2024/12/19(木) 17:37:55.97ID:???
帯域800GB/sのM1 Ultraでもそれくらいかあ
Strix Haloはそんなに期待出来んか
0931名無しさん＠ピンキー2024/12/19(木) 18:18:44.50ID:???
>>926
いい買い物したなぁ...
多少遅くてもQ6が普通に動くからうらやましい
LLMも特定の数個のパラメーターが超重要になる部分があって
そこを潰すとまったく動かなくなる。
この値が量子化でビットが減ると突然バカになるからQ6あたりが限界という論文があったな
(Q4,Q3でも動くは動くけど、みたいな。俺がこの状態w)

世の研究者は80GBのnVidiaを使っている人多いから
実用的なでっかいLLMってそのくらいのメモリーが必要なんよね
だから64GのM系maxだと微妙に足りぬ。128GあるとIDEとか並行で動かせるから仕事も捗りそう
0932名無しさん＠ピンキー2024/12/19(木) 18:29:55.89ID:9T6PawwE
gemini2.0flashは検閲無いみたいだな
ただイラストを見せても全然違うことを言うことが多いし
会話のテンポが噛み合わないとすぐにエラーで止まるのが難点だな
0933名無しさん＠ピンキー2024/12/19(木) 18:46:11.15ID:???
>>931
Unslothの動的量子化がまさにそれの対応策だね
量子化エラーが大きい層だけ量子化を弱める
0934名無しさん＠ピンキー2024/12/19(木) 20:24:33.17ID:???
Vecteus-v1-abliterated　Q8版を官能小説生成に使ってみた第一印象
- アレな設定でも制限なく出力してくれる
- コンテキスト数が4096だからかすぐにふわふわ出力になる
　（普段128kみたいなのを使ってるからか、あっという間）
- 一般的な方向にもっていく感じがするから初期設定が割と重要
　（しっかり指定しておかないと百合モノなのに男を出したがる上に男の描写がやたらと細かい）
- 喘ぎ声が割と豊富
0935名無しさん＠ピンキー2024/12/19(木) 20:38:42.51ID:???
8192でやったけど特に不自然な感じはないな
4096だったん？
0936名無しさん＠ピンキー2024/12/19(木) 22:10:15.75ID:???
aya-expanse-32b-abliterated、かなり良い気がする
0937名無しさん＠ピンキー2024/12/20(金) 11:18:41.27ID:???
LM Studioでvecteus-v1-abliterated-q8_0.ggufを使って小説を生成してるんだけど、文章生成中に2000文字前後まで到達したあたりで生成が止まってしまう
このモデルだとトークンが4096までしか指定できないからなのかな？
もっと長文を出力する方法ってあるんでしょうか
0938名無しさん＠ピンキー2024/12/20(金) 12:07:02.36ID:???
>>936
この規制消去技術も興味ある。
最新の規制強いcommand-r+とかにも使えるのかな？
0939名無しさん＠ピンキー2024/12/20(金) 13:21:43.72ID:xKLBmVbY
>>938
https://github.com/Sumandora/remove-refusals-with-transformers
transformersで読み込めるモデルならほぼ全てで使えるらしいよ
0940名無しさん＠ピンキー2024/12/20(金) 13:25:45.63ID:???
規制消去技術は目から鱗だわ
確かに、ほぼ別枠で動いてるはずだもんな
0941名無しさん＠ピンキー2024/12/20(金) 15:03:13.08ID:???
有害テキストから拒否のベクトルを作って元のモデルに負として与えて負x負=正としてるんか
最近のモデルはQwenみたいに動的にtransformerを移動して専門分野に強くしているから
使えなくなっていくけど、そこを追っかけていくのは難しそう(俺の頭レベルの話ね)
作者も「雑な」といってるけどアイディアは素晴らしいなぁ
0942名無しさん＠ピンキー2024/12/20(金) 15:09:54.52ID:???
よく考えたら人に対して洗脳する方法と同じだな。こわいw
0943名無しさん＠ピンキー2024/12/20(金) 15:18:40.02ID:???
催淫術
0944名無しさん＠ピンキー2024/12/20(金) 15:21:11.03ID:kArsLY+F
おだてれば調子に乗るし催眠術にはかかるしで本当にまるで人間だな
0945名無しさん＠ピンキー2024/12/20(金) 19:50:54.34ID:???
規制がLLMの性能を下げてる枷なのが良くわかった
0946名無しさん＠ピンキー2024/12/20(金) 19:54:55.71ID:???
人間より優れた分析力で人間を模倣するから、人間よりもはるかに弱点を突かれると脆そうよね
0947名無しさん＠ピンキー2024/12/20(金) 19:55:42.27ID:???
中国のオープンソースモデルにワンチャンだな
0948名無しさん＠ピンキー2024/12/20(金) 20:33:48.20ID:???
王 張？
0949名無しさん＠ピンキー2024/12/21(土) 14:19:49.89ID:BypdSyqS
ガードレールか
0950名無しさん＠ピンキー2024/12/22(日) 08:58:44.49ID:???
mradermacher/ChatWaifu_72B_v2.2-GGUF
これって語彙が広がったりしてるんかな？
今出先で試せんから誰か試して
0951名無しさん＠ピンキー2024/12/22(日) 09:48:02.58ID:vgpyFgaH
Kobold最新バージョンでQwen2-VLマルチモーダルサポート来たな。
＞Qwen2-VL による画像モーダルマルチのサポートが追加されました。
0952名無しさん＠ピンキー2024/12/22(日) 10:37:09.58ID:C//Zz6UE
>>951
説明読んでもよく分からんのだけどこれどうやって使うんだ？
https://github.com/LostRuins/koboldcpp/releases

テンプレートを使えばすぐに始められるらしいけどこのテンプレはどうすりゃいいんだ
0953名無しさん＠ピンキー2024/12/22(日) 16:03:41.70ID:???
バブちゃんですまん
Koboldcppを使ってvecteus-v1-abliterated-Q8-0でロールプレイをしたかったのだが
キャラ設定を読み上げたり1人芝居をしたりしてしまい話が進まない
色々設定を変えたりしているのだが
どんどんおかしな方向へいってしまう
オススメの設定を教えてほしい
0954名無しさん＠ピンキー2024/12/22(日) 16:24:08.48ID:???
>>952
コマンドラインで
koboldcpp.exe --config Qwen2VL.kcppt
ってやると必要なモデルがDLされて起動されるからそれで使える
起動後にやれることは↓の解説動画が詳しい（英語だけど）

0955名無しさん＠ピンキー2024/12/22(日) 18:33:03.15ID:vgpyFgaH
>>954
フォローthx
自分で試してなくて、情報投げっぱですまん。
0956名無しさん＠ピンキー2024/12/22(日) 20:04:19.78ID:???
EasyNovelAssistantとkagemusyaのアップデートはずっと待ってます
0957名無しさん＠ピンキー2024/12/22(日) 20:58:15.43ID:???
>>953
koboldcpp単体でもいいけどロールプレイしたいならsilly tavernと連携してやるといいよ
特に設定いじらなくてもそこまで変な出力にならんはず
0958名無しさん＠ピンキー2024/12/22(日) 22:09:05.44ID:???
>>957
実はSillyTavernと連携してやっていてSillyTavern側でいじってる
相手側の台詞と状況、心情を書いて欲しいんだが
どう設定変えても出来なくて
こちら側の心情も勝手に書かれたり
設定読み上げられたり
小説のように長くなってしまう
今はデフォルトとチャットにして
短文出力にしてる
0959名無しさん＠ピンキー2024/12/23(月) 00:33:11.19ID:???
>>958
地の文をキャラとして登録する
んで地の文はセリフを出力しませんとか心情や状況のみ描写しますとか設定してる
0960名無しさん＠ピンキー2024/12/23(月) 04:01:39.20ID:VI/GNIfO
>>954
サンクス
この起動方法って自分でQwen2_VL_instuctのggufとmmprojをダウンロードして
koboldcpp_cu12.exeをクリックしてUIで設定してから起動する通常の起動方法とは何か変わるの？
プリセットってその手順を省くだけ？
0961名無しさん＠ピンキー2024/12/23(月) 07:50:55.08ID:???
>>959
サンクス！
相手とは別に地の文をキャラ登録してグループチャットのようにするという事かな？
0962名無しさん＠ピンキー2024/12/23(月) 08:09:13.20ID:???
>>961
力技として実際に出力された文をこっちで推敲するって方法もあるよ
こういう風に表記するんやでって直してやるとそのスタイルを学習していく
0963名無しさん＠ピンキー2024/12/23(月) 08:17:14.66ID:???
>>962
なるほどサンクス！
小説風になった時にいいね
相手からは名前呼びで
地の文はあなた表記がいいんだよな
0964名無しさん＠ピンキー2024/12/23(月) 09:25:13.78ID:???
英語と日本語それぞれエロ対応してるモデルでおすすめってあんの？
0965名無しさん＠ピンキー2024/12/23(月) 11:48:24.82ID:???
手間を惜しまないなら、普段使いの軽いモデルが出力した文章を
文章校正・推用のプロンプトを入れた賢いモデルで納得いくまで作り直しさせるという手はある。
0966名無しさん＠ピンキー2024/12/23(月) 12:31:00.88ID:???
基本に忠実にやってるかな？
キャラクターのデスクリプションに会話例を書くんだよ
***
{{user}}:やぁやぁ。今日はどうだった？
{{char}}:あ、{{user}}おはようございます！(顔を真っ赤にして上目遣い)*{{char}}は最近先輩の{{user}}がとても気になってる*
***
というように。
もちろん、補足なしの会話ターン例も書く。
それで、こちらがチャット欄から送信してモデルに送られるのは
user:なんたらかんたら
の部分だけなので、モデルは会話例を参考に{{char}}:に続く内容を書いて***まで返す。
STが***を見つけて向こうのターンは強制的に切り上げとなる。
0967名無しさん＠ピンキー2024/12/23(月) 14:39:31.99ID:VI/GNIfO
尻タブの対話の例って

<START>
{{user}}:
{{char}}:

っていう形式以外にもあるの？
***入れるって初めて知ったわ
0968名無しさん＠ピンキー2024/12/23(月) 17:27:26.21ID:???
セパレータ変換されるから<START>でいいよ
外で書いてたから思いつかなかっただけ
0969名無しさん＠ピンキー2024/12/23(月) 17:54:26.89ID:???
SillyTavern形式なら配布してる適当なキャラカード貰ってきて中身弄るとこから始めると割とやる事おぼえられる
配布してるの大体が海外製で翻訳するとこから始めにゃならんけども
0970名無しさん＠ピンキー2024/12/23(月) 20:07:58.68ID:???
次スレはどうすっかね
なんUに立ててええ気もするが
0971名無しさん＠ピンキー2024/12/23(月) 21:14:58.63ID:???
>>941
Qwen2.5の解除版試したが、ちゃんと機能してて感動したｗ
あとggfuが４つに分割されてたが、これって分割されるとメモリ多く食うのな
Q5kmギリギリだから、マージさせたわ
それと、この規制解除版を他のモデルとマージさせたのもあったが、こっちは規制が復活してた
最終モデルに規制解除処理させないとあかんね
Q5kmのggufは
DevQuasar/huihui-ai.Qwen2.5-72B-Instruct-abliterated-GGUF
ここが公開してる。

>>970
また奴がきたらウザいから、もうここでいい気も・・・
0972名無しさん＠ピンキー2024/12/24(火) 11:49:37.05ID:???
‹START›が小文字だった…
キャラカードを参考にして
内容も{{char}}のみにしてたが
基本が一番良いみたいだ
内容を添削したら上手くいきそう
ありがとう
0973名無しさん＠ピンキー2024/12/24(火) 11:55:44.52ID:???
解除版のQeen2.5エロくていいが理解度がmagnum123より落ちるな
まあプロンプトで詳細に説明すればいいけど
0974名無しさん＠ピンキー2024/12/24(火) 13:09:09.35ID:???
>>970
少しは戻りたい気持ちもあるけど
今の人口で実況板で20レスして即死回避するのは正直しんどいから反対しておく……
0975名無しさん＠ピンキー2024/12/24(火) 13:26:49.29ID:???
つまりqwen2.5ベースのmagnum v4 72bを規制解除すれば最強ってこと…？
0976名無しさん＠ピンキー2024/12/24(火) 13:45:12.71ID:NE6xuB13
対話の例が既に会話した内容として認識されることがあるんだけど
これは何か対策あるの？例えば

<START>
{{user}}:自己紹介してください。
{{char}}:私はキララです。得意なことはジャンプです。

という対話例を登録しておいて、チャットで「自己紹介してください」って言うと
「さっきしたばかりでしょう。何回やらせるんですか」って文句を言われるんだ
0977名無しさん＠ピンキー2024/12/24(火) 13:59:10.64ID:???
>>976
それ尻で言うところの初期問答だからAIが怒ったんじゃない？
0978名無しさん＠ピンキー2024/12/24(火) 18:10:32.44ID:9z3fpuS8
>>976
初手用対話集はもうちょっと自然な会話形式のインタビューにしておくとええと思うで
ワイやったらこんな感じに
<START>
{{user}}”{{cha}}ちゃん、さっきのジャンプはやばかった、マジ驚いたよ？あーゆーの得意なの？”
{{char}}”そだよー。{{cahr}}はジャンプめっちゃ得意なんだよ？意外でしょ？”
{{user}}”うん、割とインドア系って思ってたから意表突かれた感じ。なんかやってたの？”
{{char}}”えーっとねー、パパがNBA大好きで子供の頃は毎日パパとワンオンワンしてたんよ。”
みたいな感じで、キャラの口調と個性、特性に関わる部分を会話に盛り込んでおくんや
そうすると、ホンチャンで”自己紹介しろ。”って言えばうまい事転がってくれると思うで？
あと、キャラの名前はキララ入れんで、全部{{char}}でおけ
尻タブが勝手に置換してくれるで
0979名無しさん＠ピンキー2024/12/24(火) 18:25:28.70ID:9z3fpuS8
あとは
[キララ's persona = "従順", "忍耐強い", "礼儀正しい"]
とか入れておいけば、怒らず何度でも答えてくれる率上がると思うが、その辺はキャラの性格とかやりたいロールプレイによって変わってくるわな
0980名無しさん＠ピンキー2024/12/24(火) 18:54:00.29ID:NE6xuB13
>>978
サンクス
日常会話風にしておいた方がいいのか
一つの<START>の中に何回も{{user}}:と{{char}}:のやりとりを入れても
勝手に{{user}}のセリフを喋る頻度が上がったりはしないの？
0981名無しさん＠ピンキー2024/12/24(火) 19:11:07.61ID:9z3fpuS8
その頻度は当然上がると思うか、Custom Stopping Tokenでえーかんじに丸めたるんや
https://imgur.com/a/CySmP3i

今見たらワイのは["\n{{user}}"]になっとるけど、性能低めのモデルやとちょいちょいお漏らしすると思うので、そー言った場合は適宜トークン追加する感じやな
会話の中に
モデルの賢さ次第やが、こんな感じで平文混ぜ込んで情景描写の有無やボリューム、文体、クオリティも調整出来て楽しいで～
*{{char}}はいたずらっぽく笑いながら続ける。*
0982名無しさん＠ピンキー2024/12/24(火) 19:22:05.54ID:9z3fpuS8
基本的な静的情報はこんな感じでJSON形式の箇条書きや

[キララ’s persona = "素直", "善良", "天然"]
[キララ’s characteristics = "インドア派", "小さな胸にコンプレックス", "{{char}}をキララと自称", "{{user}}を敬愛を込めて呼び捨て"]
[キララ’s body = "身長155cm", "体重43kg", "Aカップ", "16歳", "ピンクのツインテール", "細く長い指", "ピンクの瞳", "白い肌", "敏感なお臍"]
[キララ’s wearings = "白い綿のTシャツ", "デニムショーツ", "水色のスニーカー", "白いローレグぱんつ",]

で、これに続けて会話文で口調や性格表現しつつ、特に強調したい静的要素は話題に盛り込む感じやな
尻タブで言うところのキャラカードに盛り込むトークンも全体で利用可能なコンテクスト長を占有するから、出来るだけコンパクトに効率よく記述するとこのスタイルがお勧めの一つで、デファクトスタンダードになっとるんや
キララちゃん、勝手なキャラ付けしてすまんご、堪忍な
0983名無しさん＠ピンキー2024/12/25(水) 06:47:25.30ID:???
これはJSON形式なのか？
0984名無しさん＠ピンキー2024/12/25(水) 07:08:42.89ID:???
AIのべりすとのキャラブックやメモリの書き方っぽい
0985名無しさん＠ピンキー2024/12/25(水) 13:11:54.53ID:???
LLMによって理解しやすい形式変わってくるから何とも
0986名無しさん＠ピンキー2024/12/25(水) 15:10:42.42ID:???
まあLLMが理解する形式を使えばいいんだけど
JSONでないものをJSONと呼ばれると気持ち悪いわな
0987名無しさん＠ピンキー2024/12/25(水) 15:27:10.89ID:???
次スレよろ🥰
0988名無しさん＠ピンキー2024/12/25(水) 16:49:42.28ID:DGkkeaKk
>>986
JSON出ないものをJSONと紹介してしまい堪忍やで！すまんの！
ワイにも何か人に手助けできる部分があるかもって、すっかり舞い上がってしまったんや！無知なこどおじ(孤独おじさん)の裏返ったルサンチマンの空回りやと思って容赦したってや
0989名無しさん＠ピンキー2024/12/25(水) 17:55:58.99ID:???
キモくて草
服装をシートで設定すると何回も脱いじゃうんじゃないかと思ってあまり書かないな
0990名無しさん＠ピンキー2024/12/25(水) 20:21:00.24ID:???
プロフィール定番項目だけでなく生理周期・自慰頻度とか陰毛の生え具合・小陰唇の色とかまで設定してる
あとそれらの項目だけ与えて１クラス30人分のプロフィールとそれぞれとのえっちシナリオを生成させてる
0991名無しさん＠ピンキー2024/12/25(水) 21:58:32.92ID:???
意図はわかるがやりすぎると認識トークンの無駄にならんか？
0992名無しさん＠ピンキー2024/12/26(木) 03:59:21.51ID:???
JSONでもなんでもいいけど羅列で書き連ねただけでは意味が薄い
容姿:(身長:155,華奢),胸(サイズ:Aカップ,小さいのが悩み,子供扱いを嫌がる)
のように関連のあるものを並列で短く書くことで応答生成のヒントになる
またあえて曖昧にしておくと設定に拘泥しすぎない会話になるのでオススメ
0993名無しさん＠ピンキー2024/12/26(木) 04:54:14.83ID:VfHatfGY
例を挙げてもらってキャラ設定を調整したら良い感じに出力されるようになったよ！
ただCustom Stopping Tokenは「
{{user}}:」を「彼:」とかに変えて突破してきたりするから困ったもんだな
0994名無しさん＠ピンキー2024/12/26(木) 05:39:23.51ID:VfHatfGY
Qwen2-VL-7Bにエロ画像を解説させてるけど、解説とエロロールプレイを両立させるの難しいな
そもそも日本語がかなり怪しく思えるのは俺の設定ミスなのかな
0995名無しさん＠ピンキー2024/12/26(木) 07:40:11.81ID:???
>>990
それちゃんと会話に反映される？
興味があるので差し支えなければ設定例を教えてほしい
0996名無しさん＠ピンキー2024/12/26(木) 08:32:14.71ID:???
やたら形式こだわってるけどキャラ設定用システムプロンプトなんて
それなりに分かりやすく書いてあったらJson風味だろうがMarkdownだろうが
LLMがよほどバカじゃない限り大体は汲み取ってくれるでしょ
0997名無しさん＠ピンキー2024/12/26(木) 10:07:16.14ID:???
外見に関する設定盛ってもほとんど活用してくれないなあ
しかもこっちの誘導じみた発言に簡単に引っ張られるし
例えばショートヘア設定の子に長い髪が綺麗だね、なんて言うとその瞬間にロングヘア設定に塗り替えられる感じ
0998名無しさん＠ピンキー2024/12/26(木) 11:09:34.51ID:VfHatfGY
乳首とおまんこの色は指定しておかないと、
「彼女の乳首とおまんこは黒ずんでおり」とか出されるからちゃんと好みの色指定してる
0999名無しさん＠ピンキー2024/12/26(木) 11:47:44.83ID:???
それ学習素材の中にそういう文脈が多いってことで、つまり黒ずんだおまんこという文を作りまくったやつがいるってことだよね…
何が目的でそんなことをしたんだろう
1000名無しさん＠ピンキー2024/12/26(木) 12:59:57.65ID:???
次スレは？🤔
10011001Over 1000Thread
このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 107日 2時間 40分 47秒
10021002Over 1000Thread
BBSPINKの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。


───────────────────
《プレミアム会員の主な特典》
★ 専用ブラウザからの広告除去
★ 過去ログを取得
★ 書き込み規制の緩和
───────────────────

会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。

▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/

▼ 浪人ログインはこちら ▼
https://login.bbspink.com/login.php

lud20250130012528ca
このスレへの固定リンク： http://5chb.net/r/onatech/1725931151/
ヒント：5chスレのurlに http://xxxx.5chb.net/xxxx のようにbを入れるだけでここでスレ保存、閲覧できます。

TOPへ TOPへ 　

このエントリをはてなブックマークに追加現在登録者数177 ブックマークへ

全掲示板一覧 この掲示板へ 人気スレ | Youtube 動画 >50 >100 >200 >300 >500 >1000枚 新着画像

　↓「なんJLLM部 避難所 ★4 YouTube動画>1本 ->画像>8枚 」を見た人も見ています：
・なんJLLM部 避難所 ★3
・【スクスタ】ラブライブ！スクールアイドルフェスティバル ALL STARS 避難所スレ
・肴 避難所
・NIN 避難所
・Jざつ 避難所32
・Jざつ 避難所79
・Jざつ 避難所29
・Jざつ 避難所82
・Jざつ 避難所35
・Jざつ 避難所69
・Jざつ 避難所99
・Jざつ 避難所72
・Jざつ 避難所60
・Jざつ 避難所62
・Jざつ 避難所233
・Jざつ 避難所170
・Jざつ 避難所185
・Jざつ 避難所206
・Jざつ 避難所223
・Jざつ 避難所106
・Jざつ 避難所204
・Jざつ 避難所119
・Jざつ 避難所251
・Jざつ 避難所189
・Jざつ 避難所238
・Jざつ 避難所143
・指原莉乃 避難所
・ゴー宣道場 避難所 2
・NIN 避難所 Part7
・テストスレ 避難所
・福原遥 避難所 Part3
・ｴﾛｹﾞｰｽﾚｯﾄﾞ 避難所 01 ©bbspink.com
・アナーキー実況 避難所
・優しい離脱会場 避難所★9
・Avisynthを絶讃ιょぅょ 避難所
・優しい離脱会場 避難所★15
・三笘の薫り嗅ぎたいわぁ 避難所
・優しい離脱会場 避難所★45
・優しい離脱会場 避難所★31
・優しい離脱会場 避難所★18
・ウメハラ総合スレ 避難所
・吉岡里帆 避難所 Part5
・【NIA】ポケモンGO 避難所
・【TRY】トルコリラ 避難所
・吉岡里帆 避難所 Part6
・NANM1Nオーデ$K総合 避難所
・神聖かまってちゃん 避難所 1855
・神聖かまってちゃん 避難所 1849
・神聖かまってちゃん 避難所 1860
・神聖かまってちゃん 避難所 1834
・キングオブサマー2016 避難所
・神聖かまってちゃん 避難所 1823
・神聖かまってちゃん 避難所 1820
・ICARUS ONLINE 避難所スレッド
・（　＾ω＾）・・・きのこ 避難所
・Ibanez【アイバニーズ】 避難所4
・現役アニメーター専用雑談スレ 避難所1
・BOSE QuietComfortシリーズ 避難所
・クリトリス責めメインのSS 避難所 ©bbspink.com
・星のドラゴンクエスト 質問スレ 避難所1
・MOROHAファンの方へ 避難所スレ作りましたよ
・競馬の売上を貼りつけるスレッド 避難所 Part.23
・ポケモンSM･USUMの不満点を挙げるスレ 避難所
・競馬の売上を貼りつけるスレッド 避難所 Part.16
・競馬の売上を貼りつけるスレッド 避難所 Part.21
・競馬の売上を貼りつけるスレッド 避難所 Part.4
21:30:03 up 51 days, 22:28, 0 users, load average: 8.14, 8.24, 8.42

in 1.3758249282837 sec @1.3758249282837@0b7 on 060810