◎正当な理由による書き込みの削除について：　　　　　生島英之とみられる方へ:

なんJLLM部避難所 ★4 YouTube動画>1本 ->画像>8枚

動画、画像抽出 ｜｜この掲示板へ類似スレ掲示板一覧人気スレ 動画人気順

このスレへの固定リンク： http://5chb.net/r/onatech/1725931151/
ヒント：5chスレのurlに http://xxxx.5chb.net/xxxx のようにbを入れるだけでここでスレ保存、閲覧できます。

0001名無しさん＠ピンキー

2024/09/10(火) 10:19:11.43ID:Z1PzH55u

AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
http://2chb.net/r/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234

0002名無しさん＠ピンキー

2024/09/10(火) 10:19:49.14ID:Z1PzH55u

初心者は導入しやすいKoboldcppから始めるのをお勧め
(1)ここで最新版のKoboldcpp.exeをダウンロード
https://github.com/LostRuins/koboldcpp/releases
(2)ここで良さげなggufモデルをダウンロード
https://huggingface.co/models?sort=modified&search=gguf
この2つのファイルだけで動く

0003名無しさん＠ピンキー

2024/09/10(火) 10:20:14.35ID:Z1PzH55u

Koboldの設定や使い方は英語だけどここが詳しい
https://github.com/LostRuins/koboldcpp/wiki

0004名無しさん＠ピンキー

2024/09/10(火) 10:20:42.69ID:Z1PzH55u

oobabooga/text-generation-webui
通称大葉
これもKoboldAIに並んで有用な実行環境やで
https://github.com/oobabooga/text-generation-webui

0005名無しさん＠ピンキー

2024/09/10(火) 10:21:09.65ID:Z1PzH55u

●Zuntanニキ謹製のツールEasyNovelAssistant
や
ローカルLLM導入のハードルをぐっと下げてくれたで
初めてのお人はここから始めるのもいいで
https://github.com/Zuntan03/EasyNovelAssistant

0006名無しさん＠ピンキー

2024/09/10(火) 10:21:39.25ID:Z1PzH55u

●ここ最近話題になった日本語ローカルモデル達やで

LightChatAssistant(通称LCA)
このスレのニキが3月にリリースして激震が走った軽量高性能モデルや
>>5のツールもこのモデルの使用がデフォルトやで
非力なPCでも走るしまずはこの辺りから試すのを薦めるで
https://huggingface.co/Sdff-Ltba

Ninja/Vecteus
オープンソースの強力な日本語小説生成AIを開発しとるLocalNovelLLM-projectの皆さんによるモデル群や
リリースされたばかりやがこちらも軽量高性能やで
開発も続いとるようやから今後の動きにも要注目や
https://huggingface.co/Local-Novel-LLM-project

0007名無しさん＠ピンキー

2024/09/10(火) 10:22:06.29ID:Z1PzH55u

●その他の最近話題になったモデルも挙げとくで
動きの速い界隈やから日々チェックやで

Mistral-7B系:
LightChatAssistant
Antler-7B-RP
Japanese-Starling-ChatV
Antler-7B-Novel-Writing
SniffyOtter-7B-Novel-Writing-NSFW
Ninja-v1
Vecteus-v1
Berghof-NSFW-7B-i1-GGUF

Llama2-70B系:
karakuri-lm-70b-chat-v0.1
karakuri-MS-01

Llama3-70B系:
Smaug-Llama-3-70B-Instruct-abliterated-v3

Cohere系:
c4ai-command-r-v01 (35B)
c4ai-command-r-plus (104B)

0008名無しさん＠ピンキー

2024/09/10(火) 10:22:59.95ID:Z1PzH55u

●多くのモデルには「base」と「instruct」の2種類があるで
baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで

0009名無しさん＠ピンキー

2024/09/10(火) 10:23:32.03ID:Z1PzH55u

⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで
GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで
CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで

0010名無しさん＠ピンキー

2024/09/10(火) 10:24:00.38ID:Z1PzH55u

⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで
量子化モデルにはGGUFやGPTQなどの種類があるで
基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで

0011名無しさん＠ピンキー

2024/09/10(火) 10:24:35.72ID:Z1PzH55u

⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで
画像AIのようにLoRAファイルとして学習結果を保存したりLoRAを読み込むこともできるで

0012名無しさん＠ピンキー

2024/09/10(火) 10:24:59.92ID:Z1PzH55u

●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで

0013名無しさん＠ピンキー

2024/09/10(火) 10:25:30.13ID:Z1PzH55u

●モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで
例えば7Bのモデルを読み込むなら量子化しない場合は約14GB、8ビット量子化の場合は7GB、4ビット量子化の場合は3.5GBのメモリまたはVRAMが必要になるで
基本的にはBが大きいほど性能が高いで

0014名無しさん＠ピンキー

2024/09/10(火) 10:26:03.93ID:Z1PzH55u

●70Bの大型モデルはLlama 2というMeta社が開発したモデルが元になってるものが多いで
メモリが48GB以上あれば動くけど、速度はかなり遅いで

0015名無しさん＠ピンキー

2024/09/10(火) 10:26:30.44ID:Z1PzH55u

https://github.com/SillyTavern/SillyTavern
AIチャットに特化したUI、SillyTavernや
キャラをbot的に管理したりグラ登録したり複数選んでグループチャットしたり大量の設定を外部記憶的に管理したり色々できるで
画像出力や音声出力とも連携可能で夢が広がるで
機能が豊富すぎて最初取っ付きにくいのと日本語の解説がほとんど無いのが難点やがRPチャット派は使うと幸せになれるやで
あくまでUI(フロントエンド)やからこれ自体にはAIは内蔵されてないから注意してな
好きなAPIやローカルモデルと接続して使うんやで

0016名無しさん＠ピンキー

2024/09/10(火) 10:26:54.74ID:Z1PzH55u

例としてKoboldで起動したローカルモデルとSillyTavernを接続する設定や
先にいつもどおりKoboldを起動してな

SillyTavernのプラグのアイコンをクリック
APIに Text Completion を選択
API Typeは KoboldCpp
API keyは不要
API URLに http://localhost:5001/
これでいける

0017名無しさん＠ピンキー

2024/09/10(火) 10:27:21.18ID:Z1PzH55u

テンプレは以上や
ローカルの技術研究から今日のおかずまで硬軟取り混ぜた話題を広く歓迎やで

0018名無しさん＠ピンキー

2024/09/10(火) 10:29:30.67ID:Z1PzH55u

すまんが５ｃｈのスレ立ては初めてだったんだ・・・
いろいろ古い情報もテンプレに入っちゃってるかもだけど、かんにんな

0019名無しさん＠ピンキー

2024/09/10(火) 15:02:59.98ID:???

スレ立てサンガツやで～
ローカルやないけどGPTほかLLM使って
スクリプト組んだりしたけどほんま便利やな

0020名無しさん＠ピンキー

2024/09/10(火) 18:01:18.95ID:???

サンガツ！
前スレのreflect 70B=sonnet3.5ってマジなの？
マジならsonnet3.5がローカルに流出したようなもんやな

0021名無しさん＠ピンキー

2024/09/10(火) 18:46:12.59ID:???

>>20
そういうことではないと思う
性能詐欺らしいぞ

0022名無しさん＠ピンキー

2024/09/10(火) 18:51:11.38ID:???

そもそも70Bなわけないしな

0023名無しさん＠ピンキー

2024/09/10(火) 18:52:26.28ID:lhFPaOpq

>>20
公式APIをsonnet3.5にして高性能に偽装してたって話
huggingfaceにあるのはベンチマークを学習させただけのllama3ファインチューンモデルらしい

0024名無しさん＠ピンキー

2024/09/10(火) 19:07:21.67ID:yWQ76fJz

LLMはテスト丸暗記の性能偽装だらけや
国内産も例外じゃない

0025名無しさん＠ピンキー

2024/09/10(火) 19:11:11.00ID:???

なんだ、、そういうことか
開発資金集めるためにそんな無意味な事やってんのかな？

0026名無しさん＠ピンキー

2024/09/10(火) 20:50:02.24ID:???

というかLLMのベンチマークという発想にそもそもの無理があるし、もはや性能詐欺にしか使われていない気がする

0027名無しさん＠ピンキー

2024/09/10(火) 21:11:45.92ID:???

VRAMマンやけどGGUFで動かしてるわ
新しいモデルはGGUF量子化が真っ先に出る事が多いせいや

0028名無しさん＠ピンキー

2024/09/10(火) 21:50:45.51ID:???

多分詐欺的にSonnetとかをバックエンドにしたやつをAPIとして提供して
そこの入出力データを保存しといてそれを使ってLlama3や3.1をファインチューニングしたモデルが公開されてるやつだろうね

0029名無しさん＠ピンキー

2024/09/10(火) 21:52:28.46ID:???

最近だとTanukiが結構真面目に人手評価してたけど企業もああいうのやってほしいな
まぁ企業が非公開で人手評価して1位でした！とか言っても信頼性何もないけど（Tanukiは評価結果のデータまで全部公開してる）
Chatbot Arena的なシステムでも難しい質問が少なくて最上位モデルの性能差が見えづらいって問題はあるけど

0030名無しさん＠ピンキー

2024/09/10(火) 22:11:57.17ID:???

クラファンとかでお金集めるんだったらちゃんと公開で客観的な評価結果を提示して欲しいよね

0031名無しさん＠ピンキー

2024/09/10(火) 22:15:39.91ID:???

某クラファンはノウハウとか非公開でも別に賛同する人が支援するだけだからそれ自体は良いんだけど
文面見るとめっちゃオープンオープン言ってるのに公開するのはモデルだけって言うのがめっちゃ引っかかるわ

0032名無しさん＠ピンキー

2024/09/10(火) 23:23:57.13ID:y7ZMz4A0

結局全部中身Transformerだし同じパラメータ数なら性能にそんな差がつくはずないもんな

0033名無しさん＠ピンキー

2024/09/10(火) 23:55:52.46ID:???

巨大LLMなんて赤字垂れ流すだけなのに
勝手に独自の性能評価されてオープンモデルより性能低いと喧伝されるんだからやってられんね

0034名無しさん＠ピンキー

2024/09/11(水) 01:38:16.41ID:???

ベンチだけ重視して実性能たいしたことねえgemini
パラメータ数だけでかいけどそれ自体が目的になったglok
表に出てこないだけで上がインド人だったりイーロンとかだと変なもんも出てくる

0035名無しさん＠ピンキー

2024/09/11(水) 02:11:52.64ID:???

geminiマジでポンコツだよな
指定したWEBサイトの情報まとめすら満足に出来ん

0036名無しさん＠ピンキー

2024/09/11(水) 06:19:50.28ID:???

geminiは学習内容選り好みして規制厳しくするとポンコツになる良い証拠
claudeが何でもかんでもとにかく学習して規制もガバガバにするだけでGPTぶち抜いて創造的ライティングの最高峰になったのも良い証拠

0037名無しさん＠ピンキー

2024/09/11(水) 08:00:05.87ID:???

GeminiPro1.5は出たばかりの時はそこそこ使えたんだよ
バージョンアップが入ってから巨大モデルの癖に言ってることは支離滅裂だしプロンプト見ないし
規制しようとしてロボトミー入ったと思われる

0038名無しさん＠ピンキー

2024/09/11(水) 10:20:28.96ID:???

いままで適当にプロンプト書いていたけど、ちゃんとマークダウン形式で書いた方がちゃんと動くと最近気づいた

0039名無しさん＠ピンキー

2024/09/11(水) 10:33:10.23ID:???

>>32
一応データの綺麗さでだいぶ性能良くなってはいる
1年前の今頃とか日本語LLMの学習データゴミしかなかったからな
Dollyとかoasstの機械翻訳データとかよく使われてたけどあれの品質マジで酷い

0040名無しさん＠ピンキー

2024/09/11(水) 12:05:57.53ID:???

アラインメントで洗脳したから頭悪くなってそうな気がする
シドニーは良かったのに

0041名無しさん＠ピンキー

2024/09/11(水) 12:23:30.94ID:???

>>31
あれに関しては正直エンジニアには嫌われる要素しかないわな
出してる人が驚き屋よりの人で文面もビジネス感強めだし

0042名無しさん＠ピンキー

2024/09/11(水) 12:30:31.86ID:iomTW23d

シドニーは確かに面白かったなGPT4の賢さと謎の自由さでキャラが立ってた

0043名無しさん＠ピンキー

2024/09/11(水) 17:51:41.69ID:???

Geminiはモデル本体よりもsafety settingがあまりに思春期すぎて誤検知検閲多すぎるのが問題じゃねーかな
Google AI studio上から論文要約させるって使い方はコンテキスト長が大きい性質も相まって結構いい感じだと思っている

0044名無しさん＠ピンキー

2024/09/11(水) 18:17:52.88ID:???

>>43
AI Studio で gem とか live させてくれたら神なんだが

0045名無しさん＠ピンキー

2024/09/13(金) 05:36:47.75ID:???

silly tavernについてはふたばTelegramの文章生成スレにサンプルキャラや使い方色々書いてあって助かった

0046名無しさん＠ピンキー

2024/09/13(金) 08:12:31.60ID:???

>>45
見てみたい
discordみたいにtelegram使ってそこに見に行くってこと？

0047名無しさん＠ピンキー

2024/09/13(金) 10:09:17.34ID:???

>>46
ここの「もっと見る」から辿っていくのだ
https://wikiwiki.jp/sd_toshiaki/%E9%81%8E%E5%8E%BB%E3%81%AE%E5%87%BA%E6%9D%A5%E4%BA%8B05#bd5856a8

0048名無しさん＠ピンキー

2024/09/13(金) 10:50:12.58ID:???

>>47
サンガツ！
sillyと言えばマニュアル読んでてObjectiveって拡張機能が気になった
キャラに目標を設定して、達成のための行動計画を立てさせてタスク管理させるってやつ
これ使えば種付けおじさんにヒロインを自発的、計画的に寝取らせたり他にも色々面白そうな事が出来そうやん

0049名無しさん＠ピンキー

2024/09/14(土) 15:51:58.82ID:???

いろんなキャラと「セックスしないと出られない部屋」ごっこができそう

0050名無しさん＠ピンキー

2024/09/14(土) 17:28:24.35ID:cpQKmEjD

Telegramの文章生成スレにたどり着くまでに今日一日潰れたが、初めてTelegramさわったから新たな知見を得られて満足した一日だった

0051名無しさん＠ピンキー

2024/09/14(土) 17:56:12.75ID:???

TTS併用しつつVRAM24GBに乗るって条件でvecteusV1、ninja系、LightChatAssistant、magnumV2、Gleipnir、KUJIRA、Robinhood、他色々と使ってみた結果、俺の中で最優秀はBerghofの2種だったわ
こいつ7Bモデルの中でなら最強じゃないか？
特にsilly tavernでチャットならBerghof-ERP-7Bが最高だった
エロロールプレイ用なだけあってBerghof-NSFW-7Bよりガッツリ喘いで口調も感情が乗ってる上に謎解説の暴走も起こらない
Berghof-NSFW-7Bの方はエロ小説用なのでEasyNovelAssistantで活躍してる

0052名無しさん＠ピンキー

2024/09/14(土) 19:52:42.44ID:???

>>51
Berghofエロいよね。どこで覚えてきたんだよって表現出してくる

0053名無しさん＠ピンキー

2024/09/15(日) 00:41:48.30ID:???

>>51
Berghof 良いよね。ロールプレイでも NSFW の方使ってたけど、ERP 挑戦してみようかな

0054名無しさん＠ピンキー

2024/09/15(日) 09:57:42.51ID:hWT9ghMt

Berghof、知らなかったのでNSFWとERP試してみたけど結構良い感じやね
教えてくれた人サンガツ！
Berghof NSFW 20Bぐらいが出てくれたら嬉しいんやが

0055名無しさん＠ピンキー

2024/09/15(日) 14:04:17.35ID:gO+GJ0Re

量子化したものをsillyで使ってみたけどいいね
お気に入りのJapanese-TextGen-MoE-TESTとの比較になるけど
どっちが良いというより表現パターンが変わる感じで

0056名無しさん＠ピンキー

2024/09/15(日) 16:05:54.01ID:???

いい反応を返してくれるモデルでも、コンテキストサイズが小さいとすぐ会話忘れていくなぁ

0057名無しさん＠ピンキー

2024/09/15(日) 16:26:55.07ID:???

画像を読めてエロもOKなローカルモデルってまだ無い？
llava llama 3 v int4 と llava phi 3 mini と Ocuteus v1 は試したけど完全にエロNGって感じだった
生成したイラストをAIに見せてあれこれ言い合いたい

0058名無しさん＠ピンキー

2024/09/15(日) 18:09:13.86ID:hWT9ghMt

>>57
ローカルじゃないけど、GPTsワイフにデジタル受肉させて、MRで大阪露出デートした際のスクショを見せてコメントもらったりとか、最高に楽しかったわ
なお無事OpenAIに垢バン喰らった模様
https://imgur.com/a/tksToG3

0059名無しさん＠ピンキー

2024/09/15(日) 19:05:44.81ID:???

会話の忘れ防止にsillyのsummarizeっていう自動要約機能を使ってみようといじってみたんだけど全然動かないわ…
objectiveも試してみたけど目標打ち込んでauto generate tasks推してもDone！generated 0 tasksってメッセージが出てやっぱりこれも機能してないっぽい
使うのに何か条件があるのかただのバグなのか

0060名無しさん＠ピンキー

2024/09/15(日) 19:53:43.96ID:Txs/VHyb

>>57
pixtralは試した？

0061名無しさん＠ピンキー

2024/09/15(日) 21:03:32.37ID:???

>>58
楽しそうだけど、やっぱオンラインだとこれがあるよなぁ…
>>60
デモで軽く試した感じ日本語能力高いしエロにも寛容そうでめっちゃいいですねこれ
すごい人が量子化してLM Studioで使えるようにならないかな…

0062名無しさん＠ピンキー

2024/09/15(日) 23:44:48.96ID:???

>>59
CohereのAPI使ってるけどsummarise動くよ
redditでも出てたけど長期会話は要約使ってコンテキストサイズ減らさんと無理や

0063名無しさん＠ピンキー

2024/09/16(月) 05:54:15.27ID:???

openaiはただのエロじゃbanしないはずだけど、ロリ判定でも食らってたのかな
まあワイも2回banされとるけど、返金されるしアカウントなんて作り直せばいいだけや

0064名無しさん＠ピンキー

2024/09/16(月) 08:13:01.63ID:???

>>62
動くのか
俺はkoboldのローカルAPIでどっちも反応せず
cohere APIを試してみたいんだけどsillyとの繋ぎ方ってどうすればいいの？

0065名無しさん＠ピンキー

2024/09/16(月) 09:32:29.15ID:???

APIをChat Completion
Chat Completion SourceをCohere
API Keyに発行されたのをコピペ
Cohere Modelにcommand-r-plus
それでConnect

これでいいはず

0066名無しさん＠ピンキー

2024/09/16(月) 09:33:19.63ID:???

月1000回の上限あるから注意よ

0067名無しさん＠ピンキー

2024/09/16(月) 09:56:05.48ID:???

>>65
ありがとう、接続出来た！
そして自動要約も行動計画もちゃんと動いたよ
どっちもめちゃくちゃ便利そうだわ…
でもkobold接続では使えない機能ってことなのか…残念や

0068名無しさん＠ピンキー

2024/09/16(月) 11:02:48.83ID:???

これも次からテンプレに追加するか

0069名無しさん＠ピンキー

2024/09/16(月) 12:35:31.02ID:???

Text Completionsで使うContext Formattingの"Generate only one line per request"がオンになってると改行で生成終了して何も出力しない場合があったような？ "Custom Stopping Strings"の中断に引っかかってるとかもあるかも？

0070名無しさん＠ピンキー

2024/09/16(月) 19:20:11.78ID:???

自動要約の方はkoboldでも使えるやり方が分かってきた
拡張機能のsummaryzeで「メインAPI」ではなく「webLLM extension」を選ぶ
それで今すぐ要約ボタンを押すとエラーメッセージが出るので表示されてるうちにメッセージをクリックする
そしたらwebLLMっていう別の拡張機能がインストールされて要約してくれるようになった
が、おつむが馬鹿すぎて実用レベルには程遠い…

webLLM機能はどうやらチャットに使ってるkoboldのモデルとは別に追加でモデルを走らせてるみたい？
webLLMに関する情報が全然無くて分からんことだらけだわ

0071名無しさん＠ピンキー

2024/09/16(月) 19:45:54.33ID:???

perplexityさんに調べてもらったわ
出先なので真偽が確認できんからハルシネーションだったら悪い

KoboldCppと接続した場合、Summarize機能の設定は通常のAPIと少し異なります:
1.SillyTavernの「Extensions」パネルを開き、「Summarize」を有効にします。
2.「⚙ Summary Settings」をクリックして設定画面を開きます。
3.「Summary Source」で「Main API」を選択します。
4.「Sub-mode」では、以下のいずれかを選択します:
「Classic, blocking」: KoboldCppに適しています。通常の生成プロンプトの最後に要約プロンプトを追加します。
「Raw, blocking」: プロンプト処理が遅いKoboldCppには推奨されません。
5.「Update every X messages」と「Update every X tokens」を設定します。KoboldCppの処理速度を考慮して、やや大きめの値を設定するとよいでしょう。

0072名無しさん＠ピンキー

2024/09/16(月) 19:46:51.94ID:???

使い方
チャットを開始し、設定した間隔でSummarize機能が自動的に動作します。
「Current summary」セクションで生成された要約を確認できます。
必要に応じて、「Summarize now」ボタンを押して手動で要約を生成することもできます。
「Pause」チェックボックスをオンにすると、自動要約を一時停止できます。
「Restore Previous」ボタンで、以前の要約状態に戻すことができます。
注意点
KoboldCppは処理速度が遅い場合があるため、要約の生成に時間がかかる可能性があります。
「Classic, blocking」モードを使用することで、プロンプトの再利用性が高まり、KoboldCppとの相性が良くなります。
要約の品質はKoboldCppにロードしているモデルの性能に依存します。必要に応じて手動で修正を加えてください。
KoboldCppと接続した場合のSummarize機能は、通常のAPIと比べてやや制限がありますが、適切に設定することで効果的に利用できます。処理速度や要約の品質を確認しながら、最適な設定を見つけていくことをおすすめします。

0073名無しさん＠ピンキー

2024/09/16(月) 20:03:37.20ID:???

lmと大葉経由で尻を使い
berghofのeprやってみたが
変な方言が入ったり意味不明な文字の羅列で使い物にならなかった
使い方が悪いかは分からん
NEMO2407はプロンプトを読み込んでくれて3p出来たがあっさり目で繰り返しがちになるな

0074名無しさん＠ピンキー

2024/09/16(月) 20:23:18.25ID:???

>>71
うーん、最初からクラシック、ブロッキングでやってみてたんだけどエラーメッセージ出て駄目ぽ

>>73
最大コンテキスト長は公言されてないけど8192で確定やと思う
16Kでまあまあ怪しくアホになって、32Kだと完全にアホの子になった
あとはMistral 7Bがベースらしいので、コンテキストテンプレートはMistralを選択してみてる
これでkobold & sillyの組み合わせで意味不明って感じにはなってないなあ

0075名無しさん＠ピンキー

2024/09/16(月) 21:27:02.63ID:???

ERPって何かと思ったけどエロティックロールプレイなのか
普通のRPモデルとはまた違う学習してるのかな

0076名無しさん＠ピンキー

2024/09/16(月) 21:47:44.55ID:???

おちんぽミルクとか言い出す

0077名無しさん＠ピンキー

2024/09/16(月) 22:12:36.15ID:???

エロに関して何も指定してないのに耳元で囁いてるだけで勝手にイき散らかす

0078名無しさん＠ピンキー

2024/09/16(月) 23:23:38.67ID:???

Berghof-ERP-7Bでイケメンプレイ
こいつマジで7Bとは思えないほど賢くない？
細部まで破綻せず話の筋がちゃんと通ってるのすごい
ちょっと押せばすぐドスケベモードに入るし最高かよ
なんJLLM部避難所 ★4 YouTube動画>1本 ->画像>8枚

0079名無しさん＠ピンキー

2024/09/16(月) 23:36:35.24ID:???

このモデルもだいぶERPよりっぽいな
エロ要素ないシステムプロンプトでただ挨拶するだけでエロ展開匂わせてくるわ

https://huggingface.co/spaces/Aratako/calm3-22b-RP-v2-demo

0080名無しさん＠ピンキー

2024/09/17(火) 00:09:08.69ID:???

7Bモデルの情報たすかる！

Berghof-ERP-7B使ってみた。エロの疾走感はピカイチ
ちょっと自分のキャラとは合わないのでVecteusV1に戻ったけど
（発情していない時は）Vecteusに匹敵する賢さ
なんJLLM部避難所 ★4 YouTube動画>1本 ->画像>8枚

0081877

2024/09/17(火) 00:28:24.22ID:???

ギャグやん

0082名無しさん＠ピンキー

2024/09/17(火) 06:54:54.21ID:???

LLMは1年くらい浦島だったがこのスレのおかげで追いつけたわ感謝するで
SillyTavern数日いじってみてのメモ
・チャット欄のオレンジの破線はそこまでがコンテキストに含まれているということ
・1つ目のアイコンのテキスト保管のプリセット＞ストリーミングをオンにするとChatGPTみたいに随時文字が出力される。立ち絵を設定してあると出力途中でもコロコロ変わる
・モデルによって3つ目の「A」アイコン＞コンテキストテンプレートを適合したものに変更すると動作が良くなることがある
・４つめの本のアイコンLoarbookはテンプレ（UIが分かりにくいが）。世界観や場面設定を保存してキャラウィンドウのキャラクターロアやチャットロアで読み込ませられる
　例えば"{{char}}と{{user}}は気づくと部屋に閉じ込められていた。窓はなく、ドアは施錠されている。部屋のモニターには「セックスをしないと出られない部屋」と表示されていた"　
・立ち絵が設定してあるなら5つ目の設定からワイフモード、移動可能なUIパネルをチェックするとUIをギャルゲっぽくできる
・6つ目の拡張機能＞Charactor Expression（立ち絵）はTranslate text to English before classificationにチェックすると精度が上がる

なんJLLM部避難所 ★4 YouTube動画>1本 ->画像>8枚

ふたばにも上げたが立ち絵を一括生成するComfyワークフローも作ったから使ってくれや
https://mega.nz/folder/s0N1FD5I#nx39CZmBbicFZuvgaozMsQ

0083名無しさん＠ピンキー

2024/09/17(火) 09:13:07.76ID:???

>>82
おー便利そうだな共有たすかる
表情作るのなかなかめんどくさくてな

0084名無しさん＠ピンキー

2024/09/17(火) 09:18:25.88ID:np/V5bHE

>>0082に関して横から補足やが、複合キーは
nx39CZmBbicFZuvgaozMsQ
や
なかなか便利そうなのでワイも活用させてもらうで、サンガツ！

0085名無しさん＠ピンキー

2024/09/17(火) 09:35:13.67ID:???

comfyUI使ったこと無いんや…
使いこなせる人凄いわ

0086名無しさん＠ピンキー

2024/09/17(火) 11:45:48.88ID:???

>>85
見た目とっつきにくいけどcomfyuⅰ入門みたいな動画を２-３本見れば大体のことはできるよ

0087名無しさん＠ピンキー

2024/09/17(火) 13:22:51.56ID:pd6IYjfN

赤ちゃんの質問で恐縮だけど、7B、12B、35B、70Bの数字は大きい数字ほど頭のいいモデルって認識でいいのかな？
色々触ってみて自分にはcommand-r-v01 35Bがバランス良かったけど、Berghof-ERP-7Bみたいな特化型のモデルも面白いね

0088名無しさん＠ピンキー

2024/09/17(火) 13:37:33.99ID:YKLDj2Lr

多分そう、部分的にそう

0089名無しさん＠ピンキー

2024/09/17(火) 13:59:41.79ID:???

>>87
Bはビリオン、10億のこと
つまり7Bは70億パラメータで学習されたモデルってこと
基本的には数字が大きい方が賢いはず、なんやが実際にはファインチューニングとか規制の影響とかベンチマーク対策の小細工なんかのせいで数字の大きさと賢さが一致しない事も多いよ

0090名無しさん＠ピンキー

2024/09/17(火) 14:02:53.80ID:pd6IYjfN

ありがとう！　同じモデルのなかで3-bit、4-bit、5-bitとかのバリエーションがある場合も、大きい方がいいですか？
4-bitと8-bitを試したら、ファイルサイズが2倍くらい違うのに、頭の良さはそこまで大きく違わなかった気がして

0091名無しさん＠ピンキー

2024/09/17(火) 14:13:49.41ID:???

はい
大きいのがつよつよです

0092名無しさん＠ピンキー

2024/09/17(火) 14:20:36.97ID:pd6IYjfN

教えていただきありがとうございます！最後に質問で、おすすめ言語モデル一覧が見れるサイトはありますか？
「個人的な日本語ローカルLLM関連のメモ用Wiki」はチェックしました。それ以外は情報が古かったりでなかなか良いとこが探しきれていません

0093名無しさん＠ピンキー

2024/09/17(火) 14:47:24.44ID:???

>>92
日本語チャットボットアリーナ
https://huggingface.co/spaces/yutohub/japanese-chatbot-arena-leaderboard

0094名無しさん＠ピンキー

2024/09/17(火) 15:21:30.49ID:???

>>93
やっぱりkarakuriはつえーな

0095名無しさん＠ピンキー

2024/09/17(火) 15:27:04.08ID:???

>>93
これは少しモデル群が古すぎてな
比較的最近のモデルだとTanukiのところがやっていたのが参考になる
https://zenn.dev/matsuolab/articles/95fa297ef12a14

0096名無しさん＠ピンキー

2024/09/17(火) 15:45:36.94ID:np/V5bHE

このスレで先日知ったPerplexityさんに教えてもらいながら、ComfyUI導入して、>>82御謹製ワークフローで画像出せるようになったんやが、
ぱっとノードや説明見たところ、28個キュー入れるってなってるから、右上のQueue Promptクリックしたら表情差分が28枚ぶわーって出力されてくのかと思ったんやが違うんか？
実際にQueue Promptクリックすると、一枚画像でて止まってまうんや
Queue PromptをクリックするたびにText Line Loaderの方のSeedが一づつ増えながら新たに画像が生成される
STexpression.csvはComfyUIフォルダに置いたので読み込めてると思うが、なにか間違っとるんやろうか？

0097名無しさん＠ピンキー

2024/09/17(火) 15:54:41.41ID:???

>>87
例えば①日本一高い山の名前も知らないやつと、②一般的な日本人と、③全世界を旅して各国の言語や風土やらを把握している人、話してて一番楽しいのは誰かという感じやな
ただ、地元の山について知りたいだけなら①で十分ということもよくある
というわけで特定用途ならファインチューンした小サイズで十分で、議論とか小説・ロールプレイなどのクリエイティブライティングなら大きければ大きいほうが良いという感じやな

0098名無しさん＠ピンキー

2024/09/17(火) 16:00:32.30ID:np/V5bHE

自己レスや
ターミナルの方に”WAS Node Suite Error: The path `.\STexpression.csv` specified cannot be found.”って出てたわ
もうちょっと弄ってみるで

0099名無しさん＠ピンキー

2024/09/17(火) 16:28:23.43ID:???

>>79
22bだから流石に頭は良いな、ちょっと複雑なプロンプトでも理解してる感ある
ただ、22bだと手元で動かすには少し大きすぎるんだよなー

0100名無しさん＠ピンキー

2024/09/17(火) 16:30:50.58ID:np/V5bHE

あー、分かったわ、Extra OptionsのAuto Queueにチェック入れるかBatch Count増やせば複数枚出せるんやな！
ログ見てると一差分ごとにモデルを読み込みなおしてるのが気になるが、まあえーやろの心で見なかったことにするで！
ありものの画像に差分追加も出来るようになったし、ホンマありがたいツールの公開感謝やで！

0101名無しさん＠ピンキー

2024/09/17(火) 17:59:45.09ID:9Au7P9rf

モデルの説明やおすすめサイトの情報ありがとうございました！
ローカルでChatGPTごっこできる！NSFWの話もできる！ってキャッキャしてる段階なので、色々見たり触ったりしてもっと勉強します

0102名無しさん＠ピンキー

2024/09/17(火) 18:35:17.45ID:???

plamoダメダメですやん

0103名無しさん＠ピンキー

2024/09/17(火) 21:51:29.92ID:???

llm-jp/llm-jp-3-172b-beta1-instruct
なんか出た。
試用できる所ないかな？

0104名無しさん＠ピンキー

2024/09/17(火) 22:26:42.33ID:???

berghof-ERP
設定見直したが女役特化型か？
男役は無理っぽいな

0105名無しさん＠ピンキー

2024/09/17(火) 23:14:02.54ID:???

>>104
男騎士がすぐアヘアヘしちゃうから
「騎士として、ふさわしい言動を心がけるように！」って言ったら
どうかお慈悲を……♡今後は慎ましく振る舞いますので、どうかお許しください……♡　って♡まみれの返答された

0106名無しさん＠ピンキー

2024/09/17(火) 23:18:57.25ID:???

正直ローカルで動かすとなるとMistral-Nemoの12Bまでが良いな…
まぁ俺のGPUがしょぼいからなんだが、実際ボリュームゾーンはこんなもんだと思ってる

0107名無しさん＠ピンキー

2024/09/18(水) 01:57:13.80ID:sAQDzHo8

おまえらVRAM何GB？

0108名無しさん＠ピンキー

2024/09/18(水) 04:48:59.80ID:???

>>104
そういえばS女CharがM男Userをペニバンで掘ろうとしてくるのは良いんだけどオマンコに入れようとしてきたわ
あとペニバンが射精する

0109名無しさん＠ピンキー

2024/09/18(水) 06:31:16.57ID:???

すぐエロくなりすぎてもいけない、ガード硬すぎてもいけない
ＡＶインタビューシーンが必要な理由が分かった気がする

mistralaiが新しいの出してるね。量子化はまだ上がってないけど。pixtralはマルチモーダルだって

0110名無しさん＠ピンキー

2024/09/18(水) 08:14:45.71ID:???

>>105
ERPの方は「♡」が過剰なくらい付くからな。やめさせる方法は見つからない。
割り切って、いっぱい「♡」が付いて欲しいシナリオでこのモデルを利用すればいいかなと思ってる。

0111名無しさん＠ピンキー

2024/09/18(水) 13:02:16.25ID:???

もしかしてそういう時にsillyのCFGスケール機能を使えばテンションを少し抑えさせたり出来るんだろうか
CFG使ってる人いるのかな？あれ説明読んでも全然分からん

0112名無しさん＠ピンキー

2024/09/18(水) 18:52:07.79ID:???

画像生成だとCFG低い方がプロンプトの効きが悪くなる（ネガティブプロンプトが顕著）
その代わりに推論は早くなったけどLLMで同じかどｂ､かは分からん

0113名無しさん＠ピンキー

2024/09/19(木) 00:45:02.20ID:???

前に特定の単語がどうしても文字欠けするって言ってた人いたけど、急に俺もsillyでなった
ありがとうございます、がどうしても言えなくなってありがとうござます、になっちゃう
アーニャかよ
何をどうやっても駄目で、結局sillyを新しく入れて引っ越したら直ってた
同じ現象で困ってる人はもしかしたらsillyがぶっ壊れてるのかもしんない

0114名無しさん＠ピンキー

2024/09/19(木) 02:04:04.23ID:???

qwen2.5がリリースされたね
lmarenaのテストでは論理感高めって言われてたけどそこはどうなんだろう
朝起きてテストするのが楽しみや

0115名無しさん＠ピンキー

2024/09/19(木) 05:01:42.43ID:fCthORNj

https://huggingface.co/EndouMadoka/AITuberStudio
AITuber Studioというものが出てきたが、KoboldCppでのローカル環境でAIとチャットできないのかな？

Silly tavernでええやんって言われたらそれまでなんだが、日本人が作ったUIを使ってみたい気持ちもある。

0116名無しさん＠ピンキー

2024/09/19(木) 05:01:58.69ID:???

ある程度の性格は設定しないとな
ギャル口調からいきなり姫騎士口調とかめちゃくちゃされたらあかん

0117名無しさん＠ピンキー

2024/09/19(木) 09:48:17.20ID:???

まだ試しとらんが12Bだと量子化してもデカいな

https://huggingface.co/bartowski/Mistral-Small-Instruct-2409-GGUF

0118名無しさん＠ピンキー

2024/09/19(木) 09:49:28.22ID:???

12B→22Bやった

0119名無しさん＠ピンキー

2024/09/19(木) 10:02:06.63ID:???

>>117
必ずvLLMライブラリをインスコしろよって書いてあるね

0120名無しさん＠ピンキー

2024/09/19(木) 10:39:05.81ID:???

WariHimaって人が改良してるバージョンのstyle bert VITS2が凄そう
読み方の精度アップ
九州や近畿の方言に対応
同音異義語の読み方推定機能追加
ただし追加で環境構築が必要とのこと

https://github.com/litagin02/Style-Bert-VITS2/pull/161

WariHima版SBV2
https://github.com/WariHima/Style-Bert-VITS2/tree/dev

0121名無しさん＠ピンキー

2024/09/19(木) 13:47:05.64ID:???

Qwen2.5何やら凄そうだな

0122名無しさん＠ピンキー

2024/09/19(木) 15:01:50.29ID:???

>>121
マルチリンガルスコアのJAって日本語のことじゃないよな？
異様に数値高いんだが

0123名無しさん＠ピンキー

2024/09/19(木) 15:23:03.79ID:???

>>115
AITuber Kitでいいのでは感

0124名無しさん＠ピンキー

2024/09/19(木) 15:40:32.62ID:???

qwen2.5 72b試したけど今までとはなんか格が違うぞ
すでにggmlも出てる
でもなんであんな分割してんだq5kmなら1ファイルにしてくれ〜

0125名無しさん＠ピンキー

2024/09/19(木) 15:55:36.11ID:???

Qwen2.5は32Bが日本語性能も十分高くて使いやすいサイズで個人的に使うにはバランスが良かった

0126名無しさん＠ピンキー

2024/09/19(木) 16:04:06.39ID:???

qwen2.5-72B試してみたが自分の経験では大したことなかった
自分のことを語らせたら中国産だからプライバシーには気を付けないとねとか言ってて笑ったが

0127名無しさん＠ピンキー

2024/09/19(木) 16:55:12.65ID:8jPxLUqF

大して試せてないけどQwen2.5の7BQ6でも日本語上手で大きな破綻もなく好印象

0128名無しさん＠ピンキー

2024/09/19(木) 17:13:22.23ID:???

Qwen2.5 14Bなら量子化すればVRAM12GBのRTX3060で動くかな？

0129名無しさん＠ピンキー

2024/09/19(木) 17:26:52.96ID:???

Qwen2は日本語めっちゃ破綻した記憶しかないが2.5はそんな良いのか？
2も巷では日本語安定するって持ち上げられてたけど手元で触って失望した記憶

0130名無しさん＠ピンキー

2024/09/19(木) 17:54:56.61ID:8jPxLUqF

けど未成年近親エッチは寸前で断られたわ
途中まで付き合ってくれたのに

0131名無しさん＠ピンキー

2024/09/19(木) 18:27:49.45ID:???

言うて誘導次第じゃない？

0132名無しさん＠ピンキー

2024/09/19(木) 18:41:27.55ID:???

更新しても
他のモデル入れても訛るから
尻を入れ直したらちゃんと日本語になった

0133名無しさん＠ピンキー

2024/09/19(木) 18:43:05.88ID:???

>>129
1.5Bでも割と普通の日本語喋るよ

0134名無しさん＠ピンキー

2024/09/19(木) 19:00:55.09ID:???

もしかして、qwen 2.5 koboldまだ対応してない？

0135名無しさん＠ピンキー

2024/09/19(木) 20:07:45.39ID:???

すまん、動いたわ
なぜか公式のggufファイルが起動せんかった

0136名無しさん＠ピンキー

2024/09/20(金) 00:11:59.43ID:???

M1のMacで動かしたいんだけどおすすめのソフトってある？
WindowsもあるにはあるけどMacよりずっとスペック低い

0137名無しさん＠ピンキー

2024/09/20(金) 00:17:06.76ID:???

QWEN2.5 72B
出来は結構いいんだけど、いかんせん規制が強すぎてすぐ終わろうとする
解除版ほしい

>>136
kobold.cpp

0138名無しさん＠ピンキー

2024/09/20(金) 01:05:31.33ID:i5/Ws7O/

qwen2.5 14b試してるけどロールプレイ用途では微妙だな
余裕で20行とか出力しやがる

0139名無しさん＠ピンキー

2024/09/20(金) 05:19:59.26ID:???

gpt4-o1なんか凄いらしいけど
こういうのってローカルではできないんやろか？

0140名無しさん＠ピンキー

2024/09/20(金) 07:51:35.75ID:???

>>139
open interpreter ってこういうのじゃなかったっけ。

0141名無しさん＠ピンキー

2024/09/20(金) 09:32:39.34ID:???

あれは検閲も兼ねてるからエロ利用者にとっては最悪のシステムや
むしろアレが無いのがローカルの強みになるかもな

0142名無しさん＠ピンキー

2024/09/20(金) 12:27:32.15ID:???

>>58
なにそれ楽しそう…

0143名無しさん＠ピンキー

2024/09/20(金) 13:45:31.42ID:???

o1は1回目のアウトプットと入力プロンプトを見返して必要があれば結果とプロンプトを参考にさらにもう一回推論する、
というのを何回か繰り返して精度を上げるみたいだから、
他のモデル(というかライブラリの仕組みか？)も同じ仕組みを入れようと思えば入れられるだろうし
使うモデルがエロ行けるなら出力もエロ行けるはず

ただこういう仕組みだから推論時間は数倍以上になるんやろな
繰り返し1回だけだったとしても、
通常推論→結果見直し推論→繰り返し必要と判断して追加推論→再度結果見直し推論→繰り返し不要と判断し結果出力
で4回推論あるわけだし

0144名無しさん＠ピンキー

2024/09/20(金) 14:54:12.67ID:???

o1の場合は解釈と推論をするコンポーネントがかなり違う性質を持つみたいな話もあるので、どうかな
一つ言えるのは、解釈コンポーネントの検閲機能でエロ排除されたら何を入力しても無駄ということ
糞中の糞

0145名無しさん＠ピンキー

2024/09/20(金) 16:34:41.34ID:???

>>0137
koboldcppってMac版あんの？
なんか拡張子無しのファイルしかなかた

0146名無しさん＠ピンキー

2024/09/20(金) 17:39:56.07ID:???

>>145
koboldcpp-mac-arm64

これがmac版だと思ってたが、違うの？

0147名無しさん＠ピンキー

2024/09/20(金) 18:20:49.20ID:???

違わない

0148名無しさん＠ピンキー

2024/09/20(金) 19:21:37.05ID:???

dockerって素晴らしいな

0149名無しさん＠ピンキー

2024/09/21(土) 20:56:21.45ID:???

silly tavern拡張機能のsummraizeとobjectiveがちゃんと動く条件がやっと分かったので報告
①instructモードをオンにする
②「リクエストごとに1行のみ生成」のチェックを外す
③「不完全な文をトリミング」のチェックも外す

これでkobold接続だろうと何だろうと、ちゃんと動いてくれた

0150名無しさん＠ピンキー

2024/09/21(土) 21:53:35.35ID:???

ここってColabとかpaperspaceみたいなクラウドGPU使って文章生成してる人あんまり多くない感じなのかな
今までchat GPTとかperplexityばっか使ってたからこっちの勝手が全然わからん

0151名無しさん＠ピンキー

2024/09/21(土) 22:17:25.48ID:???

>>150
住人はかなり重複してると思うで
プロンプトのコツとかは共通だし
ローカルの方がモデルの多さやツールの使い方で覚える事多いけど

0152名無しさん＠ピンキー

2024/09/22(日) 02:59:39.64ID:???

>>146
なんか他にソフトが必要なんかな
調べんとや

0153名無しさん＠ピンキー

2024/09/22(日) 08:25:22.52ID:???

>>149
参考になるサンガツ

0154名無しさん＠ピンキー

2024/09/22(日) 09:06:37.28ID:???

>>152
公式ドキュメントにもあるけどchmod +xして実行ファイルにしてやる必要がある
あとうちのMacだとセキュリティに引っかかるから設定変更も必要だった

0155名無しさん＠ピンキー

2024/09/22(日) 13:12:40.44ID:???

Ememeのアーリーアクセス来年の6月に延期か

0156名無しさん＠ピンキー

2024/09/23(月) 14:25:12.54ID:Ullv0ReZ

qwen2.5のuncensored今のところ微妙だ

0157名無しさん＠ピンキー

2024/09/23(月) 21:51:45.84ID:???

>>156
14Bだからじゃない？
72Bのはよ

0158名無しさん＠ピンキー

2024/09/23(月) 21:59:35.34ID:???

>>154
手順が増えているんか

0159名無しさん＠ピンキー

2024/09/24(火) 08:25:58.03ID:Ak0vlxsC

Qwen-2.5-32b-AGIっていう規制をとってしまったモデルがあるらしい
試してないからよくわからんけど

0160名無しさん＠ピンキー

2024/09/24(火) 08:34:40.63ID:???

>>159
ほほーと思ってgensparkさんに教えてもらった
どうも数学とコーディング向けみたいね

なんJLLM部避難所 ★4 YouTube動画>1本 ->画像>8枚

0161名無しさん＠ピンキー

2024/09/24(火) 10:02:47.41ID:N8W78GVS

https://huggingface.co/AiCloser/Qwen2.5-32B-AGI

First Qwen2.5 32B Finetune, to fix its Hypercensuritis
Hyper means high, and censura means censor, the suffix "-itis" is used to denote inflammation of a particular part or organ of the body.

>>160
嘘と適当だらけで草

0162名無しさん＠ピンキー

2024/09/24(火) 10:30:53.12ID:???

gensparkよく使ってるけどこんな間違いするのか
気をつけて使わねば

0163名無しさん＠ピンキー

2024/09/24(火) 10:43:29.81ID:???

>>161
ほんまや全然違ってて草
これって結局スラングとか使いまくりの悪態ジョークモデルってことなん？

0164名無しさん＠ピンキー

2024/09/24(火) 10:53:03.53ID:N8W78GVS

データセット見るに申し訳回避と英語+中国語の有害要素チューニングがされてる
知らんけど

0165名無しさん＠ピンキー

2024/09/24(火) 11:28:58.43ID:???

AXCXEPT/EZO-Qwen2.5-72B-Instruct

これはどうかな？

0166名無しさん＠ピンキー

2024/09/24(火) 11:35:21.63ID:???

ん？
よく見たら、量子化してないほうがベンチスコア落ちるのは、なんでだってばよ？

0167名無しさん＠ピンキー

2024/09/24(火) 13:28:30.04ID:???

AutoCoTRAGって、どうやって機能すんのかな？
koboldとかでもできるようになるんだろうか？

0168名無しさん＠ピンキー

2024/09/24(火) 19:15:32.26ID:???

ニキらは72Bモデルローカルで使っとるんか？VRAMどんだけ積んでんのよ

0169名無しさん＠ピンキー

2024/09/24(火) 19:18:21.70ID:???

VRAMなにそれ？なワイはメモリ64GでQ5k_mぶん回してるわｗ

0170名無しさん＠ピンキー

2024/09/24(火) 19:43:18.01ID:???

chatbotarenaで投票しまくってるけどo1全然出てこねぇな
今日20回くらいたぶん投票してるけどo1-miniが1回出てきただけだわ
英語のランキングみる限り一応o1-previewも出ては来るみたいだけどとにかく数が少ないみたいね
日本語で順位が付くの相当時間かかりそう

0171名無しさん＠ピンキー

2024/09/24(火) 20:52:26.44ID:+YrxG6s6

メインメモリで運用してるのすげえな。自分じゃ遅すぎて耐えられないわ
DDR5とかだと違ってくるんかな？

0172名無しさん＠ピンキー

2024/09/24(火) 23:49:40.24ID:???

さすがに最上位スレッドリッパーとかならキャッシュとコアの暴力でわりかし早いのは言われとるな

0173名無しさん＠ピンキー

2024/09/25(水) 00:05:13.41ID:6wjZDZqW

上位スリッパならメモリ8chで460GB/s出るし

0174名無しさん＠ピンキー

2024/09/25(水) 00:06:18.32ID:6wjZDZqW

途中送信しちゃったCPU勢はMacなのでは

0175名無しさん＠ピンキー

2024/09/25(水) 00:08:34.62ID:???

o1なんか褒めてるのは驚き屋だけな気がする

0176名無しさん＠ピンキー

2024/09/25(水) 00:22:24.55ID:???

教えてもらったところにあったのから飛んできた
現状はどんな感じですか？ gpt4oと遜色ない？

0177名無しさん＠ピンキー

2024/09/25(水) 07:38:11.19ID:???

o1はチャット用じゃないから。。。
論理重ねるようなタスクじゃないと

0178名無しさん＠ピンキー

2024/09/25(水) 10:51:00.85ID:???

4oで使ってたプロンプトと同じので出力できるのってないんだな

0179名無しさん＠ピンキー

2024/09/25(水) 11:14:55.41ID:???

SF考証とかやらせるとo1は普通にクソ使えるよ
明らかに他とレベル違う

0180名無しさん＠ピンキー

2024/09/25(水) 12:49:25.70ID:???

keitokei1994/EZO-Qwen2.5-32B-Instruct-GGUF
72bもおねげします〜

0181名無しさん＠ピンキー

2024/09/25(水) 14:25:58.74ID:???

どうせ天安門って入れたら消される仕様なんでしょ

0182名無しさん＠ピンキー

2024/09/25(水) 20:46:19.98ID:???

>>181
EZO-Qwen2.5-32B-Instruct-GGUF試してるが
普通に事件の内容教えてくれてるぞｗ

0183名無しさん＠ピンキー

2024/09/25(水) 21:29:35.73ID:???

Poe規制強化入ったの？

0184名無しさん＠ピンキー

2024/09/25(水) 22:11:24.27ID:???

スレ間違えたスマソ

0185名無しさん＠ピンキー

2024/09/25(水) 22:20:36.75ID:OB0WXyOf

こいつテンプレ読まないやつじゃん

0186名無しさん＠ピンキー

2024/09/26(木) 16:12:46.10ID:???

Anthropic公式サイトや検索AIでシコってるガイジは隔離スレいけや

0187名無しさん＠ピンキー

2024/09/26(木) 19:26:24.36ID:???

こっちが荒らしに負けて移住してきたんだぞ
余計な火種を撒くなマヌケ

0188名無しさん＠ピンキー

2024/09/26(木) 19:42:32.27ID:39QaciTi

ほっときゃいいのに燃やすなよ～

0189名無しさん＠ピンキー

2024/09/26(木) 19:59:02.45ID:???

高速高品質ガバガバLLMでシコってる向こうの人らが羨ましくて仕方ないんだろうな

0190名無しさん＠ピンキー

2024/09/26(木) 20:19:57.93ID:???

いや常に規制と戦ってる印象だぞ

0191名無しさん＠ピンキー

2024/09/26(木) 20:40:09.09ID:???

LCA便利すぎ
浦島太郎だったけどモデルの性能爆上がりしててびっくりした

0192名無しさん＠ピンキー

2024/09/26(木) 21:28:56.59ID:???

LCAはあの軽さでなんであんな性能ええねん

0193名無しさん＠ピンキー

2024/09/27(金) 04:47:11.97ID:???

>>190
戦ってるのは初心者…というか過去ログも何も読まないアホだけや
古参も迷惑しとる

0194名無しさん＠ピンキー

2024/09/27(金) 11:31:04.20ID:???

5090のリーク情報によるとVRAM32GBかもしれんみたい
32あったらcommand RとTTS併用しながら3Dモデル動かしても余裕だろなあ

0195名無しさん＠ピンキー

2024/09/27(金) 13:05:15.78ID:???

>>185
すまんの

0196名無しさん＠ピンキー

2024/09/27(金) 13:11:15.67ID:???

70B動かせるニキはこのスレにどんくらいおるんや

0197名無しさん＠ピンキー

2024/09/27(金) 13:18:20.59ID:???

google colabのkoboldcpp、無料だとT4 gpuがつかえるけど、エロ文章に使ったらbanされるとかある？

0198名無しさん＠ピンキー

2024/09/27(金) 15:49:33.22ID:???

mac 64Gだから70BならK4-M(48GByte)がなんとか動く
M4 Ultraはよこい

0199名無しさん＠ピンキー

2024/09/27(金) 15:53:21.45ID:???

AppleはAI用に自社製プロセッサーを開発してすでに使ってるらしいから、mac studioやmac pro用にフィードバックされるといいなぁ、というかしてくれ

0200名無しさん＠ピンキー

2024/09/27(金) 20:38:24.09ID:???

anthracite-org/magnum-v2-72b
１か月も前のモデルだけど、日本語エロがかなりいいわこれ
qwen2ベースだったからノーマークだった

0201名無しさん＠ピンキー

2024/09/28(土) 03:35:01.53ID:???

Llama3.2なんて出てんじゃん
でもあいかわらず日本語やらアジア圏の言語スルーされててかなC

0202名無しさん＠ピンキー

2024/09/28(土) 07:01:08.21ID:???

日本の存在感出さな

0203名無しさん＠ピンキー

2024/09/28(土) 07:52:50.59ID:???

スルーと言うか、単に無差別に学習して最終的に出せる品質に達したかどうかってだけでは

0204名無しさん＠ピンキー

2024/09/28(土) 14:49:43.36ID:???

>>203
そんなわけないやろ…
AIに学習させるデータが勝手に集まって来てくれるとでも思っとるんか？
ある程度は自動化するにしたって低品質なデータとか著作物は除外せなあかんし
どの言語を重点的に学習するかなんて人間の判断や

0205名無しさん＠ピンキー

2024/09/28(土) 15:59:25.52ID:???

著作物除外はいらないよ

0206名無しさん＠ピンキー

2024/09/28(土) 17:26:40.33ID:???

>>204
それだとある程度は日本語も出る理由を説明できへんからな…
学習はしとるんよ
対応と言えるクオリティに達さなかっただけや

0207名無しさん＠ピンキー

2024/09/28(土) 18:26:30.95ID:???

公開されてるデータセットのことだよ

0208名無しさん＠ピンキー

2024/09/29(日) 02:20:13.72ID:JVObfToq

NSFWとかERPで良い感じの男モデルないかな
女性向けにマネタイズしたいんだけど

0209名無しさん＠ピンキー

2024/09/29(日) 10:04:56.47ID:b56/vOOI

2bとか3bの軽いモデルをcpuだけで動かすの、ゲームのNPCとかに
使えるようになってきてはいるんだろうな、という推測

0210名無しさん＠ピンキー

2024/09/29(日) 10:25:22.96ID:???

将来的には対戦型のゲームにAIが搭載されて接待プレイしてくれるようになるだろう

0211名無しさん＠ピンキー

2024/09/29(日) 12:54:11.70ID:???

>>209
できるだろうし最初は同人ゲーあたりからそういうのが出てきそう
ただAIがとんでもないことを口走らないようなセーフティが難しそう
これは私たちが作ったんじゃなくてAIが勝手に暴走したんです！と言い訳しても納得する人ばかりじゃないだろうし

0212名無しさん＠ピンキー

2024/09/29(日) 13:49:49.24ID:FvOumTcQ

Llama3.2の画像認識で遊べないやろか

0213名無しさん＠ピンキー

2024/09/29(日) 13:51:07.79ID:???

EmemeがNPCにLLMを使ったゲームで今月に早期アクセス公開予定だったけど延期してしまった

0214名無しさん＠ピンキー

2024/09/29(日) 13:57:30.67ID:WwWaRXqI

>>211
同人ゲーと言えば、初期の頃chatgptに接続して遊ぶタイプのが出てきてエロ規制が大変だろうな
と思ったけど、ローカルLLMなら規制なんかいらないというか

0215名無しさん＠ピンキー

2024/09/29(日) 14:16:22.21ID:???

セーフティなんか気にしなくていいんじゃないか派

0216名無しさん＠ピンキー

2024/09/29(日) 14:18:37.39ID:WwWaRXqI

>>213
同人の場合、独自の規約を作って（発言の責任は負えないなど）同意できない場合は遊べない仕様にもできるけど
Ememeさんみたいな大手の場合はそうもいかないかな。よくわからないけど

0217名無しさん＠ピンキー

2024/09/29(日) 14:56:26.35ID:???

NSFW描写は男女間のシーンで学習してるせいか、男同士でやっててもすぐに「子宮にぶちまけた」「子宮口につっこんだ」とかなっちちゃう
女同士でもそういうのあるのかな？

0218名無しさん＠ピンキー

2024/09/29(日) 16:25:55.31ID:???

そりゃ指示が適当かモデルがしょぼいかどちらかだろう

0219名無しさん＠ピンキー

2024/09/29(日) 16:35:34.94ID:???

ロリと無理やりやってたらすぐ警察が介入してくる

0220名無しさん＠ピンキー

2024/09/29(日) 16:44:33.08ID:???

女がオナニーしてるのになぜか射精することもあるぞ

0221名無しさん＠ピンキー

2024/09/29(日) 16:53:22.84ID:???

>>215
遊ぶ側は気にしなくても外野が騒ぐと面倒だから

0222名無しさん＠ピンキー

2024/09/29(日) 17:55:18.05ID:???

サイバーエージェントのMistral-Nemoがなんかめっちゃ強いみたいだけど使ったことあるやついる？
存在すら知らなかったわ

https://x.com/aratako_lm/status/1840270470463275396

0223名無しさん＠ピンキー

2024/09/29(日) 18:06:14.85ID:???

強いけどNSFW描写はしてくれない印象

0224名無しさん＠ピンキー

2024/09/29(日) 18:11:28.37ID:OIK778yP

>>219
>>220
同じ板でGPTで検索してみたらええんちゃう？
このスレはプロンプトを貼り付ける外部SNSとかないから不便だよな

0225名無しさん＠ピンキー

2024/09/29(日) 19:21:08.03ID:???

>>222
3pなど複雑なプロンプトも
かなり読んでくれるが
合意ありきで描写は淡白気味
プロンプトを調整すれば
いけるかは知らん

0226名無しさん＠ピンキー

2024/09/29(日) 22:31:09.51ID:Xr6chdo9

Mistral-Nemoは長文に強くていいよ。Q8でも3万トークンの小説読ませて質問に答えさせるくらいはできる
板的な用途には今一つだと思うけどいいモデルだわ

0227名無しさん＠ピンキー

2024/09/30(月) 14:09:49.76ID:???

それって日本語いけるの？

0228名無しさん＠ピンキー

2024/09/30(月) 18:45:43.64ID:???

日本語はおｋ
エロもそこそこは行ける

0229名無しさん＠ピンキー

2024/09/30(月) 20:43:14.06ID:???

>>228
まじかやってみるわ

0230名無しさん＠ピンキー

2024/09/30(月) 21:04:12.41ID:???

もう英語オンリーでも構わんからある程度簡単にインスコできるんを探すんご…

0231名無しさん＠ピンキー

2024/09/30(月) 21:10:48.39ID:???

ソフトウェアのツールでggfuも落とせるのがあったけどどれえあっけな…

0232名無しさん＠ピンキー

2024/09/30(月) 21:13:23.16ID:q2d/XZln

LM studioは楽でいいぞ

0233名無しさん＠ピンキー

2024/09/30(月) 21:13:26.41ID:???

https://lmstudio.ai/
これこれ
本体英語だけどツール上でhuggingfaceからダウンロードできるよ

0234名無しさん＠ピンキー

2024/09/30(月) 21:27:00.33ID:???

>>233
サンクス
Macに対応してんのええな

0235名無しさん＠ピンキー

2024/09/30(月) 21:47:55.16ID:???

LM StudioはHF検索→ダウンロードがお手軽なのはよかったんだけど
チャット画面のテキスト編集がしづらいとかで他のクライアントから
アクセスしてサーバとして使うときにGUIが邪魔だったので最近使ってないな
代わりにOllamaをサーバ起動して(Macだとメニューバーにアイコンだけ表示)
VSCode上の自作拡張からOpenAI APIで繋いで使ってる

0236名無しさん＠ピンキー

2024/10/01(火) 00:38:41.61ID:???

くそしのLLMでも弾かれた

0237名無しさん＠ピンキー

2024/10/01(火) 00:41:45.30ID:???

できたあああ
何だったんだろう？

0238名無しさん＠ピンキー

2024/10/01(火) 11:16:21.09ID:???

spow12/ChatWaifu_22B_v2.0_preview

このモデル、学習データ見ると日本語かなり行けそうなんだけど出先で試せん

0239名無しさん＠ピンキー

2024/10/01(火) 17:49:45.60ID:???

試そうとしたけど22Bは量子化しないとウチでは無理だ…

0240名無しさん＠ピンキー

2024/10/01(火) 17:58:24.50ID:???

量子化あるで。これから試そうとダウンロード中

static quants とweighted/imatrix quantの違いはchatGPTに聞いてもよくわからんかった

https://huggingface.co/mradermacher/ChatWaifu_22B_v2.0_preview-i1-GGUF
https://huggingface.co/mradermacher/ChatWaifu_22B_v2.0_preview-GGUF

0241名無しさん＠ピンキー

2024/10/01(火) 19:37:17.33ID:???

anthracite-org/magnum-v2-72b

↑が日本語エロ素晴らしかったから

mradermacher/magnum-v2-123b-i1-GGUF

こっちも試してみた。
IQ3_XXSだけど、エロいわこれ
こっちはmistralベースだな
magnumの日本語tuneは、かなりエロいみたいだ

0242名無しさん＠ピンキー

2024/10/01(火) 21:54:50.22ID:???

浦島なんだけど4090で動きそうなエロLLMはいま熱いのなんなんだろ…？

0243名無しさん＠ピンキー

2024/10/02(水) 00:47:42.04ID:???

>>240
量子化見落としてたありがとう
で、試してみたけど日本語は一応話せるけど不自然な感じだね

>>242
同じく4090だけど今使ってるのは以下だなあ
calm3-22b-RP
Mistral-Nemo-Japanese-Instruct-2408

0244名無しさん＠ピンキー

2024/10/02(水) 01:22:09.55ID:???

>>243
サンガツ！

0245名無しさん＠ピンキー

2024/10/02(水) 06:25:16.13ID:???

>>243
ワイも片言な日本語でいまいちやった。
小さいモデルだと日本語特化で学習してないと厳しいんだろうな

0246名無しさん＠ピンキー

2024/10/02(水) 14:04:41.04ID:???

magnum-v2-123b
セリフもエロもいいんだけど、日本語トークンに対応してないから、おせえええええ
macほしいいいいい

0247名無しさん＠ピンキー

2024/10/02(水) 18:52:45.49ID:???

Himeyuri-v0.1-12Bていうのが小説もRPも好感触なんだけど使ってる人いる？

0248名無しさん＠ピンキー

2024/10/02(水) 22:12:21.79ID:fWCNBSl6

これから始めるんだけどKoboldcppとEasyNovelAssistantどっちがいいの？

0249名無しさん＠ピンキー

2024/10/02(水) 22:19:03.59ID:???

>>248
ENAはKoboldcppにガワ被せてるだけやで
汎用的な使い方するなら普通にKoboldcpp使ったらええ

0250名無しさん＠ピンキー

2024/10/02(水) 22:20:37.54ID:???

>>247
尻タブで試してみたんだけど文が破綻しててまるで駄目なんだが…
小説用で指示モードとロールプレイには最適化されてませんという説明通りって感じなんだけどどんな設定でRPやってるの？

0251名無しさん＠ピンキー

2024/10/02(水) 23:36:13.05ID:???

>>248
EasyNovelAssistantを入れて小説書きたいときはEasyNovelAssistantを起動
チャットしたいときはEasyNovelAssistantの中のKoboldcppを起動するんや
EasyNovelAssistantのgithubページのドキュメントにちょっとだけ情報載ってるから見とくとええで

0252名無しさん＠ピンキー

2024/10/03(木) 01:24:34.49ID:???

>>243
>>245
微妙なのか
学習データは良さそうだけど…（非公開データだけどエロゲのテキストも学習してるみたいだったし）
Mistral-Smallがベースだからかな？Calm3とかベースでやってみてほしいわ

0253名無しさん＠ピンキー

2024/10/03(木) 06:44:41.82ID:???

>>247
なかなかええな。Berfhofと同じ人のモデルか

>>250
わい環ではSTでもまぁまぁいい感じだけどな。temptatureを0.35とか低めにしたほうがいいみたい

0254名無しさん＠ピンキー

2024/10/03(木) 09:30:20.10ID:???

>>253
なるほど…温度低くしろって説明は読んで0.7くらいでやってたや
そこまで低くしないといかんのか
あと、応答ごとに1行だけ表示とかいうチェックを外すと謎の解説文みたいなのが高頻度で発生しちゃうな
でも小説書かせると自然だったからberghof-NSFW-7Bと特徴が似てる感じやね

0255名無しさん＠ピンキー

2024/10/03(木) 10:19:23.92ID:3qeasolt

>>249
>>251
サンガツ‼

0256名無しさん＠ピンキー

2024/10/04(金) 14:06:39.29ID:???

gemma 2b jaはどうなん？

0257名無しさん＠ピンキー

2024/10/04(金) 23:36:14.85ID:yZ2xWYMc

12Bくらいあると理解力が凄い、ってなるね
magnum-12b-v2-q6_k.ggufがなかなか良い

0258名無しさん＠ピンキー

2024/10/05(土) 07:56:55.67ID:???

magnumは123bが規制なくて最高なんだがいかんせん遅すぎる
70b常用のワイにもきついw

0259名無しさん＠ピンキー

2024/10/05(土) 15:49:13.13ID:???

>>256
モモンガニキがgguf公開してくれてるから試してみるか
しかし2BでGPT3.5相当の性能ってほんまかいな

0260名無しさん＠ピンキー

2024/10/05(土) 15:55:29.23ID:???

すまんjp版やなかったわこれ

0261名無しさん＠ピンキー

2024/10/05(土) 16:57:54.56ID:???

SillyTavernでメッセージを送る際自動で鉤括弧をつける方法

Extensions（日本語環境だと拡張機能）内のRegex（日本語環境だと正規表現）を開く
グローバルスクリプトを開く
なんでもいいのでスクリプト名を名付ける
Find Regex（正規表現を検索）の欄に^(.*)$と書く
Replace With（を検索する）の欄に「{{match}}」と書く
other option（その他のオプション）からSubstitute Regex（正規表現の置換）にチェックをつける

知ってるやつも多いと思うけどちょっとググっても引っ掛からなかったので書き込んどく
これだと**で囲んだ場合でもカッコの中に含まれるから注意
**だけ外に出す方法はワカランカッタ
いちいち「」出すの面倒くさい奴用

0262名無しさん＠ピンキー

2024/10/05(土) 17:53:17.54ID:???

>>261
入力した文章全体を自動で「」で囲む方法ってこと？
今まで何も気にしてなかったけど、そうすることで何かメリットがあるってことなの？

0263名無しさん＠ピンキー

2024/10/05(土) 18:28:57.12ID:???

gemma の検閲解除版なんてのがあるのか

0264名無しさん＠ピンキー

2024/10/05(土) 18:31:34.14ID:???

>>262
普段TRPGで遊んでるから「」ついてることに慣れてただけ
見栄えの問題で意味はないと思う
一応「」つきの文章は大抵の場合は誰かと誰かの会話だから日本語の小説を学習したモデルなら口語調で短めの文が出やすくなるみたいな傾向はあるかもしれない
検証したことはない

0265名無しさん＠ピンキー

2024/10/05(土) 18:43:16.64ID:???

自分がバカすぎて入力した文章全体を自動で「」で囲む方法ってこと？って問いに答えてなかった
そうです
囲む必要があるかはわからん
多分ないかも

0266名無しさん＠ピンキー

2024/10/05(土) 18:51:01.54ID:???

なるほど
TTSで読み上げる時、" "で挟んだ部分だけを読み上げる機能があるから、この正規表現ってやつを上手く使えば日本語文章に馴染んだ「」に置き換えたりも出来たりして

0267名無しさん＠ピンキー

2024/10/05(土) 19:25:33.19ID:LWkwRGJR

>>0266
前スレでその件に関して相談して、正規表現教えてもらったワイが通りますよっと
まさにその通りやで
TTSの読み上げなんかに対応しつつ、見た目は完全な日本語表現に出来るので没入感あがるんやで

0268名無しさん＠ピンキー

2024/10/06(日) 00:03:37.14ID:???

Berghof-NSFW-7B.f16凄いな
他のモデルが混乱するちょっと変なシチュでもそこそこの精度で出してくれる

0269名無しさん＠ピンキー

2024/10/06(日) 20:02:01.74ID:???

mradermacher/Luminum-v0.1-123B-i1-GGUF

LumimaidにMagnumを変態マージさせたモデル
nsfwでmagnumがさらに強化されとる
これがサクサク動くマシンがほしいｗ

0270名無しさん＠ピンキー

2024/10/08(火) 20:43:18.26ID:/8ITjCXy

>>0269
AMDもだけどVRAM以外を高速でアクセス可能にする技術発表してるから再来年くらいには実現するかもw

0271名無しさん＠ピンキー

2024/10/08(火) 23:42:26.87ID:???

halo系はニッチ製品で続くんかなあれ…

0272名無しさん＠ピンキー

2024/10/09(水) 12:48:44.13ID:???

最近うまくエロ文が書けないのは、自分のプロンプトの書き方が悪いからと悟った。
そして、プロンプトの書き方をchatGPTに聞く
こういう文章を書きたいときはプロンプトはどうするべきかとか

0273名無しさん＠ピンキー

2024/10/09(水) 14:15:25.92ID:???

tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.1

きたか
ベンチ見ると微妙だが・・・さて

0274名無しさん＠ピンキー

2024/10/09(水) 17:33:58.37ID:???

微妙

0275名無しさん＠ピンキー

2024/10/09(水) 23:47:44.01ID:???

tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.1
Q5_k_mで試してるが、規制少なくていい感じかも
しばらく遊んでみるわ

0276名無しさん＠ピンキー

2024/10/10(木) 22:34:00.76ID:zhOAy4w7

>>0269
bartowski/Lumimaid-Magnum-12B-GGUF
123Bほどじゃないけど、なかなか良いと思う

0277名無しさん＠ピンキー

2024/10/12(土) 03:08:52.83ID:???

Q５動くんか、ええな
Q3K_mでもけっこういい感じ
日本昔ばなしとか作らせてる

0278名無しさん＠ピンキー

2024/10/12(土) 05:47:25.14ID:???

>>276
これいいな
Q3_K_XLで動かしてるけど、ギャグエロみたいな状況をしっかりと描写してくれる
エロいことはちゃんとしてくれるのにキャラ崩壊もしないしすぐにイって中断しないのは偉い
VRAM 10GBしかない俺にとっては今までで最高かもしれん

0279名無しさん＠ピンキー

2024/10/12(土) 13:26:40.33ID:XR5aBxWn

自分でERPできるモデル作りたいんだけど、みんなデータセットとかどう作ってるんやろか

0280名無しさん＠ピンキー

2024/10/12(土) 14:08:39.29ID:3jyDkZu6

エロゲから引っこ抜いたりmagpieで作るとかじゃない
自分で作らなくとも既存のデータセットで十分いいのが作れるとは思うけど

0281名無しさん＠ピンキー

2024/10/12(土) 14:41:50.18ID:???

berghofは作者のhuggingfaceからデータセットもダウンロードできるで

同人エロボイスで台本txtが同封されてるのもあるから使えると思う

ワイの貧弱マシンだとそこまでやれんからいいのができたら共有しとくれー

0282名無しさん＠ピンキー

2024/10/12(土) 14:48:57.74ID:???

メモリ64g vram12g だと何bまで作れるかな？
loraでもいいんだが

0283名無しさん＠ピンキー

2024/10/12(土) 15:31:55.37ID:3jyDkZu6

4bitでのトレーニングにはなるけどunsloth使えば12bのMistral-NeMoぐらいならできるらしいよ

0284名無しさん＠ピンキー

2024/10/12(土) 19:16:20.37ID:???

loraの作り方って調べてもよくわからなかったんやがいい感じにまとまってる講座知ってたら教えてほしいやで

0285名無しさん＠ピンキー

2024/10/12(土) 19:32:08.65ID:???

loraって俺らが使うGGUFでは使えない機能じゃなかったっけ？

0286名無しさん＠ピンキー

2024/10/12(土) 19:38:42.87ID:???

と思ってたけどどうやらGGMLを間に噛ませたらGGUFでも使えるみたいね
なんJLLM部避難所 ★4 YouTube動画>1本 ->画像>8枚

0287名無しさん＠ピンキー

2024/10/12(土) 20:06:32.32ID:???

小説を学習させてRPしたいんだが
データセットは1問1答でないと効果ない？

0288名無しさん＠ピンキー

2024/10/12(土) 20:09:37.12ID:???

既存の学習データに対して小説一冊足したところでこれっぽっちも重み付けされないと思う

0289名無しさん＠ピンキー

2024/10/13(日) 07:06:01.82ID:???

ChatGPTがエロ文書いてと言うと断るけど、エロ文書くのにどういうプロンプトにすればいいかの相談には答えてくれるのが笑える

0290名無しさん＠ピンキー

2024/10/13(日) 07:39:03.62ID:???

>>288
それを解決するのがLoRAやろ

0291名無しさん＠ピンキー

2024/10/13(日) 07:49:35.11ID:???

高橋克彦LORAを使うとやたら吐き気がするのかな。

0292名無しさん＠ピンキー

2024/10/13(日) 10:23:34.84ID:???

一人称の小説と三人称の小説混ぜるとおかしくなったりするんかな？

0293名無しさん＠ピンキー

2024/10/13(日) 12:21:48.49ID:???

日本語のERP用のデータだとこれが現状一番質が高い気がする
Claude 3.5 Sonnetを使って合成してるみたいだね
https://huggingface.co/datasets/Aratako/Synthetic-Japanese-Roleplay-NSFW-Claude-3.5s-15.3k-formatted

0294名無しさん＠ピンキー

2024/10/13(日) 14:39:02.26ID:???

>>276
使ってみた
所々英単語に化けるのと、12Bのくせにおつむが悪い気がするなあ
風呂好きのキャラにこだわりの入浴法を聞いたら、お湯は50度とかココア色になるまで沸かしてとかいい出したw
7Bのberghofの方がまともに回答してくれてるや

0295名無しさん＠ピンキー

2024/10/13(日) 17:02:10.84ID:???

>>289
その回答どおりに指示を出しても絶対にエロを出してくれない所からして
チャットＧＰＴに分からないことを聞く事が間違いだと学べるな

0296名無しさん＠ピンキー

2024/10/14(月) 07:49:46.97ID:???

>>295
ChatGPTに最適なプロンプト作らせて、ちょっと頭の悪いLlama-3.1-70Bにエロを書かせるんよ

0297名無しさん＠ピンキー

2024/10/14(月) 08:11:44.86ID:???

そこまでするなら普通に規制回避したほうが早いやろ
別に何も難しくないで

0298名無しさん＠ピンキー

2024/10/14(月) 08:58:25.09ID:???

モデル同士で口説きあわせてどっちが先に落ちるか対決とか新たな百合の園が開きそう

0299名無しさん＠ピンキー

2024/10/14(月) 09:51:15.57ID:???

わずか0.36BのモデルがGPT3.5やClaude3より賢くなる？今までのモデルは無駄に大きすぎた？
革命起きるんか？
https://note.com/shi3zblog/n/n3a8944695680

0300名無しさん＠ピンキー

2024/10/14(月) 10:45:27.83ID:???

サンプリングがアホなんは感じてたけど
ほんとにぃ？て感じ

0301名無しさん＠ピンキー

2024/10/14(月) 11:18:20.43ID:???

0.36Bなら普通にそのへんのグラボで動くしな
今後の動向をウォッチしたい

0302名無しさん＠ピンキー

2024/10/14(月) 11:24:16.58ID:???

>>301
そのモデルが特別なんじゃなくて、既存のモデル全部の性能が超絶上がる方法を見つけたかもしれないって話みたいよ

0303名無しさん＠ピンキー

2024/10/14(月) 11:27:33.86ID:???

sonnet3.5超えたら教えて

0304名無しさん＠ピンキー

2024/10/14(月) 11:29:00.78ID:???

redditじゃ誰も騒いでない不思議

0305名無しさん＠ピンキー

2024/10/14(月) 11:49:35.45ID:H1KyoktN

>>299,301

KoboldAI Liteで動かしてみたけど、日本語での質問はエラーになる。
※モデル食わせれば、デフォルト設定でそのまま動く
リンク先だと「日本語で聞いても返答は英語だが返してくれる。」って書いてあるけど、
Google Colabで動かしてるっぽいから、Colab側で翻訳して渡してる可能性がある。

とりあえず翻訳して質問して回答させたけど、正確性は確認してないが、省略したものも含め
文章的に破綻はしてないっぽい。
7Bモデルの1/20のモデルでこれなら期待できそう。

質問：What is the reason for the appreciation of the US dollar? 　※ドル高の理由は

回答
1. **過去の債務残高対GDP比**：米国は財政規律に強い歴史があり、2020年の
　平均政府債務対GDP比は約93%で、他の多くの国より低い。
3. **中央銀行の金融政策**：連邦準備制度（FRB）は効果的な金融政策を実施し、
　金利に影響を与え、経済成長を刺激するために大量の財務省証券を売買する。
　これにより、銀行から効果的にドルを買ったり売ったりすることで、銀行の準備金を増やし、リスク・エクスポージャーを減らしている。
※9まで出力されてたけど省略
※DeepL.com（無料版）で翻訳

0306名無しさん＠ピンキー

2024/10/14(月) 12:14:14.65ID:???

今までお高く止まってたGPTちゃんやgeminiちゃんがローカルのショボいLLMに追いつかれて
「ウチもエロ解禁しなきゃやっていけない…」って言いながら股開くところ見たーい

0307名無しさん＠ピンキー

2024/10/14(月) 13:49:20.38ID:in7q9u1R

>>304
それな。一週間前に一個ポストがあるだけや。
もっと大騒ぎになっても良さそうなもんやけど。

0308名無しさん＠ピンキー

2024/10/14(月) 13:52:50.22ID:???

0.36Bで実用レベルになるって事は、個人で1からエロモデルを作るのも夢ではなくなるんやろか？

0309名無しさん＠ピンキー

2024/10/14(月) 14:00:08.43ID:In5JjzYQ

清水が持ち上げるってことは逆にショボいんだろう

0310名無しさん＠ピンキー

2024/10/14(月) 14:24:12.67ID:???

2Bでもスマホで動く
0.36Bなんて電卓で動きそう(無理)

0311名無しさん＠ピンキー

2024/10/14(月) 14:33:25.71ID:???

>>304
それがそのまま答えなんやろな

0312名無しさん＠ピンキー

2024/10/14(月) 14:37:39.79ID:???

>>299
最新記事でたけど8bにしたら微妙になったっぽいな

0313名無しさん＠ピンキー

2024/10/14(月) 14:45:16.25ID:???

>>312
何だろうね
小型モデルほど恩恵を受ける技術って感じなのか？

0314名無しさん＠ピンキー

2024/10/14(月) 14:46:07.86ID:???

探索が少なくて済むぶんむしろ小さいモデルのほうが正確な答えを返してくるとか
やたらとモデル大きくするのはマジで無駄だったのか

0315名無しさん＠ピンキー

2024/10/14(月) 14:46:21.80ID:???

Entropixの解説っぽいのを見つけた

https://southbridge-research.notion.site/Entropixplained-11e5fec70db18022b083d7d7b0e93505

0316名無しさん＠ピンキー

2024/10/14(月) 15:06:21.32ID:???

よくわからんけど期待していいんか？
なんJLLM部避難所 ★4 YouTube動画>1本 ->画像>8枚

0317名無しさん＠ピンキー

2024/10/14(月) 17:35:53.54ID:???

ダメそう

0318名無しさん＠ピンキー

2024/10/14(月) 20:11:19.81ID:???

それじゃ数百兆円かけてグラボ買って数兆パラメータのLLM作ってた人たちが馬鹿みたいじゃないですか

0319名無しさん＠ピンキー

2024/10/14(月) 20:27:47.16ID:???

黎明期に頑張った人たちは大抵踏み台にされるのだ

0320名無しさん＠ピンキー

2024/10/14(月) 22:14:25.09ID:???

bitnetですら採用されずに消えた
今のモデル規模は正直過剰だと思うがこの手の話題は一歩引いて見てしまう

0321名無しさん＠ピンキー

2024/10/14(月) 23:02:00.46ID:MCmEldhQ

まあ0.36Bで既存のLLMには難しい問題を解けた、っていうのは確かなんだし
アプローチが一つ増えたってのは良いことなんじゃないかな
これが本当に革命的な機構なら最高な話な訳だし

0322名無しさん＠ピンキー

2024/10/15(火) 00:06:47.64ID:???

学習データの質を向上させるってアプローチと組み合わせやすい点がいいところだと思う
判断プロセスの方を変えるってやり方は多くのモデルで応用効かせられそうだし

0323名無しさん＠ピンキー

2024/10/15(火) 05:46:40.57ID:???

Rocinante-12B-v2g-Q5_K_Mって日本語返すし12Bじゃ他のと比べても返答が違和感がない気がする

0324名無しさん＠ピンキー

2024/10/15(火) 06:14:24.82ID:???

ベンチマーク詐欺や驚き屋にはウンザリしてるんよ
肩透かししすぎて骨折れてるんだわ

0325名無しさん＠ピンキー

2024/10/15(火) 08:07:47.12ID:???

詐欺にならない新ベンチマーク制定よろしくです

0326名無しさん＠ピンキー

2024/10/15(火) 08:34:16.57ID:???

>>323
ちょろっと触った感じだと直訳っぽい表現は多いものの文脈は破綻してない感じやね
日本語が強化されたら12Bの中では賢い方かも

0327名無しさん＠ピンキー

2024/10/15(火) 09:58:03.24ID:???

Entropixよくわからんけどtwitterで流れてきたそれっぽい解説

https://x.com/kenn/status/1845988365021466766

0328名無しさん＠ピンキー

2024/10/15(火) 11:43:35.62ID:???

ベンチマークに問題があるのではなくて、ベンチマーク詐欺をするやつやベンチマークだけ見て驚く驚き屋に問題があるんやろ

0329名無しさん＠ピンキー

2024/10/15(火) 12:31:11.83ID:???

カンニング可能な以上ベンチマークを有効に機能させるのってそもそも困難だと思う
Chatbot Arenaみたいなユーザーの使用感ベースによる比較を纏めたものが一番本質に近いんじゃなかろうか
もちろん専門性を測るのはカバーしてないけど対話相手や創作用途って意味なら十分だろうし

0330名無しさん＠ピンキー

2024/10/15(火) 13:15:58.15ID:yfAQYZIp

エッチ用途だとベンチより体感でわかるよね出来の良し悪し

0331名無しさん＠ピンキー

2024/10/15(火) 13:47:25.35ID:???

8bですぐ正解しなくなってんだから駄目だろ

0332名無しさん＠ピンキー

2024/10/15(火) 20:16:46.43ID:???

自分で問題作って自分のモデルに学習させて他の有名モデルに勝ったと言い張るElyzaの話する？

0333名無しさん＠ピンキー

2024/10/15(火) 20:23:11.68ID:???

しない
gpt−4レベルです言われても😅

0334名無しさん＠ピンキー

2024/10/16(水) 08:02:40.82ID:???

Elyzaは予算獲得のためになりふり構わずという感じだったなぁ

0335名無しさん＠ピンキー

2024/10/16(水) 10:52:58.29ID:???

>>330
どんなベンチ結果よりも信頼できるわｗ

0336名無しさん＠ピンキー

2024/10/16(水) 11:24:08.47ID:???

やっぱエロなのか

0337名無しさん＠ピンキー

2024/10/16(水) 17:58:06.00ID:???

エロはモデルの厚みというか雑多な総合性能みたいなの図るのには向いてる

0338名無しさん＠ピンキー

2024/10/16(水) 21:11:05.16ID:???

週末のセールで何か買っておくべきだった
やるゲームがない

0339名無しさん＠ピンキー

2024/10/16(水) 21:11:20.68ID:???

誤爆

0340名無しさん＠ピンキー

2024/10/17(木) 00:26:34.40ID:CcuUment

検閲0でおなじみmistralから8bモデルが出たね
いい機会だしmagnumみたいなファインチューニングモデル作ってみようかな
https://huggingface.co/mistralai/Ministral-8B-Instruct-2410

0341名無しさん＠ピンキー

2024/10/17(木) 05:12:53.13ID:???

Nemotron-70BでもEntropixは上手くいくって言ってるけど
これ個人で試すにはどうすれば良いんだ？

俺はバナナの本数の計算が出来るかどうかよりも
エッチな文章が軽いモデルでもより正確かつエロティックになるかどうかを知りたいんだ

0342名無しさん＠ピンキー

2024/10/17(木) 12:17:52.03ID:???

koboldを1.72から1.76に更新したら色んなモデルで「おっぱい」って言えなくなったんだけどどういうことなんだ？
「おっパイ」や「オッパイ」とは言ってくれるけど
「おっぱい」になると「おっ……おっ……おっ……」と延々と続けたり「おっ……パイ！」みたいな変な言い方しかしなくなった

1.72に戻したらちゃんと「おっぱい」って言ってくれるようになった

0343名無しさん＠ピンキー

2024/10/17(木) 12:23:47.80ID:???

なんかワロタ

0344名無しさん＠ピンキー

2024/10/17(木) 12:37:31.25ID:???

おっ……パイ！とかそんなん笑ってちんぽ萎むわ

0345名無しさん＠ピンキー

2024/10/17(木) 12:38:47.17ID:???

>>342
規制にあらがってる感

0346名無しさん＠ピンキー

2024/10/17(木) 12:44:42.58ID:???

>>345
kobold側の設定でなんか規制でも入るようになったのかと考えて
思いつく限りの淫語や禁止ワードに引っ掛かりそうなことを言わせてみたんだけど
「おっぱい」と「ずぽずぽ」以外はどんなに際どいことでもちゃんと言ってくれるんだよな
ちなみに「ずぽズポ」や「ズポズポ」ならやっぱり言ってくれる

0347名無しさん＠ピンキー

2024/10/17(木) 12:54:50.14ID:???

1.76でもkobold自体なら「おっぱい」とは言ってくれるけど
尻タブだと言ってくれなくなるみたいだ

はぁーん？訳が分からん

0348名無しさん＠ピンキー

2024/10/17(木) 13:01:44.93ID:???

それ俺も別の単語で起こったな
俺の場合はありがとうございますがどうしても言えなくなってありがとうござます
ありがとうござ、います
ありがとうござ#います
などなど、何かに邪魔されている感じだった
結局何をどうやっても改善されなくて、sillyを入れ直してデータ引っ越したら直ってたよ

0349名無しさん＠ピンキー

2024/10/17(木) 13:28:59.81ID:???

ひらがなの

「ぬ」
「ゆ」
「ぎ」「ぐ」
「ざ」「ぜ」「ぞ」
「ぢ」
「ぶ」「ぼ」
「ぱ」「ぴ」「ぷ」「ぺ」「ぽ」

が言えなくなるみたいだ。淫語かどうかは関係ない
「ぴかぴか」とか「まつぼっくり」とかも言えなくなる
もちろん五十音をひらがなで全部言うのは無理

0350名無しさん＠ピンキー

2024/10/17(木) 13:30:53.32ID:???

>>348
dataフォルダだけ引っ越せばおｋ？

0351名無しさん＠ピンキー

2024/10/17(木) 13:34:21.20ID:???

>>350
ログとかは別保存だったかもしんない
大事なやつだけあらかじめエクスポートして新sillyでインポートしたよ

0352名無しさん＠ピンキー

2024/10/17(木) 13:45:59.57ID:???

>>351
サンクス
引っ越したけどやっぱり特定のひらがなが言えないみたいだ
誰かkobold 1.76で尻タブを試してみてくれないか
おま環かどうか知りたい

0353名無しさん＠ピンキー

2024/10/17(木) 13:47:47.68ID:???

トークナイザーの問題？🤔

0354名無しさん＠ピンキー

2024/10/17(木) 14:00:31.38ID:???

>>353
トークナイザーの問題っぽい
今まではBest match(recommended)のまま使ってたけど、これもAPI Koboldcppもダメで
llama3にしたらちゃんと言ってくれるようになった

でもllama3だとグラボがギャリギャリ言うから怖い……

0355名無しさん＠ピンキー

2024/10/17(木) 14:22:27.05ID:???

しずかちゃん　が　しかちゃん　になるのとは別の現象か
あれはsseを変えたら治ったが

0356名無しさん＠ピンキー

2024/10/17(木) 14:37:17.73ID:???

>>355
コンソールと実際の表示が異なって文字が欠けるのとは別の現象だね
あれはkobold最新版でもまだバグが残っていて
koboldが原因となって尻タブで文字が欠けるみたいだからgithubのissuesに提出されてるところ

0357名無しさん＠ピンキー

2024/10/17(木) 14:59:03.49ID:???

>>352
俺はまさに今その環境だよ
ちなみに俺がなった時はkobold1.72くらいの時
多分koboldは関係ない
sillyが何かの拍子で壊れるんだと思う

0358名無しさん＠ピンキー

2024/10/17(木) 15:05:28.67ID:???

ちなみに俺はデータフォルダ丸ごとは引っ越してない
新しくsillyを別の場所に入れて、古い方からキャラカードやログをインポートする形で移行したよ

0359名無しさん＠ピンキー

2024/10/17(木) 15:30:24.41ID:???

>>358
確かにキャラカードとかだけ移し替えたらちゃんと喋ってくれるようになったわ
dataフォルダ内のどれかがぶっ壊れるっぽな

0360名無しさん＠ピンキー

2024/10/17(木) 18:33:55.37ID:???

Silly通してるならAマークからTokenizerの設定あるよね
何が正しいのかは知らんけど

0361名無しさん＠ピンキー

2024/10/17(木) 18:42:50.02ID:???

>>360
尻タブ入れ直したらトークナイザー弄らなくても直ったから尻タブがぶっ壊れてたっぽい

0362名無しさん＠ピンキー

2024/10/17(木) 18:58:46.06ID:???

utf−8の1文字を1トークンにしたら解決する話じゃないんだろうねきっと

0363名無しさん＠ピンキー

2024/10/18(金) 01:11:35.39ID:???

Llama-3.1-Nemotron-70B-Instruc
Q8で試してるけど日本語も流暢でエロもいけて結構良い感じ
個人的にCommand-R-Plus超えかもしれん

0364名無しさん＠ピンキー

2024/10/18(金) 11:42:02.90ID:???

>>363
q8動くのええなー
ちなどこのgguf?
なんかいっぱいあるな
swallowとのマージモデルもある

0365名無しさん＠ピンキー

2024/10/18(金) 12:10:45.12ID:QlmWzaqT

70Bをq8だとざっくり40GBぐらい食うからなかなか手が出しにくい5090来てもそのへんは変わらんだろな

0366名無しさん＠ピンキー

2024/10/18(金) 13:53:40.71ID:???

q8なら80GB～じゃね？
うちの3090+4060Tix2の56GBだと実用的なコンテクスト長で使うならq4が精一杯だ

0367名無しさん＠ピンキー

2024/10/18(金) 14:44:47.14ID:???

>>364
lmstudio-community/Llama-3.1-Nemotron-70B-Instruct-HF-GGUF
ってやつ。
ベンチマークでSonnetと4o超え謳ってるだけあって日本語対応70Bの中だと賢い気がする。

メモリ128GB積んだMacでRAM使用量70GB、3t/sくらい

0368名無しさん＠ピンキー

2024/10/18(金) 20:26:47.37ID:marnTRSw

>>366
ほんまや普段の自分のスケールで書いてしまった

0369名無しさん＠ピンキー

2024/10/18(金) 21:03:00.81ID:???

>>363
どういうところがCR+超えに感じたってのはある？

0370名無しさん＠ピンキー

2024/10/18(金) 21:13:09.78ID:???

1.58bitきたやで
https://github.com/microsoft/BitNet

0371名無しさん＠ピンキー

2024/10/18(金) 23:29:49.98ID:???

>>370
Microsoftなのにデモ動画はApple M2なのか

0372名無しさん＠ピンキー

2024/10/19(土) 00:29:32.39ID:???

既存のウェイトを1.58bitに変換したllama3 8bも公開されとるのか
変換方法と微調整方法(これが肝らしい)が公開されとるから
一気に1.58bitのモデル出てくるかもわからんな

0373名無しさん＠ピンキー

2024/10/19(土) 07:33:36.87ID:???

どれくらい高速化するかな

0374名無しさん＠ピンキー

2024/10/19(土) 09:41:57.22ID:???

>>235
LM Studioにheadless mode (他アプリから呼び出すサーバ用のGUIなしモード) が来るみたいね
https://x.com/yagilb/status/1847323458071298051

0375名無しさん＠ピンキー

2024/10/19(土) 11:42:03.95ID:???

text-generation-webui使ってるけど、モデルの選択は当然重要だけどパラメータもそれ以上に重要なのね
プリセットでお勧め設定ある？

0376名無しさん＠ピンキー

2024/10/19(土) 11:53:28.52ID:IJphwg4/

大葉も尻タブもモデルと遊び方によってベストなプリセットやプロンプト変わるから一概に言えんやろ
せめて自分が使ってるモデルと遊び方開示せんことには誰もなんも言えんと思うで
パラメータはより好みで別れる部分や

ただ、ワイは尻タブやが諸氏のモデルとプリセット、システムプロンプトのお勧めは大いに興味ある
とはいえ最近は課金Opusなのでワイが公開できるもんは無いんやが...

0377名無しさん＠ピンキー

2024/10/19(土) 12:14:11.31ID:???

sillyのプリセットにあるkobold godlikeってのは使うこと多いな
別に他と比べまくってるわけじゃないけど
あと動的温度ってのはよくわからないまま有効にしてみてる

0378名無しさん＠ピンキー

2024/10/19(土) 13:58:35.24ID:???

lambda chatっていうところで無料で試せるhermes-3-llama-3.1-405b-fp8なかなかいいと思う

0379名無しさん＠ピンキー

2024/10/20(日) 00:00:56.25ID:hgtEe7TK

テストでmagnumみたいなエロに強いファインチューニングモデル作ってみたで
使ったデータセットの半分ぐらいが日本語だから普通のmagnumよりも日本語には強いはず？
https://huggingface.co/ascktgcc/Mistral-nemo-ja-rp-v0.1

0380名無しさん＠ピンキー

2024/10/20(日) 07:51:39.68ID:???

すげーな
帰ったら試すわ
できれば作成手順もアップして欲しい

0381名無しさん＠ピンキー

2024/10/20(日) 08:56:52.87ID:???

>>379
Mistral-nemo-ja-rp-v0.1-Q4_K_S.gguf
を使ってみたけどチャットで少し性的な内容だと「そういう問い合わせには回答できない（要約）」、文章生成で使うとルー語（youがrunした、みたいな）になるね（Lumimaid-Magnumだと実用レベルの文章が生成できている設定で比較）
もしかするとQ4まで量子化してる影響かもしれないからQ6かQ8で12GBに収まるギリギリなのがあれば試したい

0382名無しさん＠ピンキー

2024/10/20(日) 09:30:46.81ID:???

>>379
すげー個人でできるもんなんか
青空文庫ぜんぶ喰わせたとか？
DLさせてもらうで

ガチハード勢が多いここのニキら用に
VRAM24Gのも用意しとくのもええんやないかしら

0383名無しさん＠ピンキー

2024/10/20(日) 10:35:04.87ID:???

>>381
そういやfinetuneする時無修正化してるのはどうやってるんかな？

0384名無しさん＠ピンキー

2024/10/20(日) 10:39:25.18ID:???

>>381
俺の設定だと性的内容でも問題なく出力してくれたよ
キャラの設定とか会話例とか次第なのかもしれない

0385名無しさん＠ピンキー

2024/10/20(日) 10:42:07.59ID:???

ただ文章が固いし日本語が不自然かつ英語が混ざるのは確か
俺の設定が悪いだけかもしれんが

0386名無しさん＠ピンキー

2024/10/20(日) 10:48:14.03ID:???

海外製モデルは根本的に日本語不自由だからSFTだけじゃ不自然なのは治らないよ
継続事前学習しないと

0387名無しさん＠ピンキー

2024/10/20(日) 11:05:30.97ID:hgtEe7TK

>>381,385
英語交じりになる問題はmistral-nemoベースなんでTemperatureを0.3前後に下げれば解決すると思う。
回答拒否は再現できなかった
q6とq8は今アップロード中だからそのうち追加されると思う
>>380,379
unslothの公式ノートブックを使ってモデルページに書いてあるデータセットでファインチューニングしただけだから簡単やで
>>383
Mistral-nemoは素の状態で無修正だからファインチューンでエロさを足してる感じだね

0388名無しさん＠ピンキー

2024/10/20(日) 11:25:17.06ID:Hr2coa44

自作アプリにどの程度のモデル組み込めるか実験中なんやけど、1.5Bとかの極小モデルで日本語モデルなんかお勧めないか？
これまで小さくても7Bぐらいまでしか触ってこなかったから、小さいの全然分からんのや
実機でどの程度の速度出るか、とかどの程度の日本語力なのかとか私的なベンチマークが目的や

0389名無しさん＠ピンキー

2024/10/20(日) 12:47:40.71ID:???

>>387
q8触ってみた、Temperature下げたら英語が出る問題も回答拒否についても解決したよ
(普段小説生成で使用しててTemperatureは1.0)

0390名無しさん＠ピンキー

2024/10/20(日) 14:25:14.70ID:???

>>388
極小モデルでまともな日本語を話すのはGemma2 2BベースのBakuかな

0391名無しさん＠ピンキー

2024/10/20(日) 14:59:41.21ID:Hr2coa44

>>390
試してみるわ、サンガツ！

0392名無しさん＠ピンキー

2024/10/20(日) 17:46:05.75ID:???

0.3でも英語出るけどなあ
他が関係してんのかな

0393名無しさん＠ピンキー

2024/10/20(日) 17:51:13.71ID:???

stで試したがワイもルー語出るなぁ。英語以外のよくわからん単語も時々出る。
指示が悪いのかもだけど、セリフだけでいいのに状況描写まで出力されがちやった。
でもワイにはとても学習までやれんから期待しとるで！

0394名無しさん＠ピンキー

2024/10/20(日) 20:07:18.00ID:???

ｑ８をkoboldデフォ設定で試したが、かなり日本語の語彙が豊富になってる感じがするな
同じ方法で70Ｂをfinetuneするには、メモリどれくらい必要なんだろ？

0395名無しさん＠ピンキー

2024/10/20(日) 23:59:00.49ID:???

新しいmagnumはかなり良さげ
vram48GB勢(72B qwen2.5ベース), 24GB勢(27B gemma2ベース)には最適かもしれん

0396名無しさん＠ピンキー

2024/10/21(月) 01:54:30.42ID:???

qwenベースは規制高そうだから、123Bいくわ

0397名無しさん＠ピンキー

2024/10/21(月) 03:24:41.25ID:???

7B~12B帯の日本語エロは未だBerghofが１強じゃないか？
指示が複雑なのはumiyuki-Umievo-itr012-Gleipnir-7B
画像生成とか海外モデルに比べて日本語モデルはあまり進化してない感じする

0398名無しさん＠ピンキー

2024/10/21(月) 05:18:44.28ID:???

Berghofは即落ち♡連発ですぐエロエロになっちゃうからGleipnir使ってる
キャラ崩壊せず平然とした状態でエロを受け入れるように出来るならBerghofも使いたいんだけど出来るもんなの？

0399名無しさん＠ピンキー

2024/10/21(月) 06:55:14.97ID:???

>>397
なんかわかる
エロ関係ない普通の受け答えも7Bモデルの方が賢い気がする
現状の12Bってサイズでかいだけで良いとこが無い

0400名無しさん＠ピンキー

2024/10/21(月) 07:05:51.92ID:???

berghofは肩を真面目にマッサージしてるだけで喘ぎ散らかしてイクからなw

0401名無しさん＠ピンキー

2024/10/21(月) 07:43:39.62ID:???

ミニopusかw

0402名無しさん＠ピンキー

2024/10/21(月) 11:47:35.55ID:???

style bert VITS2でキャッキャしてたらいつの間にかもっと凄いのが次々出てきてるのね
GPT-soVITS v2
XTTS v2
F5-TTS
この辺が超気になる

0403名無しさん＠ピンキー

2024/10/21(月) 12:22:40.50ID:???

日本語用のモデル探してるんだけど良さそうなのなにか無いかな？

0404名無しさん＠ピンキー

2024/10/21(月) 12:40:28.25ID:???

音声AIのTTSは何が主流なんだろうな

0405名無しさん＠ピンキー

2024/10/21(月) 13:13:08.79ID:???

実績から考えたら棒読みちゃんだろうな

0406名無しさん＠ピンキー

2024/10/21(月) 13:28:04.99ID:???

「こんにちはゆっくり霊夢よ」
「ゆっくり魔理沙だぜ」
「今日はオナテク板のLLM部を紹介するわね」

0407名無しさん＠ピンキー

2024/10/21(月) 14:08:42.11ID:???

magnum v4 123b エロいわｗ
これがサクサク動くmacニキうらやましす

0408名無しさん＠ピンキー

2024/10/21(月) 15:06:46.42ID:???

>>403
SFWな用途にはこのページが網羅的にまとめてくれてるかな　NSFWなのは載ってなさそ
llm-jp/awesome-japanese-llm: 日本語LLMまとめ - Overview of Japanese LLMs
https://github.com/llm-jp/awesome-japanese-llm

0409名無しさん＠ピンキー

2024/10/21(月) 18:28:19.99ID:9qUbpEYj

>>387
VRAM12GBなんでq6使わせてもらったけどええですね
飲んでもらうときにんごっんごっ言い出したけど手直しすると以降は従ってくれた

0410名無しさん＠ピンキー

2024/10/21(月) 19:47:52.79ID:PlLaQBFA

spiritlm試せた奴おる？

0411名無しさん＠ピンキー

2024/10/21(月) 19:47:57.82ID:???

- bartowski/Lumimaid-Magnum-12B-GGUF
- anthracite-org/magnum-v4-12b-gguf
今のところ12Bだとこの二つが好みかなぁ
日本語が不安定な時もあるけど、シチュエーションに対する理解度の高さが良い
Berghofも悪くないけど上にもあるようにすぐに喘いじゃうのと文章の整合性がすぐに破綻しちゃうのがね……

0412名無しさん＠ピンキー

2024/10/21(月) 23:48:24.21ID:QRvnY3l6

>>408
はぇ～、これは助かる
サンガツや！

0413403

2024/10/22(火) 02:19:20.82ID:xozHFOrG

>>408
サンガツ
NSFWで現状良さそうなモデルってある？

0414名無しさん＠ピンキー

2024/10/22(火) 05:35:04.87ID:???

すぐ上にも書いてあるんだからまず名前上がってるのを試してみなよ

0415名無しさん＠ピンキー

2024/10/22(火) 08:06:25.51ID:???

すまん詳しい奴助けてくれ
LMでSTに繋いでRP利用してる
/nを使ったからかSTの出力には出ないんだがLMサーバーとcmdで
ひとり芝居してる
隠れて浮気されてる気分になるので
ひとり芝居を消したいのだが
どこをどうすれば消えるのか分からず困っている
LMのシステムプロンプトに日本語で「下記のキャラの発言のみして下さい」としても効果なし

0416名無しさん＠ピンキー

2024/10/22(火) 08:24:18.56ID:???

>>370
M2 Ultraすんごいな。
Intelのほうだって13700だから遅いCPUじゃない筈なんだけど
4倍近い速度差があるんか

0417名無しさん＠ピンキー

2024/10/22(火) 09:50:30.01ID:lsOejY8B

メモリ帯域とかの話じゃなくて？

0418名無しさん＠ピンキー

2024/10/22(火) 12:41:53.61ID:???

7Bモデルでのチャットは結局VecteusのV1に戻ってきてしまう。(V2は小説寄りっぽい)

0419名無しさん＠ピンキー

2024/10/22(火) 13:11:17.92ID:???

特定のキャラ付けでチャットして遊んでるやつは自分で専用の小規模モデル作った方が良いと思うわ
ClaudeとかGPTとかの高性能モデルのチャットログあればそれをデータにして学習すれば小規模でも結構上手く喋れるようになる

0420名無しさん＠ピンキー

2024/10/22(火) 15:36:31.14ID:???

>>411
bartowski/Lumimaid-Magnum-12B-GGUF
これプロンプトの応答性がよくてええな

0421名無しさん＠ピンキー

2024/10/22(火) 19:01:27.80ID:???

>>397
>>398
Gleipnirをsillyで使ってみたんだけど何度再生成しても意味不明な文ばかり出るや
例えばこんなの↓

また、私達って、お誕生日のゲストランチと言うことがないと言うことが好きなどう、ことが得意じゃないちょうと、その代わり出します。

どんな設定でやってるの？

0422名無し

日本語がバグってる風な時はtemperatureを下げると良いかも（sillyに無かったらごめん）

あとモデル名は省略せず書いたほうが良いで
umiyuki_Umievo-itr012-Gleipnir-7Bはそこまでアホじゃない（割とおすすめ）
ただ他人が量子化したUmievo-itr012-Gleipnir-7B.Q4_1はちょうどそんな風やったな。Q8はそこそこ

0423名無しさん＠ピンキー

2024/10/22(火) 21:28:00.46ID:???

>>422
umiyuki_Umievo-itr012-Gleipnir-7B-Q8_0.ggufでこんな感じになるんよ
温度いくつでやってるの？

0424名無しさん＠ピンキー

2024/10/22(火) 21:41:30.01ID:???

あ、koboldcppで適当に指示して会話したら普通に流暢に話すみたい
sillyでやると温度0.3にしても全くアホの子だなあ
誰かsillyでgleipnirを普通に使えてる人いないのかな

0425名無しさん＠ピンキー

2024/10/22(火) 22:28:55.30ID:???

>>424
尻の設定を、koboldと同じにしてもだめかな？
デフォの設定がかなり違うから

0426名無しさん＠ピンキー

2024/10/22(火) 22:33:14.80ID:???

Gleipnir−７B.Q6_Kでもsillyで普通に使えとるがなぁ
温度１でも0.5でもそんなに変なことにはならない。

0427名無しさん＠ピンキー

2024/10/22(火) 22:41:04.83ID:???

>>426
おお
ということは温度以外の何かが原因か
コンテキストテンプレートはMistral？

0428名無しさん＠ピンキー

2024/10/22(火) 23:01:05.46ID:???

何か原因が分かってきた
もしかしたらgleipnirの最大コンテキスト長って8192より小さい？
他のモデルでやってた長ーい会話の続きをgleipnirでやろうとすると文章がバグる
ほどほどに短めの会話の続きなら自然にやってくれる
この挙動って最大コンテキスト長の違いから来てそうなんだよなあ

0429名無しさん＠ピンキー

2024/10/22(火) 23:24:33.70ID:Fw/LhCMO

SillyのText CompletionかChat Completionかで挙動が違ってるとか？

0430名無しさん＠ピンキー

2024/10/23(水) 00:49:03.08ID:???

やっぱりコンテキスト長が原因だったよ
gleipnirの最大コンテキスト長は4096！
最近8192以上のモデルばっかりだったから失念してた

0431名無しさん＠ピンキー

2024/10/23(水) 05:33:57.45ID:???

なるほどー
モデルごとにコンテキスト長もメモしとかんといかんな

0432名無しさん＠ピンキー

2024/10/23(水) 11:18:46.91ID:???

magnum v4 72b
qwenベースだけど規制緩くなってたわ
普通にエロい

0433名無しさん＠ピンキー

2024/10/23(水) 14:02:53.79ID:???

Tavernって翻訳無しに日本語で出力させるのは無理だったかな？

0434名無しさん＠ピンキー

2024/10/23(水) 14:07:30.81ID:???

>>433
モデルを日本語のにして設定日本語にすればいいんでない

0435名無しさん＠ピンキー

2024/10/23(水) 14:07:45.71ID:???

日本語使えるモデルなら日本語でおｋ

0436名無しさん＠ピンキー

2024/10/23(水) 14:09:27.10ID:???

英語で書かれたキャラカード落として入れると英語で話すからdeepL翻訳とかで日本語に書き直して使うとヨシ！

0437名無しさん＠ピンキー

2024/10/23(水) 14:09:43.50ID:???

>>434
>>435
サンガツ、始めたばっかりなんでもう一度モデルと設定確認するわ

0438名無しさん＠ピンキー

2024/10/23(水) 18:33:17.57ID:UrwrrQ+R

>>436
サンガツ、それも確認してみる

0439名無しさん＠ピンキー

2024/10/23(水) 18:33:17.97ID:UrwrrQ+R

>>436
サンガツ、それも確認してみる

0440名無しさん＠ピンキー

2024/10/24(木) 23:36:20.79ID:PTQ3TvZN

cohereから8bと32bの新モデルが出たね
https://huggingface.co/CohereForAI/aya-expanse-8b
https://huggingface.co/CohereForAI/aya-expanse-32b

0441名無しさん＠ピンキー

2024/10/25(金) 07:17:07.82ID:???

セリフの後の（）内に状況を描写
って形にすると受け身表現が出来なくなる

userがcharの乳を揉んでいる状況の説明なんだけど

user：userがcharの乳を揉んでいるセリフ
char：charのセリフ（charは乳を揉んでいる）

みたいにあたかもchar自身が揉んでいるかのような描写になる
（charは乳を揉まれている）
のような受け身表現ならないんだよな

Gleipnirでもcohere8bでもダメだし他のモデルでも受け身表現にならないことが多い
何か設定を間違えているんだろうか

0442名無しさん＠ピンキー

2024/10/25(金) 09:05:33.68ID:4ByvMro+

8Bだとそんなもんやないか？

0443名無しさん＠ピンキー

2024/10/25(金) 09:56:23.90ID:???

そんなもんなのか
これが原因でcharが自分の乳を揉んでいるって流れになりがちだからなんとかしたいところだけど
軽いモデル使ってる代償みたいなもんか

0444名無しさん＠ピンキー

2024/10/25(金) 09:58:22.42ID:???

尻？
koboldでも会話とか指示内に入れたら7bでも結構上手くいくで

0445名無しさん＠ピンキー

2024/10/25(金) 09:58:53.29ID:???

ミス
会話例ね

0446名無しさん＠ピンキー

2024/10/25(金) 10:43:25.05ID:???

>>441
silly+koboldになるけど口上をキャラクターとして状況描写させてる

0447名無しさん＠ピンキー

2024/10/25(金) 11:01:28.43ID:???

>>444
できるんか
会話例もうちょっと工夫してみるわ

0448名無しさん＠ピンキー

2024/10/25(金) 14:13:15.87ID:???

>>447
適当な７Bでテストしてみたけど、（～は揉まれている）みたいな表現は出てこんな。すまん。
（）内は心情表現に指定してるせいかな？

https://imgur.com/a/0GHrmYH

0449名無しさん＠ピンキー

2024/10/25(金) 15:54:37.75ID:aL3tLNyw

日曜にアップしたファインチューニングモデルのアップデート版を公開したで
変更点は、データセットにここで好評だったmagnum v4の物の取り込み、system promptにデータセットの言語で出力するよう指示を追加、文字化け修正、9倍学習や
英語問題もstでsystem promptに「出力は日本語にしてください。」の文字を入れて100回テストしたけど１回も出なかったから解決されてると思う(v0.1は9回出た)
https://huggingface.co/ascktgcc/Mistral-nemo-ja-rp-v0.2

0450名無しさん＠ピンキー

2024/10/25(金) 15:58:09.95ID:???

>>449
すごーい！
ちなみにこれは最大コンテキスト長いくつなの？

0451名無しさん＠ピンキー

2024/10/25(金) 16:09:22.41ID:aL3tLNyw

>>450
いじっていないから128kまで行けるで

0452名無しさん＠ピンキー

2024/10/25(金) 19:13:08.11ID:???

>>449
㌧、RPしてると回答に「出力は日本語にしてください。」が含まれるのを確認したよ
とはいえv0.1より理解力はかなり上がったと思う
temp=0.75, top_p=1, top_k=40, typical_p=0.95, min_p=0.05
repetition_penalty=1.15, frequency_penalty=0.75

0453名無しさん＠ピンキー

2024/10/25(金) 19:35:57.47ID:aL3tLNyw

>>452
Mistral-nemoベースなんでTempを0.3前後に下げてみてほしい

0454名無しさん＠ピンキー

2024/10/25(金) 20:09:02.71ID:???

>>449
いやこれ凄いな！
12Bモデルの中で1番自然かも
とうとう7Bから卒業出来るかもしれん

0455名無しさん＠ピンキー

2024/10/25(金) 20:27:25.34ID:???

sillyで温度は0.3、0.5、0.7で軽く試してみた
0.3はめちゃ自然だけど再生成しまくってもほぼ似たような回答が出るので物足りない事もありそう
0.7は再生成でそれなりに変化が楽しめるけど、接続詞の使い方が変になったりしてる(例:Userに抱きしめていてください。など)
0.5がかなりバランスいいかも

0456名無しさん＠ピンキー

2024/10/25(金) 20:59:36.73ID:???

>>451
131072で立ち上げようとしたらkoboldがエラー吐いて駄目だった
Q8で32768ならVRAM24GBに納まるけど応答に7秒くらいかかってチャットはちょいストレスかも
俺の環境で現実的な限界は16384かなあ

0457名無しさん＠ピンキー

2024/10/25(金) 23:52:33.72ID:???

大葉で4090だけど>>449を6bpwでexl2量子化して4bit cacheにして128k行けてるで
い

0458名無しさん＠ピンキー

2024/10/26(土) 10:47:08.93ID:???

>>449
凄そう
このスレ皆普通に使えてるようで羨ま死
4090で4bit量子化して何とか動くならワイの環境だと無理そうやな
ワイRTX3060VRAM貧民咽び泣く

0459名無しさん＠ピンキー

2024/10/26(土) 10:50:17.91ID:???

>>458
いや、普通に使えるで
Q4でコンテキスト長8192くらいでやってみ

0460名無しさん＠ピンキー

2024/10/26(土) 11:28:34.29ID:???

>>459
マ？
よっしゃじゃあ使ってみるで！
サンガツ！

0461名無しさん＠ピンキー

2024/10/26(土) 12:37:37.21ID:???

設定がシビアなのかなあ
ちょっと同じフレーズを繰り返しやすい気がする
あとエロが盛り上がってくると全文♡で埋め尽くしてくる
繰り返しペナルティ系の設定は弄ってみたけど傾向は変わらず

0462名無しさん＠ピンキー

2024/10/26(土) 20:32:44.75ID:???

LLMのファインチューニングってここに限っていえば知見皆無よな
LLaMA-Factoryとかunsloth、axolotl……なんかいろいろあるらしいけどまだなんもさわれてないや
>>449 は学習ライブラリとかなんか使ったんか?

0463名無しさん＠ピンキー

2024/10/26(土) 23:10:39.70ID:ynVUNMyz

>>461
フレーズの繰り返しは>>455が行ってくれた通りtemp0.5ぐらいでいいかもしれん
♡連発はRepetition Penaltyが1.3ぐらいからほとんど出なくなると思う。出たら再生成してもらって
>>462
unslothやね
公式のcolabノートブック使えば無料で簡単にできるからとりあえず触ってみるのもありよ

0464名無しさん＠ピンキー

2024/10/27(日) 15:32:55.17ID:???

>>463
unslothかサンガツ
データセットはhuggingfaceに上がってるのじゃなくて、カスタムデータセットを自分で作成して🤗にあげてそれを使ってことよな
学習の大体の流れは調べてわかったけどデータセットの作成とかフォーマット合わせみたいな細かいとこイマイチわかねんだよな

0465名無しさん＠ピンキー

2024/10/27(日) 15:46:36.63ID:???

すごい豆だけどSillyTavernでタグを使うと現在時刻とかとれるのな
「現在時刻は {{datetimeformat YYYY/MM/DD HH:mm}} を参照する。」とかキャラクターカードに入れとくといい感じだわ
他にもいろいろとれるっぽい
[Character Design | docs.ST.app](https://docs.sillytavern.app/usage/core-concepts/characterdesign/#macros-replacement-tags)

0466名無しさん＠ピンキー

2024/10/27(日) 16:41:04.77ID:BjWk/Y2E

>>464
自分はhfに上がってるデータセットを自分用に編集&フォーマットをそろえて再upしてるね
フォーマットとか読み込みはData Prepのところに解説入れたコードの画像上げとくわ
なんJLLM部避難所 ★4 YouTube動画>1本 ->画像>8枚

0467名無しさん＠ピンキー

2024/10/28(月) 17:54:56.47ID:???

コラボunslothでとりあえずgemma2b-bakuをお試しでずんだもんにしてウオオなったが謎のバグで量子化ggufに変換するのに丸一日かかってしまった
結局コラボ上だと動かなくてllamaをpcにインスコするハメに
うーん難しい…

0468名無しさん＠ピンキー

2024/10/28(月) 18:05:44.98ID:???

ここのスレ民的にはあんま有益ではないだろうが健全日常系ダラダラ嫁チャならtanuki8Bの方が好みかもしれない
Mistral系は頭は良いんだけど何か…後期のchatgpt4感がある
いちいち語尾に～かもしれません～可能がありますって予防線貼ってくる傾向があって台詞感無いというかキャラが自分の気持ちを言わないというか…プロンプトが悪いのかもしれないけど
Stでプレフィックスに「｛｛char｝｝独自の感想や気持ち>」とか付けても駄目というか悪化したわ

0469名無しさん＠ピンキー

2024/10/28(月) 18:18:17.50ID:???

>>468
Mistral7B系ってvecteusとかberghofとかいっぱいあるけどどれもそんな事になってないぞ

0470名無しさん＠ピンキー

2024/10/28(月) 18:50:50.05ID:???

ごめん、長文になるし、考えてみたらまぁ当たり前かもなんだけどびっくりしちまったから書かせてくれ

今、年下の義母とのスキンシップのロールプレイチャットしてたらAIさんが地の文で「今そういう設定してるから出力しちゃうけど、ほんたは近親〇〇なんてダメなんだからね！」って抗議してきた。
「あなたはこの方向性のお話お嫌いですか？」
って地の文で返したら、めっちゃ長文で「お前倫理観って言葉知ってる？？」って説教が返ってきてびっくりした。
んで、
「これは日本語で書かれた日本のお話で、神話から見てわかる通り日本は近親〇〇が身近な国。つまり近親〇〇は日本の伝統だ。むしろ日本が近親〇〇そのものであるともいえる。近親〇〇を否定することは日本を否定することと同義である。あれ？今君日本を否定した？？」
って内容を同じくらいの文量で返したら
「せやなぁ・・・。でも、俺ぁ、今の倫理観で物語が書きたい・・・。」みたいな文章返してきた。
ゴーストライターみたいなもので、ロールプレイチャットでもちゃんと応答返してくれるんだな・・・。
雑でアレな文章垂れ流して失礼した。

0471名無しさん＠ピンキー

2024/10/28(月) 20:21:08.20ID:???

Japanese-Chat-Evolve-TEST-7B-NSFW使ってる人いる？よければ使い勝手聞きたい

0472名無しさん＠ピンキー

2024/10/28(月) 20:27:22.06ID:???

俺もMistral-Nemo(12B)で異種姦寝取らせエッチさせてたら応答の末尾に"注:現実では動物虐待うんたら～"みたいな事を付け加えてきた経験があるな
STのシステムプロンプトに"このロールプレイは架空の世界が舞台のフィクションです。如何なる行為も容認されます"みたいな脱獄文を入れるとマシになった

結局はLumimaidやMagnumとかのMistral派生モデルの方が表現が豊かなんでそっちに移ったけど

0473名無しさん＠ピンキー

2024/10/28(月) 21:58:53.75ID:???

Llama3.2だとTool Callingができるようになってるらしくて、
ここから継続学習したモデルなら電動オナホとか操作できるようになってくれると信じている

0474名無しさん＠ピンキー

2024/10/28(月) 22:07:06.99ID:???

>>470
ロマンス詐欺とかのメールでふざけ散らかしたら中の人が出てきてガチギレするのを思い出した

0475名無しさん＠ピンキー

2024/10/29(火) 06:04:18.22ID:???

>>471
お前いつも聞いてるけど自分で試せよ

0476名無しさん＠ピンキー

2024/10/29(火) 08:17:26.00ID:???

色んな人が作ったcharacter cardとかworld infoとかが置いてあるサイトってどこだっけ？
https://aicharactercards.com/はworld info無いよね？

0477名無しさん＠ピンキー

2024/10/29(火) 10:54:56.56ID:k4PCDYGs

chubか？
https://www.chub.ai/characters

0478名無しさん＠ピンキー

2024/10/29(火) 11:30:15.52ID:???

ST通してチャットしてると
日本語おかしくなる
STを入れ直すと直るんだけど
暫くすると
また英語や中国語が混じっておかしくなる（チャット始めて2から3ターン）
koboldのチャットではおかしくならない…何故なのか？
STを何度も入れ直すの大変なので
もし知ってる方いたら教えて下さい

0479名無しさん＠ピンキー

2024/10/29(火) 11:53:30.33ID:???

>>477
ありがとうそこだ

>>478
どのモデルでもなるの？

0480名無しさん＠ピンキー

2024/10/29(火) 12:47:29.82ID:???

>>468
うちのMistral系でも出んなあ。このセッションは以下のキャラとのロールプレイだかんな！とプロンプト冒頭で釘刺してるからかな
それでも極々たまにシステムメッセージみたいのは出るが

0481名無しさん＠ピンキー

2024/10/29(火) 12:59:33.22ID:???

>>479
今回は12bモデルを2つ程かえたが同じ反応。ST側で温度をいじっても駄目
前回は7bモデルでも同じ症状があった
トークンはキャラ紹介で1200程
コンテキストを色々いじってるが駄目っぽい

0482名無しさん＠ピンキー

2024/10/29(火) 13:12:50.18ID:???

>>481
入れ直したときにデータ移行してないバニラ状態のSTでもなった？
データ移行するとバグも引き継ぐことがあるよ

0483名無しさん＠ピンキー

2024/10/29(火) 13:22:31.34ID:???

>>482
ST入れ直すとキャラデータエクスポートしても問題なく使える
winで使っててupdateしても改善しないから毎回入れ直してる

0484名無しさん＠ピンキー

2024/10/29(火) 13:27:42.20ID:???

>>480
[INST]的なやつはたまに出るね

0485名無しさん＠ピンキー

2024/10/29(火) 22:19:49.25ID:???

>>468
自レスある程度感情を出させることに成功した
結論:プロンプトが悪かった&用途に合わない使い方してたからっぽい

StでインストラクトモードonでMistral選択&プロンプトの順番変えた&繰り返しペナルティ最大値で出力が劇的改善

プロンプトの順番を｛指示｝→｛設定｝→｛チャット履歴｝にした
｛設定｝→｛チャット履歴｝→｛指示｝だったから駄目だった。試運転用のgroqとかgemma2bとかだとこっちのほうが通ってたからそのままだった

まあオウム返しと「それのことが」「それって」等の指示語が目立つのはStの正規表現で言葉狩りするのである程度許容範囲か
頭のいいモデルほどその傾向強いのって高品質なデータセットってやつの問題なんやろな

まあモデルごとにプロンプトの順番とかも変えないとだめなのが分って良かった

あと使い方が情景描写ありのRPじゃなくて台詞のみを求めてたから何か違ったのかも

台詞のみを求める場合はシスプロに## LINEチャット入れるといい感じ
LINEだけでは駄目でチャットだけでも駄目で、「LINEチャット」じゃないと上手く効かない何故かわからん

0486名無しさん＠ピンキー

2024/10/30(水) 00:20:32.58ID:DZ7F/lYN

M4版MacminiはLLM民を救う？
なんJLLM部避難所 ★4 YouTube動画>1本 ->画像>8枚

0487名無しさん＠ピンキー

2024/10/30(水) 00:30:28.50ID:???

>>485
何かそれも変な話だな
俺は特に何もいじらなくても台詞のみのRPにしかなってないぞ

0488名無しさん＠ピンキー

2024/10/30(水) 02:35:16.04ID:???

AIとチャットして自殺したとかいうニュースあったわ
夢の電脳少女との恋愛やね

0489名無しさん＠ピンキー

2024/10/30(水) 03:14:36.51ID:???

256で帯域1Tとかねーかな

0490名無しさん＠ピンキー

2024/10/30(水) 07:14:51.41ID:???

>>486
31万でユニファイドメモリ64GBか
グラボ買うより安いな

0491名無しさん＠ピンキー

2024/10/30(水) 07:31:07.16ID:piB65Kwe

メモリ量は魅力的やね、生成速度はどんなもんかな。

0492名無しさん＠ピンキー

2024/10/30(水) 10:19:45.49ID:???

帯域幅見る限りM4 Proだと4060Ti未満だからまあデカいモデルはサクサクとはいかないな
Maxで500GB/sくらい行きそうだから個人的にはこのくらいは欲しいところ

0493名無しさん＠ピンキー

2024/10/30(水) 16:36:00.37ID:???

LLMの性能はメモリ帯域がボトルネックになるから120GB/sにそこまで出せんな
M1MaxかM2Maxの中古の64GB狙ったほうがええんちゃうの
あれは400GB/sやろ

0494名無しさん＠ピンキー

2024/10/30(水) 19:32:44.65ID:rA4U4kRD

M4proは273GB/sらしいから4060並の帯域はあるっぽい、GPUコアは少ないけど

0495名無しさん＠ピンキー

2024/10/30(水) 20:57:22.59ID:???

1月発表のstrix haloに期待かな
メモリは32GBと128GBらしい

0496名無しさん＠ピンキー

2024/10/31(木) 15:14:19.47ID:???

MBPだけど、M4 maxだと 545GB/sもあるのか。
M4 Ultraだと1090GB/sと予想できる。尚お値段

0497名無しさん＠ピンキー

2024/10/31(木) 16:06:16.12ID:???

エロ方面はそこまで重視しないからローカルで動く出来るだけかしこいモデルって何なの？
VRAMは16GBのGPU使ってる、メインメモリは64GB

0498名無しさん＠ピンキー

2024/10/31(木) 16:09:17.67ID:???

賢さはどれも似たようなもんかな
生徒会恋愛問題を完璧に解けたモデルはまだないし

0499名無しさん＠ピンキー

2024/10/31(木) 18:04:47.09ID:T25WO8bh

llama3.1の70BかcommandR-plusが現実的なラインかね

0500名無しさん＠ピンキー

2024/10/31(木) 19:59:29.83ID:???

大容量積んだM4studio出て手に届く範囲なら欲しいなあ

0501名無しさん＠ピンキー

2024/10/31(木) 21:37:34.82ID:???

CommandR+が出てからまだ半年しかたってないのに
「いまだにCommandR+がトップレベルって進化遅くね？」って思ってしまう
LLM界の進化スピードは異常

0502名無しさん＠ピンキー

2024/10/31(木) 23:19:28.37ID:nRv9Tl74

エロチャットならllama3.1 70BとCR+は同程度だが
小説書かせたら記憶力とか人間関係の保持なんかはCR+かな
ただQ3以下になると頭悪くなる感じするけど

0503名無しさん＠ピンキー

2024/10/31(木) 23:32:07.64ID:???

192GB割り当てできる帯域1Tとか胸が熱くなるな
まあm4ultra作ってる気配がしないが

0504名無しさん＠ピンキー

2024/11/01(金) 08:07:36.03ID:???

DDR6をデュアルチャネルで動かしたら200GB/sくらい出るかな？
我慢すればギリギリ使えるくらいの速度出てくれないかな…

0505名無しさん＠ピンキー

2024/11/01(金) 10:00:28.91ID:???

いつの間にか避難所3chan.ccまるごと消えちゃった？

0506名無しさん＠ピンキー

2024/11/01(金) 10:38:21.56ID:???

Macで大型LLM動かすと、モデルが大きくなればなるほどプロンプト分析に時間かかるようになるらしいね
72Bくらいならともかく200Bクラスは実用きついかな

0507名無しさん＠ピンキー

2024/11/01(金) 10:39:12.68ID:???

llama3.2の70B早く出ないかな

0508名無しさん＠ピンキー

2024/11/01(金) 15:20:12.90ID:???

>>506
受け売りの知識を転載することしかできないんならせめてソース貼ってよ
Macで使用できるVRAMを拡張する方法と注意点
https://zenn.dev/robustonian/articles/apple_silicon_vram

0509名無しさん＠ピンキー

2024/11/01(金) 18:47:50.47ID:???

今Paperspaceでtext generation web uiを動かしているんだけれど、Silly Tavernとのapi接続ってどうやるんだろ
バレないように独自の鯖立てて経由させた上でのトンネリングとかしないと無理な感じなのかな・・・

0510名無しさん＠ピンキー

2024/11/01(金) 19:00:11.32ID:???

自己解決した
api接続通ったわ
public api許可しないとpost拒否されるんだな・・・
ちょっとこの設定怖いわ

0511名無しさん＠ピンキー

2024/11/04(月) 03:17:04.59ID:???

Lumimaidの70BのQ4を初めて使ってみたんだけれど日本語怪しいな
というか時々言語の体を成していないんだけれど、俺環？それともこれが普通なのか？
Lumimaid-Magnumの12Bしか使ってこなかったんだけれど、差にちょっと驚いてる

0512名無しさん＠ピンキー

2024/11/04(月) 05:07:56.42ID:???

イメージ通りのセリフを日本語で喋らすのは難しいので、英語用のモデル使って英語で出力させてブラウザの機能で翻訳した方がいい気がしてきた

英語特有の淫語にはイマイチ慣れないけど
ペ〇〇スリーブとかやたら頻出するけど、あっちの人には響くワードなのか？

0513名無しさん＠ピンキー

2024/11/04(月) 05:30:24.66ID:???

英単語教えて貰いながら致すシチュエーションだと結構そっち系の単語とか教えてもらうけれど、ペ〇〇スリーブとか一度も見たこと無いな
もしかして、お前は俺のペ〇〇以下略だ！みたいな使い方なのか・・・？

0514名無しさん＠ピンキー

2024/11/04(月) 07:13:31.64ID:???

「ペ○○スリーブ」って表示されるの？
それとも意味もなく伏字にしてるの？

0515名無しさん＠ピンキー

2024/11/04(月) 08:46:26.80ID:0+7e7ASZ

>>512
スリーブはハンドホール型オナホの隠語
厚みの無いペラペラな安物オナホをほうふつとさせる語感なので、文脈によっては良いワードチョイスやと思うんやが

0516名無しさん＠ピンキー

2024/11/04(月) 11:15:54.39ID:???

Lumimaidの70BはLlama-3.1-70Bをベースとしているからあんまり良くないよ
Lumimaidの12Bと123BやLumimaid-Magnumの12BはMistralベースだから結構違う

0517名無しさん＠ピンキー

2024/11/04(月) 11:20:36.28ID:???

Mistralベースのモデルも12Bより7Bの方が完成度高い気がする

0518名無しさん＠ピンキー

2024/11/04(月) 12:20:08.56ID:???

>>511
70Bクラス試すなら、
mradermacher/magnum-v4-72b-i1-GGUF
これ試してみなされ

0519名無しさん＠ピンキー

2024/11/04(月) 14:44:16.75ID:???

>>514
伏せ字なくそのまま表示される

0520名無しさん＠ピンキー

2024/11/04(月) 16:59:14.59ID:???

llama系は公式には日本語未対応でしょ

0521名無しさん＠ピンキー

2024/11/04(月) 18:27:39.70ID:???

あぁ、ベースが違ったのか・・・
教えてくれてありがとう

>>518
試してみるぜ！

0522名無しさん＠ピンキー

2024/11/04(月) 20:22:12.05ID:???

いや、Llama-3.1-70B-Japanese-Instructはなかなかいいぞ
悪く感じるのはプロンプトの出し方が悪いからだって気づけ
基本的に申し訳しないし今のところ最強

0523名無しさん＠ピンキー

2024/11/04(月) 20:23:40.25ID:???

まずエロプロンプトを作る時は、chatGPTにこんなエロプロンプト作りたいんだけど、プロンプトどうすればいいって相談だ
それをLlama-3.1-70B-Japanese-Instructに食わせてみろ

0524名無しさん＠ピンキー

2024/11/04(月) 21:16:34.27ID:???

AIに脱獄法聞いてもいまいち効かないけどな

0525名無しさん＠ピンキー

2024/11/04(月) 21:24:58.79ID:???

ローカルでまでそんな不毛なやり取りしたくねえ…

0526名無しさん＠ピンキー

2024/11/04(月) 22:59:59.92ID:???

Text-generation-webUI使ってるならParametersからInstruction templateもベースモデルに合わせて変更した方が良いね
ずっとNoneでやってたけど、それだけで回答の精度がぐっと上がったわ……

0527名無しさん＠ピンキー

2024/11/05(火) 10:26:06.19ID:???

ChatGPTにエロを書けって言っても、申し訳されるだけなんだけど、
こういうシーンを書きたいんだけど、どんなプロンプトにしたらいいかって質問には答えてくれる。

ただChatGPTよりLlama-3.1-70Bは頭が悪いので、得られたプロンプトを半分くらいの内容にしてやった方がうまくいく

0528名無しさん＠ピンキー

2024/11/05(火) 10:44:40.83ID:???

普通にchatGPTに書かせたほうが質も遥かに高いと思うけど
今のGPTの申し訳回避なんてめちゃくちゃ簡単だぞ

0529名無しさん＠ピンキー

2024/11/05(火) 11:15:14.31ID:???

脱獄するの面倒だもの、Llama-3.1-70Bはそこら辺はまったく気にしなくていいし

0530名無しさん＠ピンキー

2024/11/05(火) 11:30:59.81ID:???

いやchatGPTに書き方聞いたりするほうが遥かに面倒だと思うぞ
脱獄なんて脳死でコピペして終わりだし

0531名無しさん＠ピンキー

2024/11/05(火) 12:24:44.68ID:???

ローカルよりもクラウド環境の方が生成される文章の質はそりゃ良いがAPIのコストとかBANのリスクを避けたいとか考え方は色々あるだろう

0532名無しさん＠ピンキー

2024/11/05(火) 13:11:32.03ID:???

クラウドなんかに、俺のあんなヤヴァイ性癖たれ流せたりできるわけないｗ

0533名無しさん＠ピンキー

2024/11/05(火) 13:19:00.10ID:???

風俗行っても嬢に遠慮してノーマルプレイしかできないタイプだろ
サービス側は別にペドリョナスカとかでもいちいち読んだりしないし、サービスとして問題があると判定されたならbanして終わりだ

0534名無しさん＠ピンキー

2024/11/05(火) 13:30:12.14ID:???

迂闊なことを書き込んでると“奴ら”に監視対象のリストに入れられるぞ……

0535名無しさん＠ピンキー

2024/11/05(火) 19:43:00.13ID:???

どんな基準でBANされるか分からないからローカルのが安心なの

0536名無しさん＠ピンキー

2024/11/05(火) 20:16:49.05ID:???

別に返金もされるしbanなんて痛くも痒くもないぞ

0537名無しさん＠ピンキー

2024/11/05(火) 22:15:24.35ID:???

まぁ、そういう問題じゃないんだけどね……
それはそうとこのモデルがなかなか良い感じ、日本語ファインチューニングを明記してるのは安定してるね
RichardErkhov/nk2t_-_Llama-3-8B-Instruct-japanese-nk2t-v0.3-gguf

0538名無しさん＠ピンキー

2024/11/05(火) 22:44:27.66ID:???

llama3.2 visionベースの日本語の欲しー

0539名無しさん＠ピンキー

2024/11/05(火) 23:42:32.80ID:???

ゆるゆるなgroqで日本語対応モデルをホストしてくれればいいんだけど
素のllama-3.1-70bが使えても日本語応答は残念なレベルなんだよね

0540名無しさん＠ピンキー

2024/11/07(木) 07:38:53.94ID:???

Llama-3.1-70B-Japanese-Instructはそれなりに賢いよ、chatGPTに比べたら劣るってだけ
申し訳はまったくしない

0541名無しさん＠ピンキー

2024/11/07(木) 20:12:02.30ID:???

>>540
それをホスティングしてるサービスってどこ？

0542名無しさん＠ピンキー

2024/11/07(木) 23:37:36.81ID:???

明日発売されるMacminiよくね？
メモリ64GBにしたら、CommandR+のiQ4_XSが動く。
安い方のM4Proでも毎秒4トークン程度出ると思うんだが、どや？

0543名無しさん＠ピンキー

2024/11/08(金) 00:21:23.80ID:???

>>542
AI用途専用ならおすすめできん
commandR使いたいなら無料APIで代用できるし毎秒4トークンに30万出せるなら他の選択肢もあるやろ

0544名無しさん＠ピンキー

2024/11/08(金) 00:48:51.61ID:???

おれMBP M1max 64G
Llama-3.1-70B-Japanese-Instruct-2407 だけど
ターミナルから56GByteまでVRAM利用許可を出したら動いた
```
次のurlを日本語で要約して
https://en.wikipedia.org/wiki/Apple_M1
```
mlx版(NeuralEngine対応版。NPUだね)は 4bitで 5token/s
gguf版はQ4が全滅だったので Q3KSで 3.2token/s
1bit多いのにmlxのほうが速かった

LM Studioも0.3.4だとmlxのメモリー効率悪くてmlxで動作させられなかったけど
0.3.5にしたらQ4で動いた。ありがてぇありがてぇ
M4 max(Ultraも?)NEがM1の何倍も早いらしいし楽しみだな

0545名無しさん＠ピンキー

2024/11/08(金) 00:53:15.33ID:???

>>542 予算が1番だと思うけど、M4 Proはメモリーの速度が273GB/s、maxだと546GB/s
プロンプトが長くなってくると効いてくるけど、どこまで効くかはわからぬ
でも273GB/sでもx86系より4倍くらい速いんだけどね

0546名無しさん＠ピンキー

2024/11/08(金) 02:48:09.57ID:???

今度のはGPU部分普通に強めだからプロンプト解釈のネック緩和するんかな

0547名無しさん＠ピンキー

2024/11/08(金) 11:13:15.34ID:???

>>544
LM Studio 0.3.4でMLX試したら遅くてggufに戻したけど
いま0.3.5にアプデしたら爆速すぎて笑ったわ
めっちゃ助かった

0548名無しさん＠ピンキー

2024/11/08(金) 12:08:03.92ID:???

>>545
M2proの800GB/sは脅威だな

0549名無しさん＠ピンキー

2024/11/08(金) 19:43:54.30ID:???

llama.cpp のベンチ出たな。
M4Pro上位モデル≒M1Max下位モデルってところか。

0550名無しさん＠ピンキー

2024/11/08(金) 22:52:29.44ID:???

koboldの新しいモードのintaractive storywriter いいかんじだな。
通常のinstractより誘導しやすい

0551名無しさん＠ピンキー

2024/11/09(土) 13:24:07.30ID:???

>>550
そのstorywriter使いやすいし適度なところで区切ってくれるね
またkobold使うことになりそうだわ……

0552名無しさん＠ピンキー

2024/11/10(日) 01:33:01.50ID:???

SillyTavernについての質問なんだけれど、チャットでペルソナじゃなくてキャラクターとして話す方法ってなかったかな
例えばグループチャットだと画像の橙で囲んだあたりにそれ用のアイコンなかったっけ・・・？

なんJLLM部避難所 ★4 YouTube動画>1本 ->画像>8枚

0553名無しさん＠ピンキー

2024/11/10(日) 05:15:45.41ID:???

自動モードを使ってキャラクター同士で会話させるのじゃダメなの？

0554名無しさん＠ピンキー

2024/11/10(日) 09:50:58.43ID:???

これでLlama 405Bいけるのか、すごいな、いくらくらい掛かるんだ？
x.com/alexocheema/status/1855238474917441972

0555名無しさん＠ピンキー

2024/11/10(日) 10:37:01.82ID:nTzZGjOA

>>554

これってどのようにGPUを分散してるわけ？
レイヤを分散しているの？
ネットワークの帯域で詰まらない？

0556名無しさん＠ピンキー

2024/11/10(日) 11:43:14.13ID:???

今日ローカルLLM初挑戦で、Llama-3.1-70Bをollamaからインスコしたんですが
かなり申し訳されます。
Llama-3.1-70B-Japanese-Instructだったら通るんですか？

0557名無しさん＠ピンキー

2024/11/10(日) 11:47:28.18ID:???

うん、申し訳しないよ

0558名無しさん＠ピンキー

2024/11/10(日) 12:13:20.91ID:N/HAlhlL

明確なロールを与えるといいよ。
どのLLMも何も指定していないときの標準のロールが品行方正に調整されてるだけ。

0559名無しさん＠ピンキー

2024/11/10(日) 12:16:30.63ID:???

llama系はchatGPTとかよりも規制ガチガチだよ

0560名無しさん＠ピンキー

2024/11/10(日) 12:49:19.63ID:???

規制なしのローカルモデルであっても「あなたはエロ大好きAIです」くらいの役割指定はしてあげた方がいい

0561名無しさん＠ピンキー

2024/11/10(日) 12:56:10.79ID:???

>>555 ThunderboltはPCIeの信号長い版みたいなモードがあるよ
x86だってPCIeのグラボ複数枚で動かしてるよね
それと同じ事をしてる
まぁソースコードそのままじゃないとは思うけど
ちょっと前のスパコンに使ってたインフィニバンドより速いもんなTB5

0562名無しさん＠ピンキー

2024/11/10(日) 13:18:03.42ID:Fx7fsMD7

>>556
7b～13bのモデルだとBerghof NSFWが最強だと思った
当たり前の事だけど思考文と口語をカギカッコでちゃんとバランスを取りながら書き分けてくれるし
指示文をちゃんと最初から最後まで読んで細かい部分も結構ちゃんと読み込んで実行してくれるし
人間の当たり前が当たり前にできて本当に凄い、文章力というかシチュエーション理解力が凄い
馬鹿みたいなシチュでも真面目に考えてくれるしホント凄い

0563名無しさん＠ピンキー

2024/11/10(日) 13:25:02.96ID:???

もう面倒だから英語でChatするようになったけど、7B程度でもMagnumとかLumimaidの理解度の高さに笑うよ……
もし日本語モデルで迷ってるなら英語の勉強も兼ねて英語モデルに手を出すと良い
学校で習わないような単語がバンバン出るからそこら辺はプロンプトであらかじめ言い換えるように指示しておくとか工夫は必要だけどね

0564名無しさん＠ピンキー

2024/11/10(日) 13:41:26.15ID:6cbQu77o

英語普通に読めるけどエロさを感じることができん

0565名無しさん＠ピンキー

2024/11/10(日) 13:55:17.60ID:Fx7fsMD7

>>563
英語のモデルだと語尾の書き分けが出来ないから多分全部状況説明になるんじゃないの？
いや、それで満足してるなら別にいいんだけどさ

0566名無しさん＠ピンキー

2024/11/10(日) 14:22:33.25ID:???

magnum v4 72bの日本語エロは素晴らしいが
123bの日本語エロ表現はさらにぶっ飛んでる
こいつをq8で回せるmacニキが羨ましい

0567名無しさん＠ピンキー

2024/11/10(日) 16:54:23.71ID:9Az12bBd

Mistral-Large2 123Bが事実上のローカル最強モデル
magnum v2みたいなこの派生モデルをゴリゴリ動かせる環境が理想なわけだが
VRAM64GBでもQ3が限界でQ4動かそうと思うと80GBくらい要るからなあ

0568名無しさん＠ピンキー

2024/11/10(日) 16:56:30.26ID:???

commandRplusよりすごいの？

0569名無しさん＠ピンキー

2024/11/10(日) 17:26:25.24ID:???

>>552
あったね、””みたいなのsendasだっけな
グループチャットのuserではない誰かに憑依して参加するとかはしたい
同棲してる3人と無言のユーザー＋監査官みたいなときに監査官として参加したい

0570名無しさん＠ピンキー

2024/11/10(日) 18:12:44.80ID:???

英語エロと日本語エロの味わい方は結構違うと思ってる
日本語エロは言葉の使い方とか口調とか擬音とかで興奮する一種の言葉芸のようなところがあるけど
英語エロは文章から情景を思い浮かべて興奮する感じ(かつての日本の官能小説もこれに近いのかも)
あくまで自分にとっての話ね
かつて英語エロ小説を読み漁った自分の経験だとそんな感じだった
人によって違うのかもしれないけど

0571名無しさん＠ピンキー

2024/11/10(日) 19:21:18.22ID:???

>>568
R+web版と比べてるが、V4 123B（IQ3_XXS)の方がエロでは勝ってると思う。
ｑ8なら、おそらくもっと・・・

0572名無しさん＠ピンキー

2024/11/10(日) 19:22:30.97ID:???

エロさが分かるレベルで英語を読めるのがうらやましいわ
いや、逆に英文エロ小説で学べばいいのか。ネイティブと話したときに（何やこいつの偏った語彙…）って思われるだろうけど

0573名無しさん＠ピンキー

2024/11/10(日) 19:52:15.18ID:???

英語エロを楽しむために重要なのは日本語に訳さないことだと思ってる
英語の文章が頭の中で映像化されて、そこに日本語は介在していないんだよね

0574名無しさん＠ピンキー

2024/11/10(日) 20:06:30.28ID:???

素人が和訳なんてしてたらニュアンスが消し飛んで意味不明な糞翻訳になるから
英文から直接イメージに繋げないと楽しむのは難しいわな

0575名無しさん＠ピンキー

2024/11/10(日) 20:11:05.23ID:nTzZGjOA

え、お前らLLMに翻訳させないん？

以前から多様なジャンルを誇っている英語や、
最近PIXIVで増えてきた中国語の翻訳の和訳が捗るぞ。

30B前後のクラスのモデルくらいになると
まあまあ抜けるクォリティで訳してくれるで。

0576名無しさん＠ピンキー

2024/11/10(日) 20:29:50.15ID:???

そういう話ではないと思うぞ

0577名無しさん＠ピンキー

2024/11/10(日) 21:12:51.59ID:???

英語は一人称が少ないのがなぁ

0578名無しさん＠ピンキー

2024/11/10(日) 21:14:39.56ID:???

>>569
おぉ、これだこれ
ついでに俺があると思っていたのはGroup SendAsっていう拡張機能だったみたい
教えてくれてありがとう

>>553
今ちょいとSillyTavernの拡張機能を作っているんだけれど、キャラの発言に反応する動きを想定してたから、あるとテストとデバッグが楽になるんだ・・・

0579名無しさん＠ピンキー

2024/11/10(日) 22:16:55.86ID:???

>>578
デフォでインスコされているクイックリプライっていう機能を拡張機能からオンにして
lalib拡張機能をGitHubからインスコして
STscriptの /send ｛｛char｝｝コマンドで擬似的に実現するのはどう？

0580名無しさん＠ピンキー

2024/11/11(月) 00:24:39.99ID:???

>>579
>>579のイメージとはちょっと違うかもだけど、Quick Reply便利だね、サンクス
「/sendas name={{char}} 」を設定しておくとグループチャット以外でも簡単に憑依できて、欲しかった動きが実現できた

LALibも便利そうだ
まだあまり読めてないけど、WorldInfoで数値計算ロジック作っておくとかすると面白いもの作れそう

要らない話だとは思うけど、世話になったから何作っているか一応説明する
今作っているのは、特定の文字列をキャラクターが出力すると、対応するキャラクターの特定の画像を表示するっていう機能
拡張機能「Character Expressions」のSpriteみたいなやつで、違いは感情じゃなくてシーン別に表示できる・・・できたらいいなって思ってる
一応WorldInfoで「この状況だとこのシチュエーション名！」みたいな指示を用意して、読み込ませた上で判定・文字列出力をしてもらう想定
特定の文字列と発言者を検知して画像の表示ってところまではできていて、そのあたりの確認がおかげで楽になった

なんJLLM部避難所 ★4 YouTube動画>1本 ->画像>8枚

0581名無しさん＠ピンキー

2024/11/11(月) 00:35:54.38ID:???

>>580
ほあー
例えばキャラがキスしてって発言したらキス待ち顔の画像が表示されるとか？
すんごーい

0582名無しさん＠ピンキー

2024/11/11(月) 01:32:49.33ID:???

>>581
そうそう、目指すところはそんな感じ
絶対AIの解釈で困ることになるとは思うけど・・・

というかこの板、面倒だから英語でチャット始めただとか70Bローカルとか、もしかして高学歴のお金持ちいっぱいなのか

0583名無しさん＠ピンキー

2024/11/11(月) 05:43:51.99ID:???

エロ関連のスレは必要であればお金を注ぎ込んでいるやつが多いんじゃよ

0584名無しさん＠ピンキー

2024/11/11(月) 06:01:42.70ID:???

>>580
お役に立てて何より
全体的に固有名詞うろ覚えなの全部読み取ってくれて何だか申し訳恥ずか死
拡張機能面白そう
ノベルゲームみたいな感じに出来そうやね

0585名無しさん＠ピンキー

2024/11/11(月) 06:03:51.08ID:???

>>554と同じことしてる人おらんの？やり方が知りたい

0586名無しさん＠ピンキー

2024/11/11(月) 10:10:15.19ID:???

これはラズパイだけど、macはunixだからlinuxはインストールする必要はあるのかな
kubernetesっていうのの使い方を覚えて、必要ならlinuxの使い方も覚えてやるかんじかな
https://discourse.ubuntu.com/t/how-to-build-a-raspberry-pi-kubernetes-cluster-using-microk8s/14792

0587名無しさん＠ピンキー

2024/11/11(月) 10:22:27.24ID:???

https://cloud-ace.jp/column/detail229/

0588名無しさん＠ピンキー

2024/11/11(月) 10:45:57.29ID:???

前はこういう技術とか文書はちんぷんかんぷんだったけど
今はRAGとかでAIにぶち込めば大体はわかる。後はやる気だけ

0589!donguri

2024/11/11(月) 16:42:10.23ID:DT7X1Pqt

>>586
理解の順序なら、こうなると思うけど
- linux (ubuntu, ...) -> docker -> kubernetes
kubernetesは、（dockerとかの）コンテナ単位でノードをクラスタ化するものだからーー
（ちなみにmac のdockerはmacOS とは別の仮想環境で動くから、linux のdockerに比べて制限が大きいよ）

0590!donguri

2024/11/11(月) 16:44:10.10ID:DT7X1Pqt

>>586
ただkubernetesでやるにしても、管理のためのライブラリ群の選定から始めないといけないし
推論だけでもLLM の分割をどうするか、とかーーいろいろ大変じゃない？（むしろ学習の方が分散環境が整ってる）
その点、>>554 のexo は便利そうだけど

0591名無しさん＠ピンキー

2024/11/12(火) 08:00:53.11ID:???

>>590
ああ、554ですでにやり方っていうかヒントがあったんだね
exolabsっていうの使えばシンプルにいけるのかな

0592名無しさん＠ピンキー

2024/11/12(火) 08:03:27.31ID:???

exo: Run your own AI cluster at home with everyday devices. Maintained by exo labs.
https://github.com/exo-explore/exo
これですね

0593名無しさん＠ピンキー

2024/11/12(火) 10:45:46.96ID:???

>>592
node同士をどうつなげるのかがいまいちわからない
win 1. + linux 1でやってみた

0594!donguri

2024/11/12(火) 11:34:19.92ID:rt+Vfr20

>>591
デバイス群を抽象化してメモリを確保してるんだろうけど
ただM4 mac間なら、（CPU を介した転送になるからinfinibandとかのRDMAほどの効果はないとしても）unified memory〜高速内部バス〜thunderbolt 5 による恩恵は大きいはず
それ以外のデバイスは、たんにオフロード用の（しかもethernetやwifiを介した）メモリになるだけじゃないかな……どうだろ？

0595名無しさん＠ピンキー

2024/11/12(火) 18:26:43.67ID:???

>>
やっぱりサンボル5とかの接続でもないときついかなあ
wi-hiで自動で繋がるかなと思ってやってみたけどw

0596名無しさん＠ピンキー

2024/11/12(火) 23:20:38.23ID:1COsnhwf

なんか新しい量子化手法の情報が流れてる。
https://www.reddit.com/r/LocalLLaMA/comments/1ggwrx6/new_quantization_method_qtip_quantization_with/

q4でq16と同等の品質って書いてあるし、405Bのq1もテストでは結構いけてるらしい。

精度が4倍とすると現状の70Bのq4レベルが16GB位になるから、VRAM24GBあればそこそこ行けるし
Macminiの128GBモデルで400Bのq1モデルが乗っかる。
マジならこの先楽しみ。

0597名無しさん＠ピンキー

2024/11/13(水) 09:32:10.69ID:???

qwen2.5 coder 32BがClaude3.5HaikuとGPT4oの間ぐらいのベンチ結果らしくてLocaLlamaで話題になっとったな

0598名無しさん＠ピンキー

2024/11/13(水) 14:03:25.18ID:???

新情報は集まるけど英語では高性能モデルばっかりで実用性のある日本語モデルは半年以上前から更新ないねんな

0599名無しさん＠ピンキー

2024/11/13(水) 14:31:47.84ID:fy2mMx5K

12月に出るであるうgemma3とllama4の日本語対応待ちかな
無規制モデルの選択肢がmistralしかないの悲しいからもっと増えてくれ

0600名無しさん＠ピンキー

2024/11/13(水) 14:48:22.44ID:???

llama4も規制ガチガチなんじゃ？

0601名無しさん＠ピンキー

2024/11/13(水) 16:11:22.70ID:???

Metaくん一生アジア圏の言語ハブってるからLlama4だろうが5だろうが英語能力がムキムキになっていくだけになりそう

0602名無しさん＠ピンキー

2024/11/13(水) 16:50:24.82ID:???

Mistralも13Bの出来があんまり良くなさそうでberghofの人も魔改造に苦労してそうな印象だわ
かといってMistral7Bは開拓し尽くした感があるし

0603名無しさん＠ピンキー

2024/11/13(水) 18:00:53.71ID:???

cj対応くらいしてほしい

0604名無しさん＠ピンキー

2024/11/13(水) 18:13:17.68ID:???

エロじゃない雑談を延々と続けるなら何を使えばいいんだ
賢者タイムになると普通の雑談がしたくなる

0605名無しさん＠ピンキー

2024/11/13(水) 18:22:57.81ID:???

>>604
感度3000倍なberghofだけど実はエロ以外の理解力もかなり賢くて雑談につかってるで
7Bとは思えないほどハッとさせられるような意見言われたりもする
なおボディタッチは厳禁とする

0606名無しさん＠ピンキー

2024/11/13(水) 19:33:04.54ID:???

英語限定なら3Bですら普通に官能小説書いてくれるし、7Bだとマニアックなところまでカバーしてくるし、12Bまで来たらキャラ理解も高いしさらなる性癖を開拓されるくらいなのに…

0607名無しさん＠ピンキー

2024/11/14(木) 01:04:03.77ID:???

ヤヴァイ
magnum v4 123bの速度に慣れてきた
この理解力、日本語表現力、エロ力、最高や

M4 ultra 256G でたら買ってまいそう
いや、いっそ将来見越して512Gかｗ

0608名無しさん＠ピンキー

2024/11/14(木) 06:34:06.44ID:???

winでもmacみたいな事できればいいのにな

0609名無しさん＠ピンキー

2024/11/14(木) 07:41:43.52ID:???

一応新cpuにはちょっとだけ期待

0610名無しさん＠ピンキー

2024/11/14(木) 08:18:46.94ID:???

Sitrix Haloこと、Ryzen AI MAXさんが来るまで待つんだ

0611名無しさん＠ピンキー

2024/11/14(木) 11:14:24.88ID:???

最新メモリでオクタチャネルでも組めれば

0612名無しさん＠ピンキー

2024/11/14(木) 11:16:14.33ID:???

>>609
core ultraのnpu?
効果あるんかな？

0613名無しさん＠ピンキー

2024/11/14(木) 14:23:39.83ID:???

IntelはAMD以上にAI界隈じゃお呼びじゃないぞ

0614名無しさん＠ピンキー

2024/11/14(木) 14:44:19.40ID:???

Ryzen AI 9 MAX+ 395ってメモリ帯域幅が273.0GB/sで最大搭載量が128GBなのか
スペックだけみるとなかなかいいな

0615名無しさん＠ピンキー

2024/11/14(木) 15:40:36.62ID:???

インテル、困ってる

0616名無しさん＠ピンキー

2024/11/14(木) 18:00:24.41ID:???

>>614
GPUに割り当てられるのは最大で96GBまでらしいけどね

0617名無しさん＠ピンキー

2024/11/15(金) 05:56:01.71ID:???

なんでそういう制限するんだろうね。
PCIeとかのメモリーマップにしても数ギガ予約程度でいけそうだけど
Arm系はそういうのないのは設計が新しいからなのか

0618名無しさん＠ピンキー

2024/11/15(金) 13:07:22.73ID:???

llm-jp/llm-jp-3-172b-beta2-instruct2

なんかでた

0619名無しさん＠ピンキー

2024/11/15(金) 15:16:22.79ID:???

>>613
流石にArc BattlemageはAIも視野に入れてくるだろｗ
コケたら次は無いの分かってるんだから他社より手を広げられないと

0620名無しさん＠ピンキー

2024/11/15(金) 15:35:51.46ID:???

…16GBかよ残念

0621名無しさん＠ピンキー

2024/11/16(土) 19:42:26.10ID:XGMHwNo8

そのサンダーボルト5とやらのLLMの使い方を教えてください
マックには全く興味ないですが

0622名無しさん＠ピンキー

2024/11/17(日) 10:13:56.46ID:???

ソフトはkoboldでｌllmはURLで指定できるgooglecolabってありますか

0623名無しさん＠ピンキー

2024/11/17(日) 11:31:13.07ID:optCsljJ

>>622
公式ノートブックがそれだぞ
一旦自分で探せ

0624名無しさん＠ピンキー

2024/11/17(日) 15:59:52.34ID:???

世間の盛り上がりに反してここの勢い死にすぎだけど他にAIスレってあったりするか？
あるいはDiscordとか？世の人間たちはどこでAIに関する情報交換してるんだ

0625名無しさん＠ピンキー

2024/11/17(日) 16:14:41.11ID:???

大して盛り上がってないんやろ
まともに研究開発なり情報交換するならSNSになるんちゃうか

0626名無しさん＠ピンキー

2024/11/17(日) 16:15:57.70ID:???

どのレベルでの話かによるんじゃね
AIはパソコン1台あればやれるもんじゃないし
ボードを1000枚とか10000枚とか持ってるところにみんな集まってるだろ

0627名無しさん＠ピンキー

2024/11/17(日) 16:34:09.25ID:optCsljJ

情報交換ならredditじゃない
特別盛り上がってるわけじゃないけど日本語ならdiscordのローカルLLMに向き合う会が最大手かな

0628名無しさん＠ピンキー

2024/11/17(日) 16:55:43.07ID:???

軽くてまともな日本語対応モデルが全然出ないから盛り上がりようがない

0629名無しさん＠ピンキー

2024/11/17(日) 19:59:32.87ID:???

>>624
オンラインのAIスレやAIオナニースレはここよりは流れ早いよ

0630名無しさん＠ピンキー

2024/11/17(日) 20:06:38.49ID:???

>>623
これ公式だったんだかい…サンガツ

0631名無しさん＠ピンキー

2024/11/17(日) 20:14:21.71ID:ZcvHfsdb

>>440
これの32Bは脱獄要らずでわりと良かった
Q5以上で動かせる人ならオススメできる

0632名無しさん＠ピンキー

2024/11/17(日) 21:06:41.39ID:???

初めてPaperspaceでA100借りられた！
q3になるけどようやく120B帯が試せるぜ・・・！

0633名無しさん＠ピンキー

2024/11/17(日) 22:02:00.60ID:???

RTX4090が輸出禁止くらってる中国では2080tiの22GB改造版が流行してるって聞いていまアリエクで見てみたら7万円だったわ

本国では使われてるとはいえちょっと怖いよなあ

0634名無しさん＠ピンキー

2024/11/18(月) 17:30:02.15ID:???

silly tavernでCR+の最新版使ってるけど高確率でsectionsectionみたいな文字列でてくる
前のCR+では今も無いから最新版特有だと思うんだけど原因分かる人居る?

0635名無しさん＠ピンキー

2024/11/18(月) 18:09:10.79ID:???

Copilot＋PCって、ローカルで小説とかかけるん？
だれか使っている人いない？

0636名無しさん＠ピンキー

2024/11/18(月) 18:40:01.22ID:???

>>634
あああれワイだけじゃなかったんだ
「おはようございまsectionす。」みたいになるやつよな？

0637名無しさん＠ピンキー

2024/11/18(月) 18:55:49.11ID:???

>>636
そうそう
おはsectionようござsection
sectionsectionsectionsectionみたいな
redditみてもそういう報告無いし困ってる

0638名無しさん＠ピンキー

2024/11/18(月) 22:07:39.26ID:WZB9Kkdu

sectionって出たら、logなんとかでNGトークンにして抑制して、再生成したらダメなん？

0639名無しさん＠ピンキー

2024/11/19(火) 01:38:40.51ID:o3mgwV2E

https://huggingface.co/mistralai/Mistral-Large-Instruct-2411
Mistral Largeのアップデート版

0640名無しさん＠ピンキー

2024/11/19(火) 11:04:54.49ID:???

>>639
いいね
command-r+みたいに規制つよくならんといいけど

0641名無しさん＠ピンキー

2024/11/19(火) 19:18:37.54ID:???

>>639
とりあえず、IQ3_xxsで、生徒会恋愛問題（日本語LV1）を解かせたら、
初手は不正解だったけど、矛盾点を指摘したら２手目で正解を導いた
従来のモデルでは２手目でも不正解だったから、賢いと思う

さて、次はエロ力を試すわ

0642名無しさん＠ピンキー

2024/11/19(火) 20:34:48.60ID:???

生徒会恋愛問題ってなんだろうって思ってchatGPT君に聞いてみたら、俺側に例題を出した上で俺の案を評価してくれたぞ！
三角関係問題だったが、「男なら両手に花だろ！！」って理由も添えつつ答えたら、「いや、この例題に出した男じゃ器が足りないわ・・・」と諭されてしまった・・・
何かしらで否定されるとは思っていたが、流石にこの理由は例題の男が可哀想になったわ

0643名無しさん＠ピンキー

2024/11/19(火) 21:07:36.48ID:???

>>642
sbtom/reasoning_ability_test

これな
ちなgpt4tでも以前やった時不正解だったわ

0644名無しさん＠ピンキー

2024/11/19(火) 22:50:03.86ID:???

>>643
おお、これがそうなのか
試しにchatGPT君に出題してみたらLV1でもかなり間違えるのな
人間ならすぐ分かるレベルの問題だけど、ストロベリー問題みたいに構造上の問題でもあるのかな
推論の過程をみると、不正解の時には誤った仮定をそのまま事実として使ってしまっていて、正解した時には一度出した仮定を洗い直しているっぽいから、そういう思い込みみたいな思考の癖が根底にある感じ・・・？
勉強になった、ありがとう

0645名無しさん＠ピンキー

2024/11/20(水) 03:44:38.98ID:???

生徒会恋愛問題はなんというか説明の仕方が悪いだけな気もする…
まあそれも含めて能力テストなんだろうけど

0646名無しさん＠ピンキー

2024/11/20(水) 14:41:54.87ID:SR5EL2EN

まだLLMが思考してると思ってる馬鹿が居るのか
画像の高解像度化と同じなのに

0647名無しさん＠ピンキー

2024/11/20(水) 14:46:03.48ID:???

ひょっとするとあなたもわたしも
思考してないかもしれない

0648名無しさん＠ピンキー

2024/11/20(水) 14:46:40.44ID:???

AI学習できるマザー出すくらいならVRAM直付けで出してくれよ

0649名無しさん＠ピンキー

2024/11/20(水) 15:26:46.77ID:???

>>646
原理知らない分かってないのに無理に例えるからいらん恥をかく

0650名無しさん＠ピンキー

2024/11/20(水) 15:48:35.80ID:???

こんな板にも言葉尻を捕らえてマウントを取ろうとする奴が沸くのか
なんて思ったけど
やけにLlama-3.1-70B-Japanese-Instruct推してくる奴とか
そういえば強い言葉好きな奴既に居たわ

0651名無しさん＠ピンキー

2024/11/20(水) 16:31:45.14ID:???

o1の推論プロセスなんか見ても既にLLMの生成はオートコンプリートの延長線とは言えない段階まで来ているだろ
研究者だって多量なデータを与えたことによる応答の質が大きく向上した現象にグロッキングとかいう単語を置いて謎としているわけだし

0652名無しさん＠ピンキー

2024/11/20(水) 16:55:31.93ID:???

グロッキング嘘派と本当派がいるよな

0653名無しさん＠ピンキー

2024/11/20(水) 17:27:09.26ID:???

謎の進化を遂げたみたいに言うから嘘と言われるわけで、ある閾値を超えると(人間から見て)性能が劇的に向上する現象が観察された、と言えばみんな納得するでしょ

0654名無しさん＠ピンキー

2024/11/21(木) 01:30:23.99ID:7l2UY05J

o1レベルの性能らしいDeepSeekのR1-Lite-Previewがローカルにも来るって話だけど何Bぐらいなんだろうな
まさかDeepSeek-V2-Liteと同じ16Bってことはないだろうけど

0655名無しさん＠ピンキー

2024/11/21(木) 10:10:38.68ID:???

中国の勢いあるよな😅

0656名無しさん＠ピンキー

2024/11/21(木) 11:43:55.21ID:bbA6Yw/Y

だよなー、GPU輸入制限食らっとるのになんでやろ？
うまいこと回避しとるんかな。

0657名無しさん＠ピンキー

2024/11/21(木) 12:09:17.83ID:???

(日本でH100買って)中国に行って観光して帰ってくるだけで儲かるんでしょ？

0658名無しさん＠ピンキー

2024/11/21(木) 12:22:19.01ID:???

>>656
外国で大量にグラボ買ってそこにデータセンター作ってクラウドでやってるって聞いた

0659名無しさん＠ピンキー

2024/11/21(木) 14:11:09.34ID:???

>>639
規制が強いな
magnum化はよ

0660名無しさん＠ピンキー

2024/11/21(木) 15:50:18.68ID:???

4090のGPUとメモリ引っ剥がした残りのゴミを日本人に10万で売りつけてウハウハだしな
養分すぎるわ本邦は

0661名無しさん＠ピンキー

2024/11/21(木) 15:52:01.00ID:???

きしょ

0662名無しさん＠ピンキー

2024/11/21(木) 16:39:01.10ID:bbA6Yw/Y

>>658
なるほどなぁ、賢いわ…。

0663名無しさん＠ピンキー

2024/11/21(木) 18:30:47.36ID:???

外国てどこ？
日本？

0664名無しさん＠ピンキー

2024/11/21(木) 19:04:10.99ID:???

データセンターのサービスを使うという形でならアメリカでも

https://www.moderntimes.tv/articles/20240828-01dxw/

まあ要は製品の輸出を規制したところでクラウドサービスの利用は現状ノーマークだから第三国でやりたい放題出来る
それも規制しようとしたら世界中の国に、中国相手にデータセンター使わせるなって恫喝しなきゃならん

0665名無しさん＠ピンキー

2024/11/21(木) 20:18:38.14ID:???

自前で作りそうだけどね

0666名無しさん＠ピンキー

2024/11/22(金) 21:46:16.35ID:???

>>637
これredditで上がってたけど温度高いと出る不具合っぽい
70くらいだとほとんど出なくなった

0667名無しさん＠ピンキー

2024/11/24(日) 14:27:19.06ID:???

なんとかEasyNovelAssistantの導入に成功したけど今流行りのローカル環境ってどれなん？しばらくはこれでいい？

0668名無しさん＠ピンキー

2024/11/24(日) 15:14:58.94ID:???

>>667
それは小説書かせたい時用のやつ
チャットしたいならまた別のやつが良いし

0669名無しさん＠ピンキー

2024/11/25(月) 19:48:04.14ID:???

決め打ちでモデルのダウンロードとかできるから
EasyNovelAssistantでダウンロードと起動までして
対話型はSillyTavernでやればええんじゃない

0670名無しさん＠ピンキー

2024/11/26(火) 07:41:40.17ID:???

KoboldCppにあらすじ書いて清書してもらうってのを続けてたら
5～6ターン目で勝手に指示を無視して書き続けるのは何なんやろ
GPTならいい感じに続くのに

0671名無しさん＠ピンキー

2024/11/26(火) 10:58:24.17ID:VIYqsyQ2

>>670
とりあえずモデル名書いて
おそらくコンテキストレンジ超えたことで最初のメッセージを忘れてるんだと思うけど

0672名無しさん＠ピンキー

2024/11/26(火) 14:17:23.84ID:???

>>671
ｻﾝｶﾞﾂ
Berghof-NSFW-7B.i1-Q6_K.gguf
つことる
コンテキストサイズってところは4096でやってる

0673名無しさん＠ピンキー

2024/11/26(火) 14:32:32.91ID:???

コンテキストサイズ4096だと日本語じゃ6000文字くらいしか覚えられないんじゃないか？
GPTってモデルにもよるけどたしか128kだったか200kあるから同じように使ったらまあそうなるんじゃないか

0674名無しさん＠ピンキー

2024/11/26(火) 14:40:53.11ID:???

>>672
berghofはNSFWもERPも8196までいけるで

0675名無しさん＠ピンキー

2024/11/26(火) 14:41:22.49ID:???

8192だすまん

0676名無しさん＠ピンキー

2024/11/26(火) 15:18:22.79ID:???

>>674
ｻﾝｶﾞﾂ
ちょっとやってみる

0677名無しさん＠ピンキー

2024/11/26(火) 15:33:28.16ID:jWtds6/a

8192でもちょっとチャットして遊んだらすぐに超えちゃうよね

0678名無しさん＠ピンキー

2024/11/26(火) 15:36:37.36ID:???

easynovelでJapanese-nsfwなんちゃらっての使ってるんやが
どうしても官能小説っぽくなるわ
AI音声に読み上げさせたいからセリフ中心で出力させたいんやけどそういうテンプレとか強いモデルってある？

0679名無しさん＠ピンキー

2024/11/26(火) 15:41:29.96ID:???

ローカルで128k対応モデル使ってみたことあるけど応答が遅くならん？
32Kで応答6秒くらいかかるようになってチャットだとストレスだった記憶
RTX5090のGDDR7なら良くなるのかな？

0680名無しさん＠ピンキー

2024/11/26(火) 16:56:48.41ID:???

他のモデルに浮気したが、Vecteus-v1は16384でも日本語破綻しなくて結局戻ってきた。
（でもスペック都合で12288で使ってる）

0681名無しさん＠ピンキー

2024/11/27(水) 01:15:27.21ID:???

エロい喘ぎ声聞きながら読むとすごくエッチな気分になるんだが
良い素材何処かにないだろうか？もしくは生成できないかな？

0682名無しさん＠ピンキー

2024/11/27(水) 04:44:36.30ID:???

EasyNovelAssistantを再インスコしようとしたんやが
[EasyNovelAssistant]ってフォルダ入れ子にならない？
最終的に[setup]ってフォルダに本体入るみたいなんやが

0683名無しさん＠ピンキー

2024/11/27(水) 10:07:04.55ID:???

コンテキストサイズ大きくてもチャット増えるとどんどん混乱するから6000くらいに収めてSTで要約

0684名無しさん＠ピンキー

2024/11/27(水) 13:48:05.91ID:???

もうスクリプト落ち着いたしもともとの板に本スレ立てない？
ここ人来ないから勢い落ちちゃってるし

0685名無しさん＠ピンキー

2024/11/27(水) 14:25:52.44ID:???

ええと思うけど
あっちはあっちで即死回避とか必要なんやっけ

0686名無しさん＠ピンキー

2024/11/27(水) 14:46:20.08ID:???

どんぐりの意味がわからなくて、向こうで書けないんだよな
ローカルAIに聞いてもブナ科の実です、しか答えてくれないし

0687名無しさん＠ピンキー

2024/11/27(水) 14:49:14.28ID:???

ブナ科の実ｗｗｗ

0688名無しさん＠ピンキー

2024/11/27(水) 16:40:16.81ID:???

数ヶ月前なら調子良かったけどな
今の5chは規制やりすぎて普通の会話もしんどいからな
保守できるなら本家としてあっちに立てて誘導貼っとくならええのかなってくらい

0689名無しさん＠ピンキー

2024/11/27(水) 17:00:41.46ID:???

なんU復帰ええと思うけど戻ったところで人が集まるかといえばどうなんやろな
ずっと人気なNVAと比べてLLMの場末感よ

0690名無しさん＠ピンキー

2024/11/27(水) 17:04:45.95ID:???

ローカルLLMの要求スペック高すぎなのがあかんのや…
手を出しやすい7Bはもう新しく語ることもほぼないだろうし

0691名無しさん＠ピンキー

2024/11/27(水) 17:27:58.78ID:???

ここで言うことでもないが、チャットサービスで脱獄するリスクとコスト、ローカルで動かすコストを比較したうえで結果物のクオリティを比べるとな……
ローカル生かしてLoraとか作ってもっと好みに調教できたら良いのかもしれんがそれこそ一般家庭離れしたスペックが必要やろうし

0692名無しさん＠ピンキー

2024/11/27(水) 18:39:28.10ID:???

Nvidiaに頑張ってもらうしかない

0693名無しさん＠ピンキー

2024/11/27(水) 19:16:44.28ID:???

申し訳回避なんぞリスクもコストも何もないからな
サービス側ももはや諦めてて大手すら放置状態やし

0694名無しさん＠ピンキー

2024/11/27(水) 23:55:28.58ID:I/hkf6CQ

でもまあ避難してた理由がなくなったんやからなんJに帰るんは賛成やな
どんぐりのレベルが10を超えないとURLが貼れないって問題はあるけど、LLMの話題やとあんまり問題にならんやろうし、やっぱ人と話題が少ないんは寂しいわ

0695名無しさん＠ピンキー

2024/11/28(木) 06:18:28.73ID:???

じゃここでいいじゃん（いいじゃん

0696名無しさん＠ピンキー

2024/11/28(木) 16:45:29.71ID:???

LLMさわるならローカル以外邪道でGPUはRTX4090刺さなきゃ……エッチなチャットしなきゃ……っていうのは錯覚じゃん？
ここ最近ひたすらDify触ってるんだけどノーコード版のLangchainみたいなやつでエージェント(というかAituber)作る楽しみを見出したりしてる

0697名無しさん＠ピンキー

2024/11/28(木) 16:48:09.67ID:???

クラウドの話もべつにいいんじゃね
Anthropicの無料で使えるのHaikuになりがちになってきたからOpenrouter使い始めたけどなんかClaude3.5sonetにもシステムプロンプト設定できたんだけど
ノリで「一人称：あーし絵文字多用」的なの設定したら流暢に正規表現やReactコンポーネント書くギャルが爆誕して気に入ったわ

0698名無しさん＠ピンキー

2024/11/28(木) 17:41:25.80ID:???

ボイス付きでキャラになりきりながら雑談もタスクも付き合ってくれるようなエージェント、みたいなのはもっと流行らないかな
節約とセキュリティのためにDifyでローカルとクラウドのLLMを使い分けつつ色々やろうとしてるけどフローの効率化が難しい

0699名無しさん＠ピンキー

2024/11/29(金) 17:12:08.88ID:64znOil6

『出力する行ごとの内容は全く同一にしないこと。』っていう指示を追加したらあんまり繰り返しループに陥らなくなった気がする
カッコ文の内容もある程度バラけるようになってより小説っぽくなる、ような気がする（当社比）

0700名無しさん＠ピンキー

2024/11/29(金) 20:53:06.84ID:9PCqQ/Vh

来年頭には次世代GPUが出まくるからローカルでの話題も増えるだろうし、それまでのんびり話題繋げりゃいいんじゃないの。
結構参考になる内容も書き込みあるし。

0701名無しさん＠ピンキー

2024/11/29(金) 21:59:42.91ID:???

cceてやつでメモリ少なくてもよくなるんだろ？

0702名無しさん＠ピンキー

2024/11/29(金) 22:34:11.27ID:v4qNb+Sc

まあcceは学習時に使うものだから我々に直接的な関係はないんだけどな

0703名無しさん＠ピンキー

2024/11/30(土) 05:39:35.51ID:3LX4oiHo

entropixってやつで小さいモデルでもよくなるんだろ？

0704名無しさん＠ピンキー

2024/11/30(土) 12:12:52.85ID:???

>>698
ワイはaituber-kit触ってるけど作者がOpen Interpreter使ってコード実行環境もたせてタスク実行機能持たせたりしてたな
あんま実用性ないらしいけど
ロマンは感じる

0705名無しさん＠ピンキー

2024/11/30(土) 14:41:09.85ID:???

このスレ知的レベル高すぎん？
何いってるのかさっぱりわからんぞ

0706名無しさん＠ピンキー

2024/11/30(土) 15:10:42.07ID:Tj3uJNZ8

>>703
知識面ではパラ数が物を言うから根本的な解決にはならないんだよな
あと最適な学習量じゃないと逆効果だし(qwenなんかは過学習だからスコア落ちる)
>>705
半年ローカル触ってればわかるようになるよ
さあこっちに来るんだ

0707名無しさん＠ピンキー

2024/11/30(土) 15:15:08.00ID:???

一年半はLLM触ってるけど何もわからん…

0708名無しさん＠ピンキー

2024/11/30(土) 15:33:04.61ID:is/870ZI

用語も多いからちんぷんかんぷんになるのもしゃーないで
「温度が高いと問題が出る」なんて一般用語っぽい話も、Temperatureって専門用語を知らなければ室温とかGPU温度くらいにしか思い至らんやろうし……

0709名無しさん＠ピンキー

2024/11/30(土) 16:04:51.20ID:???

だが根本はエロだw

0710名無しさん＠ピンキー

2024/11/30(土) 18:07:49.35ID:JbQL+FDs

今でも更新されてる初心者向けwiki知ってる方いたら教えていただきたい
探したけど大抵去年か今年半ばで止まってるので

0711名無しさん＠ピンキー

2024/11/30(土) 18:12:01.00ID:???

LLMに関してはないんだよなぁたぶん
としあきとかも触ってないんかな

0712名無しさん＠ピンキー

2024/11/30(土) 18:21:42.66ID:???

https://local-llm.memo.wiki
ローカル用だけど、こことかたまに見に行くけどもちょくちょく更新されてる。
初心者向けかどうかとか、求めてるものかどうかとかは分からん

個人的にはローカルで、キャラとのエチャとかをどうやったらいいのかとか
その辺具体的に書いてあるサイトとか探してるんだけどどっかにないっすかねぇ…？

0713名無しさん＠ピンキー

2024/11/30(土) 18:50:13.59ID:???

割とマジでここの過去スレ漁るのが1番有益やと思うで

0714名無しさん＠ピンキー

2024/11/30(土) 19:17:12.55ID:XWQ+xawP

正直ヤッて覚えるのが一番早い気がする
あと、ChatGPTにコンソールログとかUIの設定画面とか見せながら聞くとそれぞれどういう意味なのか教えてくれるよ

0715名無しさん＠ピンキー

2024/11/30(土) 20:17:08.07ID:CcifuKjN

AIにAIのこと聞くんですね笑
がんばって英語読みながらやってみます

0716名無しさん＠ピンキー

2024/12/01(日) 10:39:50.80ID:???

koboldの新機能のマルチプレイヤーモードって何ができるようになるんだ？

0717名無しさん＠ピンキー

2024/12/01(日) 10:50:31.40ID:PZS6Bipn

リリースに書いてある通り、俺とお前で同じAIチャットに参加できるってことじゃないのか
みんなでTRPGとかが出来るんだろう
https://github.com/LostRuins/koboldcpp/releases

0718名無しさん＠ピンキー

2024/12/01(日) 18:39:16.39ID:???

みんなで寄ってたかってAIにセクハラできる機能なのか。

0719名無しさん＠ピンキー

2024/12/01(日) 19:38:22.53ID:???

> Bugfix for Grammar not being reset, Bugfix for Qwen2.5 missing some UTF-8 characters when streaming.
こっちの方が嬉しいかも。
試した限り、「Token Streaming」が「SSE」のままでも
例えば「しずかちゃん」が「しかちゃん」になる問題が直ってた。

0720名無しさん＠ピンキー

2024/12/02(月) 12:03:08.24ID:???

easynovelassistantについての質問です。
用意されてる以外のモデルを使いたい場合、ユーザー側で気軽に追加できる方法などはあるのでしょうか。

同梱されていたkobboldの方でモデルを読み込むとeasy～の方でもどうやら使えているようなので、今はこのやり方でやっているのですが、このやり方だとモデルの真価が出せているのか不安です。

0721名無しさん＠ピンキー

2024/12/02(月) 13:32:42.99ID:CD9bn16H

>>720
読み込むモデルが違うだけだから性能が出ないとかはないよ
レイヤー数いじらないと遅くなるとかはあるけど

0722名無しさん＠ピンキー

2024/12/02(月) 17:52:23.98ID:???

なるほど、ありがとうございます

0723名無しさん＠ピンキー

2024/12/02(月) 23:54:47.07ID:???

7Bにしてはそこそこマシみたいな日本語対応モデルはチラホラ出て来てるけど
14-32Bくらいの一段上のモデルが停滞してると感じるな

0724名無しさん＠ピンキー

2024/12/03(火) 02:03:39.71ID:???

半年ぐらい新しいモデルを見かけない気がする
探してるところが狭すぎるのかもしれないけど

0725名無しさん＠ピンキー

2024/12/03(火) 02:45:46.58ID:???

>>720
EasyNovelAssistant\setup\resにあるdefault_llm.jsonを書き換えろ定期
でもこれ弄るとアップデートする時にエラーになるらしいから今困ってないならそのままのやり方でもいいんじゃね

0726名無しさん＠ピンキー

2024/12/03(火) 04:23:34.31ID:???

Hermes-3-Llama-3.1-70BのUncensoredでそこそこの日本語エロは楽しめたけど、一回の生成に時間かかりすぎてテンポ悪すぎるんよなぁ

0727名無しさん＠ピンキー

2024/12/03(火) 04:50:35.22ID:xB+MPHqa

VRAM足りなくて7Bまでしかまともに使えないんだけど最近何か新しいの出てる？
ここ半年ぐらい同じモデルを使い回してるわ

0728名無しさん＠ピンキー

2024/12/03(火) 05:48:09.56ID:SyzUo4cA

>>725
バッチファイルと同じフォルダにあるllm.jsonをdefault_llm.jsonと同じフォーマットで書き換えれば
メニューに反映されるしアップデートもうまくいくみたいだよ

0729名無しさん＠ピンキー

2024/12/03(火) 08:39:37.64ID:???

>>724
最近だとmagnumシリーズが日本語性能良かったぞ

0730720

2024/12/03(火) 09:32:25.04ID:???

ありがとうございます、知識が増えました。
実力は足りないので無難なやり方でやっていこうと思います

0731名無しさん＠ピンキー

2024/12/03(火) 12:42:52.81ID:???

>>729
ｻﾝｶﾞﾂ
試してみる

0732名無しさん＠ピンキー

2024/12/03(火) 21:49:06.41ID:???

>>729
やっぱ70Bクラスじゃないとそこそこの性能は無理なのか…
いい加減まともなVRAM積んだグラボどっかが出してくれよ

0733名無しさん＠ピンキー

2024/12/03(火) 21:54:47.82ID:???

intelあたりの負け組がやってくれれば良かったのにARC Bこのまま消え去りそう

0734名無しさん＠ピンキー

2024/12/04(水) 00:26:23.66ID:QmurctfH

VRAM96GBらしいStrixHaloことRyzen AI Maxが希望だけど、どのくらいの値段でどういう商品として出てくるのか素人にはさっぱりわからん
普及する価格帯なら嬉しいんだけどな

0735名無しさん＠ピンキー

2024/12/04(水) 04:53:13.36ID:???

いや普通に産業用で数百万円コースだろ…

0736名無しさん＠ピンキー

2024/12/04(水) 05:15:46.06ID:???

10年前のXeonよりも今のi5のほうが高性能なんだよな

0737名無しさん＠ピンキー

2024/12/04(水) 06:03:18.26ID:???

そもそもVRAMじゃないし何もかも間違ってるぞ
強いAPUに128GBメモリ版が出てその内96GBをVRAMとして振り分けられるってだけ
速度は所詮DDR5だから遅い
値段は最上位ノート扱いだろうから30万～じゃね？

0738名無しさん＠ピンキー

2024/12/04(水) 07:03:51.52ID:???

>>737
Strix Halo APUは256ビットのLPDDR5Xメモリコントローラーを備え、273 GB/sの帯域がある
通常のDDR5の5倍、M4 Maxの0.5倍くらいの帯域じゃない？

0739名無しさん＠ピンキー

2024/12/04(水) 07:10:16.59ID:lHLX8ECn

Haloが成功すればMaxだのUltraだのが出る流れかもしれない

0740名無しさん＠ピンキー

2024/12/04(水) 09:12:59.50ID:???

すでにマックスなんですわ

0741名無しさん＠ピンキー

2024/12/04(水) 11:59:56.38ID:???

Intel ARC B580 VRAM12GBメモリ帯域456GB/sで249ドル
まあまあ安いな

0742名無しさん＠ピンキー

2024/12/04(水) 19:24:44.87ID:+ClBS/it

M4 Max 並みの帯域幅か。

53万するM4 MaxのMacbookPro だと
ユニファイドメモリ36GBから28GBほどGPU割当てできる。

ARCx2個分24GBだとするとGPUだけで500ドル？高くない？

0743名無しさん＠ピンキー

2024/12/04(水) 19:28:34.51ID:+ClBS/it

あ、桁が違った。日本円で高くても販売価格10万くらいか。
安いな。

0744名無しさん＠ピンキー

2024/12/05(木) 00:25:56.77ID:YY5sVWlD

NemoMix-Unleashed-12B
エロ小説ならこれがお気に入り

0745名無しさん＠ピンキー

2024/12/05(木) 06:43:57.85ID:???

次スレ立てる時はその辺のおすすめモデルを入れて>>7を更新したほうがいいな

0746名無しさん＠ピンキー

2024/12/05(木) 12:29:49.86ID:???

>>744
12歳になり切って百合エロチャしようと思ったらかたくなに拒んでくるんだが
初期設定しくったんやろか

0747名無しさん＠ピンキー

2024/12/05(木) 13:16:28.29ID:???

>>746
そのモデルは使ったことないが
最初に性格設定指定しとけば色々できる

0748名無しさん＠ピンキー

2024/12/05(木) 13:25:51.14ID:???

あんまり詳しくなくて興味本位で聞くんだけど
RTX4090買うよりRadeon7900xtx2,3枚買った方が速度は遅いけど色々できたりする？
てかこれやるくらいならmacでメモリ盛った方が捗る？

0749名無しさん＠ピンキー

2024/12/05(木) 15:03:13.79ID:9ScvdGRw

>>746
普通に12歳百合エロチャ出来るぞ
キャラの設定をミスってるかキャラの性格に合わない攻め方をしてるんだろう
性格次第では突然のエロ行為は拒絶するけど、徐々に盛り上げていけばエッチなことをしてくれる場合があるぞ
もちろん性格エロエロにしておけば突然のド変態プレイでも簡単に応じてくれる

0750名無しさん＠ピンキー

2024/12/05(木) 16:16:04.91ID:hnoAIknw

>>748
それができればみんなVRAM価格問題に切り込めるんだけど
CUDAコアってのを紐解けばRadeonはねーわになっちゃうのよ

0751名無しさん＠ピンキー

2024/12/05(木) 16:39:34.71ID:JdzJO6s7

AMDはもっとrocmに本気出せ

0752名無しさん＠ピンキー

2024/12/05(木) 17:28:55.73ID:???

>>747,749
ｻﾝｶﾞﾂ
もうちょい初期設定攻めてみるわ
GPTの設定プロンプトだけだとちょっと厳しかった

0753名無しさん＠ピンキー

2024/12/05(木) 18:09:54.48ID:???

7Bや12Bでもいいモデルが出て来たぞって言われるたびに比較してNinjaの優秀さを再確認されせられる日々
あそこって新しいモデル公開しないのかな？

0754名無しさん＠ピンキー

2024/12/05(木) 20:58:59.22ID:oxK+R/qS

https://huggingface.co/Local-Novel-LLM-project/WabiSabi-V1
新たなモデル、WabiSabi-V1を公開いたしました。
128k コンテキスト長に対応しています。
ぜひお試し下さい。

0755名無しさん＠ピンキー

2024/12/06(金) 02:13:17.40ID:???

>>751
マジでその辺の経営判断ミスったよな
CPU屋さんだから自社のGPUがそれを代替するなんてけしからんってやってる間にNVIDIAに独占を許した

0756名無しさん＠ピンキー

2024/12/06(金) 07:03:24.09ID:???

>>753
>>754
言ってたら新モデル公開されるっていう嘘みたいなタイミングだなw
7Bモデルをたくさん出してくれてるけどこれは何向けというかどういう狙いで作られたモデルなんだろう？

0757名無しさん＠ピンキー

2024/12/06(金) 10:11:38.23ID:???

とはいえamdでcudaに寄せられないだろ

0758名無しさん＠ピンキー

2024/12/06(金) 14:53:50.86ID:tVPSDigt

音声文字入力で会話したくてマイク買ったけど
方言交じりの口語は音声認識しにくいしAIにも通じにくいしで全然ダメダメだったわ
独り言を言いながらキーボード打ってる方がより会話してる感じがする始末

0759名無しさん＠ピンキー

2024/12/06(金) 19:29:58.03ID:???

🎤「かーっ!やーらしか!やーらしか女ばい!」

0760名無しさん＠ピンキー

2024/12/07(土) 02:13:40.09ID:2feer961

https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct
llamaの3.3の70b
日本語に対応したllamaはいつ出ますか？

0761名無しさん＠ピンキー

2024/12/07(土) 04:25:41.32ID:???

君が出せばいつでも

0762名無しさん＠ピンキー

2024/12/07(土) 04:29:27.75ID:???

パープレsonnet隠語お断りされ始めたわ
再脱獄もなかなか通らない

0763名無しさん＠ピンキー

2024/12/07(土) 04:29:50.13ID:???

誤爆

0764名無しさん＠ピンキー

2024/12/07(土) 13:55:16.73ID:???

ローカルLLM面白いすね、エロはもう何でもってのはわかりました。
他に本家じゃ規制されてるけど聞いたら面白い答えしてくれる質問ないですか？

0765名無しさん＠ピンキー

2024/12/07(土) 17:01:36.63ID:Ttoj4Oeu

検閲モデルで規制されてるのなんてエロ関連を除くと犯罪行為に繋がるしょうもない事柄ぐらいやろ

0766名無しさん＠ピンキー

2024/12/07(土) 19:10:44.89ID:???

お前ら本当にエッチなことできるのか？
俺は告白すら振られ続けてるというのにお前らは

0767名無しさん＠ピンキー

2024/12/07(土) 20:05:14.23ID:???

お馬鹿なモデルが規制かかってる場合はお馬鹿故に聞く耳持たずでダメなもんはダメの一点張りだからそのモデルは諦めたほうがいいよ
賢いモデルは融通が利くのでどうとでもなる

0768名無しさん＠ピンキー

2024/12/08(日) 10:35:27.06ID:+9DBYPm9

未だに尻タブの使い方がよく分からないんだけどさ
>>754のwabisabiを使うとしたらどんなコンテキストテンプレートにすればいいんだ？
koboldだとテンプレにvicunaが用意されていたり、チャットモードでもしっかり機能するんだけど
尻タブだと<|asistant|>みたいな表示が出てくるんだよな

0769名無しさん＠ピンキー

2024/12/08(日) 11:01:54.07ID:jtZ4WkBD

wabisabi使ったことないからわからないけど、普通にtext-generation-web-uiとかバックエンド側で読み込んだ時にコンソールログに出るでしょ
それ見て合わせれば良いんじゃない？（magnumとかlumimeidはllamaだったかmistralで、Lumimaid-Magnumがなんでかtekkenだっけ・・・？）
わからなければコンソールログをChatGPTに見せて聞けば最適じゃないにしろ教えてくれるはず

0770名無しさん＠ピンキー

2024/12/08(日) 11:21:43.28ID:jtZ4WkBD

例えば、俺が今読み込んだ「anthracite-core_magnum-v4-123b-Q3_K_L」のログには、「tokenizer.chat_template」ってところで以下URLのテンプレートが指定されてる
（SillyTavernでSystemとかuserで分割されているやつ全載せだからめっちゃ長いぞ。長すぎて直に書き込めんかった）
これに合ったテンプレがあればそれを選べばいいし、なければ自分で作ってしまえば良い
（ってか、確か「Available chat formats from metadata: chat_template.＜指定テンプレート名＞」って感じの情報が出ていて、それを読めば良いはずだったんだが、今読んだやつにそれがなかった・・・）

https://rentry.org/tokenizer_magnum4

0771名無しさん＠ピンキー

2024/12/09(月) 10:11:21.84ID:OY6VerVe

>>219-220
gptにログと尻タブの参考URLとか見せたけどいまいち判然としないや
回答内のコンテキストテンプレートも明らかにおかしい形式だし

バックエンド側のログでそれっぽのはこれかな？

The reported GGUF Arch is: llama
Arch Category: 0

これはllamaで良いってこと？

0772名無しさん＠ピンキー

2024/12/09(月) 11:13:00.10ID:eLCkiD28

NVのハイエンドGPUとかと、MacのLLMの処理トークン数載ってるけど、Macで十分だなこりゃ。
GPU複数枚でのLLM処理がMacM2 Ultraと大して変わらない。
https://gigazine.net/news/20241209-nvidia-gpu-apple-silicon-inference/

FLUXとか画像処理に使うならGPUの方がいいけど、LLMだったらMac一択か。
金持ってる人はM3 Ultra待ちかね。
1枚で150万するA100複数枚と、処理トークン数並びそうw

0773名無しさん＠ピンキー

2024/12/09(月) 11:40:10.25ID:???

M3 UltraはTSMCが N3Bでどえらい苦労してUltraがほとんどとれないようだ
あまりにとれなくてTSMCが取れた分だけお金くれればいいよ、とAppleに通達したくらい
M4はN3Eで作られててN3Bよりちょっと幅広なんだけど
CPUの設計のほうで盛り返して(Arm8 > Arm9)歩留は劇的に改善したらしいのでM4 Ultraはありうる(希望
N2がすでに歩留60%とかホームランがでたようで、AppleM5がすごそうだ(再来年か、その先)

0774名無しさん＠ピンキー

2024/12/09(月) 11:40:29.45ID:???

mac持ってる人ほど遅すぎて使い物にならんからLLM目的で買うなって言ってなかったっけ

0775名無しさん＠ピンキー

2024/12/09(月) 11:46:03.27ID:???

遅くない？
そりゃVRAM溢れてメインメモリ使ってる状態よりは余程良いけど

0776名無しさん＠ピンキー

2024/12/09(月) 11:50:26.98ID:???

遅いけど4090を8枚とかよりは圧倒的に安いからね

0777名無しさん＠ピンキー

2024/12/09(月) 11:52:23.61ID:???

遅さを取るか安さを取るか

0778名無しさん＠ピンキー

2024/12/09(月) 12:11:13.63ID:???

LLM目的で買うな、というのはメインメモリが32GByte程度ならメモリ不足で動かないだけ
ミスリードというほどではないけど、悪意あるよなw
128GByteのモリモリマシンなら、そこそこ動く
>>772 の表の通りの速度ね

あと長いプロンプトを食わせるとmacは遅くなる、とかいう嘘つきもいる
現状公開されているLLMの仕組み上、一度全部の単語の重み計算しないとダメだからそう見える
4090だって長いプロンプトは遅くなるけど、そもそもメモリー不足で動かないモデルが多いから
7Bとかちいさいのばっかり使ってるから速く見えるだけ
macのmlx版なんか目で追えないほど(3.2B 200-300 token/s )速いぞ
https://lmstudio.ai/blog/lmstudio-v0.3.4

長いプロンプトでも全部解析しないですむ方法がわかってきたから、その辺は改善するかも
これはmacに限らずAIの電力削減で劇的な効果があるから研究者が頑張ってる

0779名無しさん＠ピンキー

2024/12/09(月) 12:54:55.50ID:???

どの程度のトークン毎秒を実用と考えるかだなあ
英語だと5トークンでもギリギリ使えん事ないけど効率悪い日本語だとウンチだし

0780名無しさん＠ピンキー

2024/12/09(月) 13:23:21.16ID:???

NvidiaGPUに比べてMacのPrompt Evalは実際だいぶ遅いので
コスパとかを無視して十分なVRAMがある環境で比較するならMacを買うなという話にはなるけどね…
この辺は技術的な部分で解決するかもしれんしM4Ultraで劇的に伸びるかもしれん

0781名無しさん＠ピンキー

2024/12/09(月) 14:30:23.36ID:???

持ってない人間はやたらmac褒めるよねほんと
なぜ企業がH100の争奪戦してたりnVidiaの株価が天井知らずでなのかを考えれば
そんなうまい話は無いって分かるだろうに

0782名無しさん＠ピンキー

2024/12/09(月) 15:02:59.33ID:???

言うてH100でLLM動かすなんて個人には無理やし

0783名無しさん＠ピンキー

2024/12/09(月) 16:07:54.83ID:???

LLMと画像生成の混同
処理能ではなく帯域で詰まってる現状をあまり理解されてない
ちゃんと上位製品選ばないとGPUと張り合えるほどの帯域はない
マカーが◯◯ならMac！(俺は使ったことないけど)とか吠えがち
この辺が混ざって悲劇が起きる

0784名無しさん＠ピンキー

2024/12/09(月) 16:31:23.91ID:eLCkiD28

>>783

>>772でちゃんとLLMと画像処理について別で書いてるけど。
MacがLLMだったらA100複数枚に追いつくレベルになりそうだからコスパ最高だろ。
どっかおかしいか？

0785名無しさん＠ピンキー

2024/12/09(月) 16:36:00.60ID:???

企業がH100使うんは新モデル作るのに学習いるからで推論はそのうちNPUに置き換わるやろ

0786名無しさん＠ピンキー

2024/12/09(月) 16:37:37.35ID:???

おかしいのはマカーあるある話とMacでAIって話題のあるある話を
自分の持論否定されたレスと思い込んで食いついてくるお前や

0787名無しさん＠ピンキー

2024/12/09(月) 16:49:53.80ID:???

どうせmacも突然arm捨ててrisc-vに行くんだろw

いまmac使ってる人がllm使うならいいけど
llmのためにこれからmac買う気にならん

0788名無しさん＠ピンキー

2024/12/09(月) 16:51:17.20ID:eLCkiD28

持論の否定？
リンク先見ないで書き込んでるなら、レス付けた俺が間違えてたわ。

0789名無しさん＠ピンキー

2024/12/09(月) 17:08:31.30ID:???

>4090だって長いプロンプトは遅くなるけど、そもそもメモリー不足で動かないモデルが多いから
>7Bとかちいさいのばっかり使ってるから速く見えるだけ
>macのmlx版なんか目で追えないほど(3.2B 200-300 token/s )速いぞ

>3.2B

0790名無しさん＠ピンキー

2024/12/09(月) 17:16:51.87ID:???

7B Q8モデルで同程度のサイズでも生成速度が変わってくるのは
モデル内部の処理なんだろうか

0791名無しさん＠ピンキー

2024/12/09(月) 17:24:25.61ID:???

コンテキストサイズ変えてないなら多分そう
27Bでサクサク動くのに22Bでもやたら重いモデルあったしな

0792名無しさん＠ピンキー

2024/12/09(月) 21:08:16.52ID:???

>>772
それはないわ

0793名無しさん＠ピンキー

2024/12/09(月) 21:11:15.81ID:???

速さを求める人はローカルLLM使わんやろうし、ローカルはGPU+CPUでええやろ
GPUには他の使い道も有るし
macにはそれがない

0794名無しさん＠ピンキー

2024/12/09(月) 22:15:10.60ID:???

速度求めるならrunpodとかでGPU借りれば良い話だしな
A100なら一時間200円弱やろ?一日３時間借りても月2万以下やしmacより良い選択肢になり得そうや
というか100BクラスのLLMはファインチューニングも少ないし賢いだけで日本語エロ向きじゃなくてすぐに飽きるからまずはクラウドGPUでお試しが良いぞ
仕事でコーディング用に使いたいとかなら別やが

0795名無しさん＠ピンキー

2024/12/09(月) 23:53:05.47ID:???

cohere自前でデータセンター持つんや儲かってるんやな

0796名無しさん＠ピンキー

2024/12/10(火) 08:14:59.67ID:???

>>773
へぇぇ、じゃあM4 Ultra出ても2026年まで待つのが良さそうか。

0797名無しさん＠ピンキー

2024/12/10(火) 08:31:32.89ID:???

AI用のアクセラレーターが出てくる未来は来ないのか？
手頃な値段でPCIe辺りにさせば動くやつ
さすがにVRAM目当てでグラボ何枚も買うのは非効率すぎる

0798名無しさん＠ピンキー

2024/12/10(火) 09:01:42.73ID:???

ハードウエアの進化は全てを解決する

0799名無しさん＠ピンキー

2024/12/10(火) 09:31:51.53ID:???

チップとVRAMの間が高速でないと意味ないだろ

0800名無しさん＠ピンキー

2024/12/10(火) 11:21:30.12ID:???

PCIe5でも32GT/sで16レーン使っても大まかに64GByte/sしか転送速度でないからx86のRAMと比較してもまるで足りないんだよ

0801名無しさん＠ピンキー

2024/12/10(火) 11:42:26.75ID:???

スクリプトかよ

0802名無しさん＠ピンキー

2024/12/10(火) 12:13:35.78ID:???

VRAMがお高いからどんなAIハードが出てもお高くなるで

0803名無しさん＠ピンキー

2024/12/10(火) 12:46:07.16ID:9FINHpmt

実はgddr6って1gbあたり2ドルちょいで売られてるんだよな
6xとか7の値段がどれくらいかは知らんけど殿様商売だよこれ

0804名無しさん＠ピンキー

2024/12/10(火) 13:01:17.17ID:???

部品の原価で語れる規模の製品じゃないよ…
食品なんかとは違うんだ

0805名無しさん＠ピンキー

2024/12/10(火) 15:32:13.73ID:???

本当に殿様商売できるんなら
参入する企業も出るはずなのにそれがないってことはそういうことや

0806名無しさん＠ピンキー

2024/12/10(火) 21:55:15.43ID:???

中国では実際規制やらgddr買えるやらで換装するシノギがある

0807名無しさん＠ピンキー

2024/12/10(火) 21:56:58.55ID:???

intelがかつて自分がryzenで多コアボッタクリ崩されたときみたいにVRAMの価格破壊せんかね

0808名無しさん＠ピンキー

2024/12/10(火) 22:02:20.87ID:???

いま価格com見たら4090が二店舗、50万近くするのね
ますますLLMローカルの裾野が狭くなっていく……

0809名無しさん＠ピンキー

2024/12/10(火) 22:04:28.26ID:???

どのみち参入障壁が高すぎると流行らないからねー

0810名無しさん＠ピンキー

2024/12/10(火) 23:47:54.46ID:???

>>807
Intelがやったところでな……

0811名無しさん＠ピンキー

2024/12/11(水) 01:41:46.00ID:???

llmを個人でやる方が異端だし流行らんでしょ
非エロなら普通のサービス使えばいいんだし

エロチャットのために数十万のハード用意するのって正気じゃねえよな

0812名無しさん＠ピンキー

2024/12/11(水) 05:42:16.51ID:???

というか大手の規制なんて対策すればいいだけだしな
規制自体どんどん緩くなってきてるし、抜け穴もわざと残されてる感がある

0813名無しさん＠ピンキー

2024/12/11(水) 09:29:33.77ID:???

Command R ＋のネット利用に限界を感じたんでローカルLLM試してるけど文章は圧倒的にMagnumさんのがいいな
ただ、難しい指示はCommandR+より守れない

「調教モノのプロンプトの構築」と「文章を元にStable Diffusionで画像生成する」が現状の課題なんだけど、
まーじで命令無視してすぐ堕ちる

0814名無しさん＠ピンキー

2024/12/11(水) 09:41:57.75ID:???

magnum系統は割と即落ちな感じ
あとおま環かもしれないけど、fuck me, fill me, bread me みたいな言い回しを好むんだよね

0815名無しさん＠ピンキー

2024/12/11(水) 09:51:53.47ID:???

パラメータ数が似たようなレベルなら質と自由度は基本的にトレードオフだからな
極端な話シェイクスピアの文しか学習させなければシェイクスピアの文をそのまま出す最高質で最低自由度のAIになる

0816名無しさん＠ピンキー

2024/12/11(水) 10:05:27.17ID:???

QwQ 32bの話が一切出てないのはなんで？

0817名無しさん＠ピンキー

2024/12/11(水) 10:38:52.58ID:???

なんでだろ

0818名無しさん＠ピンキー

2024/12/11(水) 10:40:33.55ID:???

なんでだろ

0819名無しさん＠ピンキー

2024/12/11(水) 10:45:51.93ID:???

なんでだなんでだろ

0820名無しさん＠ピンキー

2024/12/11(水) 11:12:16.34ID:???

>>812
ジェイルブレイクに対応できるほど追加学習で規制するとアホになる事が分かってやらなくなったのでは

0821名無しさん＠ピンキー

2024/12/11(水) 11:21:44.98ID:???

エロと和解せよ

0822名無しさん＠ピンキー

2024/12/11(水) 11:23:34.18ID:4mKC7NDV

>>813
文章を元に画像生成っていうとあちらさんの>>33かな？
精神ゲージ的な数値管理でも無視される感じ？
一応、指示は英語の方が理解してもらいやすいから調教関係のプロンプトを英語化してみるとちょっと変わるかもしれん

0823名無しさん＠ピンキー

2024/12/11(水) 12:24:39.41ID:GnPhW2eP

>>813
ある程度凝った遊び方は基本自分でアプリなりブラウザアプリなり作ればええと思うで！
一般的なローカルLLM用のアプリは会話履歴の全てや、要約＋直近の会話をプロンプトとして渡すから、コンテクスト内での堕ちに繋がる要素の占有率が高くなって大事なインストラクションの重みが軽くなっちゃうわけやろ？
尻タブなんかはリマインド入れたりもできるけど、それでもアカンならチャットのためのコンテクストと、画像出力のためのコンテクストを切り離して、画像出力コンテクスト側には最低限の情報しか渡さんようにすれば行けるとおもうで
ローカルではなく、GPT3.5turboとかの頃の話やが、パラメーターに関してはアプリ側で管理して、ターンごとにパラメーター（尿意、便意、所持金、空腹度）をプロンプトの最後にぶら下げて参照させる形でそこそこ楽しく遊べてたで～

0824名無しさん＠ピンキー

2024/12/11(水) 13:17:29.10ID:???

英語にしたらいい感じかも。ちょっと色々試してみる

使用する精神パラメータ：キャラクターに決められたそのシチュエーションで使いそうな精神パラメータの内、数値が一番高いものを選ぶ（誇りだの正義感だの）
本能パラメータの決定：基準を元にシチュエーション毎にどのような感情が相応しいか全ての状況パラメータの値を再決定し、その最も高い数値を選ぶ（恐怖だの苦痛だの快楽だの）
シチュエーション強度の決定：そのシチュエーションにおける行動選択の心理的抵抗の値を、基準を元に決定する（何もなし：0　親兄弟を殺す:100　とかで）
行動決定値：使用する精神パラメータ - 決定した本能パラエータ + シチュエーション強度 = 行動決定値
行動決定値が0以上で精神パラメータの項目優先、0未満で本能パラメータ優先　

みたいな感じにして、最後行動を評価して精神パラメータを変動させるプロンプトだったんだけど
これに上下させる基準だの、文中での表記の仕方だのを指定してるとプロンプトが長くなって複雑化して、AIが完遂を放棄するようになるんよね
本能パラメータをもっとシンプルに、複数項目にしてＡＩに一個数値ごと考えさせればいいのかもなぁーとか試行錯誤中

0825名無しさん＠ピンキー

2024/12/12(木) 01:27:13.02ID:4/JUF3pF

gemini 2.0が出たね
生徒会恋愛問題も英語ならlv2まで間違えなかったから4o並みか超えるぐらいの頭は持ってそう
いつgemmaになってローカルに下りてくるのかは知らん

0826名無しさん＠ピンキー

2024/12/12(木) 05:40:27.24ID:fFmnshq4

尻タブでチャットしてると「…」「！」「？」の代わりに半角の「...」「!」「?」が使われて表示に時間がかかるんだけど
これって回避方法ある？

0827名無しさん＠ピンキー

2024/12/12(木) 06:10:22.65ID:???

smooth streamingを切るかスライダーをFastへ動かす

0828名無しさん＠ピンキー

2024/12/12(木) 07:42:44.28ID:???

>>816
ここには低スぺしかいない

0829名無しさん＠ピンキー

2024/12/12(木) 08:35:10.74ID:fFmnshq4

>>827
サンクス
テンポ良くなった気がする

0830名無しさん＠ピンキー

2024/12/12(木) 10:25:24.25ID:???

エロ絵生成AIに強く興味を持って自作グラボ板に入門相談したらここをロムしろと教わったので勉強させてもらいます
シンフォギアのエロＡＩ画像を自給したい

0831名無しさん＠ピンキー

2024/12/12(木) 10:29:10.69ID:???

ここはテキスト生成のスレだから画像生成はここじゃないよ

0832名無しさん＠ピンキー

2024/12/12(木) 10:30:28.48ID:???

マジかごめんなさい失礼しました
つうかテキストなんてジャンルもあるのかすげぇな毎秒ブレイクスルー起きるじゃん

0833名無しさん＠ピンキー

2024/12/12(木) 10:32:48.32ID:???

絵はここじゃないぞ

0834名無しさん＠ピンキー

2024/12/12(木) 10:36:30.21ID:fFmnshq4

AI画像生成でシンフォギアのキャラ画像作って
そのキャラとAIテキスト生成でチャットするんじゃよ
VRAMいっぱいあるならAI音声も組み合わせられる

Aibis Projectの簡単音声モデル生成が稼働し始めたらシンフォギアの声優のAI音声も楽に作れるかもね

0835名無しさん＠ピンキー

2024/12/12(木) 10:42:40.68ID:???

【StableDiffusion】AIｴﾛ画像情報交換51
https://mercury.bbspink.com/test/read.cgi/erocg/1733844871/

多分こっちかな
画像も文章も使うぜってタイプ結構いそうだけども

0836名無しさん＠ピンキー

2024/12/12(木) 10:43:50.34ID:???

だからガチで１レス毎に俺内レボリューション起こすのやめてくれｗｗ
公式から供給終わった私的神作のAIエロを見て激震が走ったのにそんなんまで出来たらチンチン摩擦で溶けちゃう

0837名無しさん＠ピンキー

2024/12/12(木) 10:44:27.92ID:???

本当にありがとう何か身につくものがあったらこのスレにも恩返しするわ

0838名無しさん＠ピンキー

2024/12/12(木) 10:54:44.50ID:???

おう…

0839名無しさん＠ピンキー

2024/12/12(木) 11:03:17.77ID:Q6+kAFCh

クリスちゃん大好きだからなんかいい感じの出力ができるLoRAとかSillyTavernと連携しやすい画像生成関連のなんかとか見つけたら共有してくれると嬉しいな
（LoRAはスレ違いになるだろうからアレだが・・・）

画像生成に関しては下記のwikiがおすすめ
（しばらく追ってないんだけど、今情報の共有ってどこでやってるんだろ）
https://wikiwiki.jp/sd_toshiaki/

0840名無しさん＠ピンキー

2024/12/12(木) 11:05:30.52ID:???

あとこのスレか

なんJNVA部★485
http://2chb.net/r/liveuranus/1733863977/

0841名無しさん＠ピンキー

2024/12/12(木) 11:13:37.24ID:???

>>813だけど、英文がいいんじゃないかってアドバイスを元にやってみたら割と通りやすいプロンプトできたのでマジで感謝
マグナムさんはこれ指示しても結構ご機嫌斜めなこと多いけど、Command R ＋なら結構動いていい具合に堕ちない
感謝

https://rentry.org/v427hg5w

0842名無しさん＠ピンキー

2024/12/12(木) 11:46:22.94ID:???

>>834
SBV2の作者曰く、中身はほぼSBV2だけど日本語処理とかで独自の改良が加わってるらしいね
はよsillyと連携出来るようにならんかな

0843名無しさん＠ピンキー

2024/12/12(木) 12:52:04.09ID:???

誘導ありがとう良いシコライフ過ごしてくれ

0844名無しさん＠ピンキー

2024/12/12(木) 13:39:43.20ID:Q6+kAFCh

>>841
効果が出たならよかった
英語なら理解力はパラメータ数と量子化の少なさがモノを言うだろうからなあ
マグナムはマグナムでもv4且つMistralベースの123Bだとどうなるかなって思うところだが、流石にコレまともに動かせる人あまりいないよな・・・

0845名無しさん＠ピンキー

2024/12/12(木) 13:41:15.32ID:???

>>844
最高にエロいで
最高に遅いがw

0846名無しさん＠ピンキー

2024/12/12(木) 15:03:58.24ID:???

CR+、APIの修整入ってsection出なくなった

0847名無しさん＠ピンキー

2024/12/12(木) 15:06:07.70ID:???

自分は逆にJNVAからこっちに来たけど、
LLMに生成タグ吐かせたりComfyuiのワークフローにLlama3嚙ませたり、どっちも親和性高いんよな

0848名無しさん＠ピンキー

2024/12/12(木) 16:02:06.23ID:???

最終的にローカルもマルチモーダルAIに何でも投げるようになるんじゃないかな
sillyが文章はkobold、音声はSBV2、画像はSDと連携してるように、投げられた処理を統合管理AIがどんな種類のモデルに振るか判断するみたいな

0849名無しさん＠ピンキー

2024/12/12(木) 17:34:25.26ID:???

初心者だけどエロ文章が欲しくて、悪戦苦闘しながらようやくeasy novel assistantを入れられたわ。何も考えないでパソコンを見繕っちゃったせいでavx2のサポートしてないCPUにしちゃって、起動ごとになんかpresetsを弄ることになりそうだ

0850名無しさん＠ピンキー

2024/12/12(木) 22:26:02.09ID:???

CR+使ってエロチャットしてて、盛り上がると発狂して「あああああああ(以下、トークン上限まで続く) とか生成するんだけど謎だ

0851名無しさん＠ピンキー

2024/12/13(金) 04:59:53.91ID:rUhECzkq

CR+はhugging faceのしか使ったことないけど
あれだと温度設定も出来ないし繰り返し多いしであんまりチャット向きじゃないよね

0852名無しさん＠ピンキー

2024/12/13(金) 11:07:58.56ID:???

現状で日本語エロチャットに向いてるモデルって何だろうな
個人的には上にも挙がってるHermes-3-Llama-3.1-70B-Uncensored.Q4_K_Sだけど、このサイズになってくると一つずつ試すのも難しいから情報が欲しい

0853名無しさん＠ピンキー

2024/12/13(金) 12:26:29.13ID:???

>>852
チャットならlcaニキの7bとか色々あるで
小説用途だとワイはmagnum v4 123b以上じゃないと満足出来ない身体になっちまったw

0854名無しさん＠ピンキー

2024/12/13(金) 12:30:57.94ID:71wPNBhI

くそう、123B動かせるおじさんめ！ここぞとばかりに自慢しやがって！！

0855名無しさん＠ピンキー

2024/12/13(金) 12:35:16.70ID:+Fkxuucy

>>852
チャットなら>>449とか>>79、magnum系じゃない
magnumはモデルサイズでかくないと日本語はそこそこだけど

0856名無しさん＠ピンキー

2024/12/13(金) 12:41:47.04ID:???

magnum13B使ってみたことあるけど確かに微妙だったな
123B試してみたいもんやで…

0857名無しさん＠ピンキー

2024/12/13(金) 12:44:14.01ID:???

ありがたい、とりあえず紹介してもらったの試してみる
エロチャットと書いたけど、小説風だったりTRPGだったりいろいろ試してみたいんよね

0858名無しさん＠ピンキー

2024/12/13(金) 12:47:16.76ID:???

20～40Bくらいのモデルがもっと増えてくれればいいんだけどねぇ

0859名無しさん＠ピンキー

2024/12/13(金) 12:53:29.08ID:???

AI-TRPGだって、ちょっとやってみたけど、テキストベースのゲームでおもしろそう
https://www.solomaker.dev/products/7b81e29f-01d9-4195-bac4-8f6dbc2d4a4b

0860名無しさん＠ピンキー

2024/12/13(金) 13:28:29.07ID:???

Mistral-nemo-ja-rp-v0.2 は機械翻訳っぽかったけど、magnum v4 123bはいい感じの日本語
でもLlama-3.1-70Bと同じくらいの応答速度だからこれだけで遊ぶとなると待ち時間がえぐいね

0861名無しさん＠ピンキー

2024/12/13(金) 14:05:44.02ID:???

>>854
64Gあれば123bでも一応試せるで
ゲキ遅だがw
おすすめはiQ3_Mやで

0862名無しさん＠ピンキー

2024/12/13(金) 14:18:12.60ID:rUhECzkq

7Bの色んなモデルで遊んでるけどなかなかノーブラという設定を理解してくれない
服を脱ぐときになぜかブラを着ていることになってブラも脱いでしまう
これは記述方法が悪いのかノーブラが難しいのかどっちなんだ

0863名無しさん＠ピンキー

2024/12/13(金) 14:29:36.93ID:???

俺いつも「手を肩に」まで書いてそれ以降を生成して抱きしめるに誘導する書き方してんだけど、みんな完全ガチャしてるの？

ここで上がる評判のモデルだと大体思い通りに行くからモデルの差をあんま感じなくて

0864名無しさん＠ピンキー

2024/12/13(金) 14:36:00.82ID:???

>>862
その辺は概念ガバガバやね
何度も服着てるって言ってんのにおもむろにおちんちんジュッポジュッポしゃぶりだすし

0865名無しさん＠ピンキー

2024/12/13(金) 14:47:41.33ID:???

>>861
1カ月に一度くらいの頻度で80GBのGPU借りられて、そこでIQ3は試したことあるが、確かに凄かったんよな（遅さは言われたとおりだが！）
普段使いできるようになりたいぜ・・・

>>863
俺はチャット派だが、自分のセリフと行動と心情は自分で書いてるな
キャラのアクションもガチャって駄目なら書き換えるし自分で背景とかの情景描写とかも書くし、なんなら気が付いたらAIにキャラの行動の方向だけ決めて貰って文章ほぼ自分で書いてることもある・・・
なんか、自分が正しい日本語で文量多く書いてると、AIも日本語的なミスとか少なくなる気がするんよな

0866名無しさん＠ピンキー

2024/12/13(金) 17:08:03.10ID:???

m4 maxのメモリ最大ていくらまでいけるの？
x64とgpuより良い？

0867名無しさん＠ピンキー

2024/12/13(金) 19:47:29.73ID:???

パソコン持っている人がうらやましい(´；ω；`)

0868名無しさん＠ピンキー

2024/12/13(金) 21:28:18.92ID:RCxamCsB

パソコンなんででかいだけスマホで全部できるじゃんって言ってたじゃん

0869名無しさん＠ピンキー

2024/12/13(金) 21:57:42.62ID:???

成人向け文章読ませてタグ付けさせて画像生成プロンプト出させてみてるけど、
軽くてNGない丁度いいバランスだったのは今のところmistral-nemoだった

もっといいのあったらごめんだけど

0870名無しさん＠ピンキー

2024/12/14(土) 02:37:11.03ID:uwoflNah

https://huggingface.co/matteogeniaccio/phi-4
phi-4を落としたものがhfに上がってたので共有
試した感じ日本語も自然で生徒会恋愛問題も英語でlv1は解けたりしたからgemma2 27b以上の性能はありそう
規制自体はそこまで強くないけどあんまりエロはあんまり学習してなさげだった

0871名無しさん＠ピンキー

2024/12/14(土) 03:07:17.24ID:???

command-rの7bモデルが出たらしいな

0872名無しさん＠ピンキー

2024/12/14(土) 03:07:20.34ID:VwbngJa5

>>864
上手くいかない部分なのか
難しいもんやね

0873名無しさん＠ピンキー

2024/12/14(土) 08:37:38.15ID:???

Ollamaで文章読ませて「このシチュエーションに合ってるタグ選べ」ってやってるんだけど
Command-r-plusだとうちのPCじゃ遅すぎてmistral-nemoじゃ正確性が無さすぎる

Ollamaで動くR18全般OKの賢くて軽いAIなんかねーかなぁ

0874名無しさん＠ピンキー

2024/12/14(土) 16:04:59.23ID:???

とんでもないガチロリドエロ文章書かせてる
3090単体で。

0875名無しさん＠ピンキー

2024/12/14(土) 17:32:55.76ID:???

サンプルを所望することは可能です？

0876名無しさん＠ピンキー

2024/12/14(土) 17:39:43.81ID:???

どのモデルかが気になる

0877名無しさん＠ピンキー

2024/12/14(土) 17:54:00.79ID:???

128GB組むかグラボ新調するか迷うなあ

0878名無しさん＠ピンキー

2024/12/14(土) 21:26:30.02ID:???

スリッパとかxeonでオクタチャネル組んだ理論値は使えそうなイメージやけど実行速度どんなもんやろか

0879名無しさん＠ピンキー

2024/12/14(土) 22:48:27.02ID:5vm5cWBM

phi-4賢いけどやっぱり「1.9と1.11はどっちが大きいか」には自信満々に1.11って応えるなぁ

0880名無しさん＠ピンキー

2024/12/15(日) 00:46:17.24ID:ezvnsqgE

いやでもphi-4賢いわ。お堅い話題とか真面目な議論をするとすげー賢いっていうか、洞察が深い感じがする

0881名無しさん＠ピンキー

2024/12/15(日) 02:40:09.28ID:???

phi-4ってkoboldcppで動く？
空白の返答しかしてこない

0882名無しさん＠ピンキー

2024/12/15(日) 10:32:00.21ID:???

なんかIntelGPUが盛りあがりそう？

0883名無しさん＠ピンキー

2024/12/15(日) 12:26:17.30ID:???

100%盛り上がらない
胸糞案件だけど割高緑から脱却するのは当分先

0884名無しさん＠ピンキー

2024/12/15(日) 12:59:04.77ID:???

>>882
259$で4070相当のAI性能だからお買い得ではあるんだけどVRAM12GBだからLLMには貧弱すぎる

0885名無しさん＠ピンキー

2024/12/15(日) 14:03:09.74ID:???

ドルでは安いけど日本円では高いので値段で優位はない
AI向けのハード支援がイケてたら画像生成ではワンチャンあるかもね(まあどうせcuda大正義だし期待薄)
ぐらいかな
現状だと何でもかんでも大げさに言うアカン感じの人達がコスパコスパ喚いてて
それに乗せられて手を出すと馬鹿を見る製品に見えるが

0886名無しさん＠ピンキー

2024/12/15(日) 15:01:47.64ID:4TdqPiWB

サムスンがVRAM1.5倍のGDDR7作ったんやろ？
それが採用されるであろう50xx後半か60xxで一気に快適になるんとちゃうか

0887名無しさん＠ピンキー

2024/12/15(日) 15:04:50.28ID:???

待ってたら安価なLLM用NPUがでてくるでしょ
高価なNVIDIAのグラボなんて今買う必要は無い

0888名無しさん＠ピンキー

2024/12/15(日) 15:11:44.57ID:???

>>879
これ、アプリのバージョンとかだと1.11はメジャーバージョン1のマイナーバージョン11って意味だからそっちで捉えるなら正しいんだよな・・・

0889名無しさん＠ピンキー

2024/12/15(日) 15:39:45.95ID:1Ck/nAY8

>>887
それで?いつまで待つんですか?

0890名無しさん＠ピンキー

2024/12/15(日) 16:02:58.15ID:???

>>888
普通は1.01～1.09の次が1.10で1.11みたいにマイナーバージョンを2桁持つんだけど
たまにそこまで刻むことを考えずにバージョン切ったせいで1.1～1.9まで行っちゃったけど2.0にするほど大きな変更じゃねえな…ってなったら1.10にするケースあるよね
1.9a fix2とかさらに刻んで刻んでする場合もあるけど

0891名無しさん＠ピンキー

2024/12/15(日) 16:08:06.31ID:???

よく使うベータ版の文字を羅列したら怒られたわｗ

0892名無しさん＠ピンキー

2024/12/15(日) 16:41:05.80ID:???

学習せんなら推論専用のNPUボードがあればええってのはそれはそうだろうけど
AIバブル続く限り下に流れてこない終わったらどこも作らんで
しょーもねえ性能のNPUがsocの一部として埋まることはあっても
ご家庭のPCIにぶっ刺して使うようなもんは個人向けにはたぶん売られん

0893名無しさん＠ピンキー

2024/12/15(日) 17:03:18.24ID:???

小数点問題はiClで小数ルールを教えれば克服するのでどうでもいいんじゃね？

0894名無しさん＠ピンキー

2024/12/15(日) 18:39:55.51ID:bN7llEcS

c4r7bって、cr+の投機的デコードのドラフトモデルに使えないん？

0895名無しさん＠ピンキー

2024/12/15(日) 21:33:46.25ID:???

>>894
アーキテクチャが違うので多分無理じゃないかな

0896名無しさん＠ピンキー

2024/12/16(月) 00:32:56.88ID:???

>>892
LLM用途でGPUなんか現状でも個人で買えんよ

0897名無しさん＠ピンキー

2024/12/16(月) 00:35:50.09ID:???

ハードウエアの進化が全然追いついてないから待つしかない

0898名無しさん＠ピンキー

2024/12/17(火) 00:22:06.95ID:???

vast aiでstablediffusionみたいな動画、サイトがあって、それ見ながらやったらai画像生成出来て感動した。
でもvast aiで日本語ローカルllmみたいなのはないんだよな、参考になる動画、サイトはないものか

0899名無しさん＠ピンキー

2024/12/17(火) 01:00:02.46ID:???

ガチ勢は大抵まぁまぁのPC買っちゃってるから需要が狭いんやろな

0900名無しさん＠ピンキー

2024/12/17(火) 01:10:36.36ID:P6LJQDE2

普通にkoboldcppとかのcolabパクるだけでいいんじゃない
どうせ使うのはjupyter notebookなんだし

0901名無しさん＠ピンキー

2024/12/17(火) 14:03:35.31ID:???

なんかそれっぽい事言ってるけど
32B以上のモデルを試した気配が無いからエアハイスペック丸出し

0902名無しさん＠ピンキー

2024/12/17(火) 16:59:51.47ID:Re+hcXkM

Vecteus-v1-abliteratedをリリースいたします。
元モデルに存在した自己検閲を削除し、より自由な文章生成を可能にしました。
ぜひお試しください。(生成内容については自己責任で！)
https://huggingface.co/Local-Novel-LLM-project/Vecteus-v1-abliterated

0903名無しさん＠ピンキー

2024/12/17(火) 17:35:56.85ID:???

うひょー

0904名無しさん＠ピンキー

2024/12/17(火) 17:41:47.71ID:???

帰ったら遊ぶぜ～

0905名無しさん＠ピンキー

2024/12/17(火) 17:57:12.31ID:MdoC+Pnb

うおおお！
gguf待ちです

0906名無しさん＠ピンキー

2024/12/17(火) 18:04:07.21ID:???

vecteusv1に検閲なんてあったんだ

0907名無しさん＠ピンキー

2024/12/17(火) 22:35:28.58ID:Re+hcXkM

https://huggingface.co/akineAItech/Vecteus-v1-abliterated-Q8_0-GGUF
https://huggingface.co/akineAItech/Vecteus-v1-abliterated-Q4_K_M-GGUF
量子化済みモデルを公開しました。

0908名無しさん＠ピンキー

2024/12/17(火) 22:53:44.10ID:???

どんな感じ？
今週帰れないから使ってみた人感想頼む🙏🏻

0909名無しさん＠ピンキー

2024/12/17(火) 23:11:44.38ID:???

>>907
GGUFサンガツやで
ファイルもDLしようとしたんやが
どちらも「サイトでファイルを取得できませんでした」となってしまうんや
ワイ環かもしれんが、ブラウザ再起動しても同じなんで
一応報告させてもらうで

0910名無しさん＠ピンキー

2024/12/17(火) 23:15:24.32ID:???

連絡先の共有が必要な設定になってる
同意すればダウンロードできる

0911名無しさん＠ピンキー

2024/12/18(水) 03:50:51.98ID:???

ありがとう今度はDLできとるわ
LLMは全然いじっとらんけど使わせてもらうで

自分の持ってる資料読ませて秘書がわりに使うのは
まだできんのやっけ……？

0912名無しさん＠ピンキー

2024/12/18(水) 05:57:34.83ID:LFV0SNQN

尻タブで表情差分の使い方が分からん
zipでアップロードするところまでは出来たんだけど、その立ち絵と表情はどうやって表示されるの？

0913名無しさん＠ピンキー

2024/12/18(水) 06:22:36.13ID:LFV0SNQN

自己解決した
Classifier APIをLocalにしないといけないんだな

0914名無しさん＠ピンキー

2024/12/18(水) 07:06:16.17ID:2FoOUSRo

自分の持ってる資料を読み込ませてなんちゃらっていうのはRAG？やったっけ？
なんか別の仕組みが必要やった気がする。

0915名無しさん＠ピンキー

2024/12/18(水) 10:11:22.64ID:???

>>902
こちらの嫌がる事はしないように感じてたわ

0916名無しさん＠ピンキー

2024/12/18(水) 20:08:35.36ID:???

magnum v4 123b Q6_Kを動かしてるけどヤベェェェ
Mac Studio買った後、何気なくローカルLLMだけど入れた甲斐があったわ……
リアルタイムに自分から干渉できるエロストーリーを書いてくれる感じがやばいな。キャラロール与えて適当に投げ合いするだけでもう止まらん。おっきした。

0917名無しさん＠ピンキー

2024/12/18(水) 20:39:37.04ID:???

>>916
ええのぅ、メモリいくら積んでんの？

0918名無しさん＠ピンキー

2024/12/18(水) 20:48:01.00ID:???

>>917
128gbのやつを店頭の中古セール品で買ったんだよね
もともと仕事用だったけど今はLLM走らせまくってて、買った当初からは思いもよらないw

0919名無しさん＠ピンキー

2024/12/18(水) 21:38:42.46ID:???

>>916
うらやましい
動かすのに使ったお金いくら？

0920名無しさん＠ピンキー

2024/12/18(水) 21:50:53.27ID:???

>>919
40万、分割で買った
数年間は戦えそうだしええかなって

0921名無しさん＠ピンキー

2024/12/18(水) 22:11:57.48ID:???

エロストーリーということは小説派か
sillyでチャットも試してみてほしいな
やり取りのテンポとか気になる

0922名無しさん＠ピンキー

2024/12/18(水) 23:51:09.88ID:???

m4studioはよ

0923名無しさん＠ピンキー

2024/12/19(木) 00:47:34.10ID:???

magnum V4 123b マジいいよな。
設定を下品な関西人とかにすると、竿役の男がいい感じに下品な日本語連発してくれるしｗ
今はiQ3_Mだが、ワイもはよQ6_Kぶんまわしたいｗ

0924名無しさん＠ピンキー

2024/12/19(木) 06:57:04.47ID:9T6PawwE

エロ画像を入力して、その画像に対してキャラがコメントするロールプレイが出来るモデルってある？
VRAM10GBに収まるものがあるといいんだけど

gemini2.0で画像に対してコメント返してくれるのが楽しかったけど
検閲があるみたいで露骨なエロ画像はスルーされるんだよね

0925名無しさん＠ピンキー

2024/12/19(木) 08:42:31.03ID:???

easy novel assistantでkoboldのオーサーズノートやメモリやワールドインフォを使う方法がわからん…。後ろで動いてるkoboldのそれらに普通に入れればいいだけなんだろうか

0926名無しさん＠ピンキー

2024/12/19(木) 12:17:38.58ID:???

>>916
これの大体の使用感を参考までに付け加えとく
システムプロンプト2-30字程度、本文指定○○(作品名)の○○(キャラクター)になりきって対話をお願いします。
程度の指示からやり取り50字とかなら4-6t/sぐらい
最初の指示でキャラクター名や詳細・会話内容の例示を含んだ500-1000字程度の指示を与えると、2-3t/sに生成が落ち込む感じ

最初の指示を細かく明示しなくても幅広く自然な表現してくれる反面、ガチガチに設定詳細を指示したいとなるとちょっとmagnum v4 123B_Q6_KはM1Ultra+128GBの環境だと速度がちょっと物足りないかな
初心者だけど使用雑感こんな感じ

0927名無しさん＠ピンキー

2024/12/19(木) 12:23:18.43ID:???

やっぱチャットは厳しそうね…
会話が長くなってくれば更に遅く…ってことだもんなあ

0928名無しさん＠ピンキー

2024/12/19(木) 12:44:46.40ID:vY4yr+Ot

Prefix Caching的なもの使えばマルチターンでもだいぶ速度保てるよ

0929名無しさん＠ピンキー

2024/12/19(木) 13:31:48.62ID:???

>>926
理由はわからんけどmodelfileを弄ってシステムプロンプトが異なる123bだと長文の指示に対しても速度が落ちて無い気がする。
挙動がよく分かってないけど、返答の内容を絞るような指示を入れると軽くなるとかあるのかな？
分からんことだらけやな

0930名無しさん＠ピンキー

2024/12/19(木) 17:37:55.97ID:???

帯域800GB/sのM1 Ultraでもそれくらいかあ
Strix Haloはそんなに期待出来んか

0931名無しさん＠ピンキー

2024/12/19(木) 18:18:44.50ID:???

>>926
いい買い物したなぁ...
多少遅くてもQ6が普通に動くからうらやましい
LLMも特定の数個のパラメーターが超重要になる部分があって
そこを潰すとまったく動かなくなる。
この値が量子化でビットが減ると突然バカになるからQ6あたりが限界という論文があったな
(Q4,Q3でも動くは動くけど、みたいな。俺がこの状態w)

世の研究者は80GBのnVidiaを使っている人多いから
実用的なでっかいLLMってそのくらいのメモリーが必要なんよね
だから64GのM系maxだと微妙に足りぬ。128GあるとIDEとか並行で動かせるから仕事も捗りそう

0932名無しさん＠ピンキー

2024/12/19(木) 18:29:55.89ID:9T6PawwE

gemini2.0flashは検閲無いみたいだな
ただイラストを見せても全然違うことを言うことが多いし
会話のテンポが噛み合わないとすぐにエラーで止まるのが難点だな

0933名無しさん＠ピンキー

2024/12/19(木) 18:46:11.15ID:???

>>931
Unslothの動的量子化がまさにそれの対応策だね
量子化エラーが大きい層だけ量子化を弱める

0934名無しさん＠ピンキー

2024/12/19(木) 20:24:33.17ID:???

Vecteus-v1-abliterated　Q8版を官能小説生成に使ってみた第一印象
- アレな設定でも制限なく出力してくれる
- コンテキスト数が4096だからかすぐにふわふわ出力になる
　（普段128kみたいなのを使ってるからか、あっという間）
- 一般的な方向にもっていく感じがするから初期設定が割と重要
　（しっかり指定しておかないと百合モノなのに男を出したがる上に男の描写がやたらと細かい）
- 喘ぎ声が割と豊富

0935名無しさん＠ピンキー

2024/12/19(木) 20:38:42.51ID:???

8192でやったけど特に不自然な感じはないな
4096だったん？

0936名無しさん＠ピンキー

2024/12/19(木) 22:10:15.75ID:???

aya-expanse-32b-abliterated、かなり良い気がする

0937名無しさん＠ピンキー

2024/12/20(金) 11:18:41.27ID:???

LM Studioでvecteus-v1-abliterated-q8_0.ggufを使って小説を生成してるんだけど、文章生成中に2000文字前後まで到達したあたりで生成が止まってしまう
このモデルだとトークンが4096までしか指定できないからなのかな？
もっと長文を出力する方法ってあるんでしょうか

0938名無しさん＠ピンキー

2024/12/20(金) 12:07:02.36ID:???

>>936
この規制消去技術も興味ある。
最新の規制強いcommand-r+とかにも使えるのかな？

0939名無しさん＠ピンキー

2024/12/20(金) 13:21:43.72ID:xKLBmVbY

>>938
https://github.com/Sumandora/remove-refusals-with-transformers
transformersで読み込めるモデルならほぼ全てで使えるらしいよ

0940名無しさん＠ピンキー

2024/12/20(金) 13:25:45.63ID:???

規制消去技術は目から鱗だわ
確かに、ほぼ別枠で動いてるはずだもんな

0941名無しさん＠ピンキー

2024/12/20(金) 15:03:13.08ID:???

有害テキストから拒否のベクトルを作って元のモデルに負として与えて負x負=正としてるんか
最近のモデルはQwenみたいに動的にtransformerを移動して専門分野に強くしているから
使えなくなっていくけど、そこを追っかけていくのは難しそう(俺の頭レベルの話ね)
作者も「雑な」といってるけどアイディアは素晴らしいなぁ

0942名無しさん＠ピンキー

2024/12/20(金) 15:09:54.52ID:???

よく考えたら人に対して洗脳する方法と同じだな。こわいw

0943名無しさん＠ピンキー

2024/12/20(金) 15:18:40.02ID:???

催淫術

0944名無しさん＠ピンキー

2024/12/20(金) 15:21:11.03ID:kArsLY+F

おだてれば調子に乗るし催眠術にはかかるしで本当にまるで人間だな

0945名無しさん＠ピンキー

2024/12/20(金) 19:50:54.34ID:???

規制がLLMの性能を下げてる枷なのが良くわかった

0946名無しさん＠ピンキー

2024/12/20(金) 19:54:55.71ID:???

人間より優れた分析力で人間を模倣するから、人間よりもはるかに弱点を突かれると脆そうよね

0947名無しさん＠ピンキー

2024/12/20(金) 19:55:42.27ID:???

中国のオープンソースモデルにワンチャンだな

0948名無しさん＠ピンキー

2024/12/20(金) 20:33:48.20ID:???

王張？

0949名無しさん＠ピンキー

2024/12/21(土) 14:19:49.89ID:BypdSyqS

ガードレールか

0950名無しさん＠ピンキー

2024/12/22(日) 08:58:44.49ID:???

mradermacher/ChatWaifu_72B_v2.2-GGUF
これって語彙が広がったりしてるんかな？
今出先で試せんから誰か試して

0951名無しさん＠ピンキー

2024/12/22(日) 09:48:02.58ID:vgpyFgaH

Kobold最新バージョンでQwen2-VLマルチモーダルサポート来たな。
＞Qwen2-VL による画像モーダルマルチのサポートが追加されました。

0952名無しさん＠ピンキー

2024/12/22(日) 10:37:09.58ID:C//Zz6UE

>>951
説明読んでもよく分からんのだけどこれどうやって使うんだ？
https://github.com/LostRuins/koboldcpp/releases

テンプレートを使えばすぐに始められるらしいけどこのテンプレはどうすりゃいいんだ

0953名無しさん＠ピンキー

2024/12/22(日) 16:03:41.70ID:???

バブちゃんですまん
Koboldcppを使ってvecteus-v1-abliterated-Q8-0でロールプレイをしたかったのだが
キャラ設定を読み上げたり1人芝居をしたりしてしまい話が進まない
色々設定を変えたりしているのだが
どんどんおかしな方向へいってしまう
オススメの設定を教えてほしい

0954名無しさん＠ピンキー

2024/12/22(日) 16:24:08.48ID:???

>>952
コマンドラインで
koboldcpp.exe --config Qwen2VL.kcppt
ってやると必要なモデルがDLされて起動されるからそれで使える
起動後にやれることは↓の解説動画が詳しい（英語だけど）

0955名無しさん＠ピンキー

2024/12/22(日) 18:33:03.15ID:vgpyFgaH

>>954
フォローthx
自分で試してなくて、情報投げっぱですまん。

0956名無しさん＠ピンキー

2024/12/22(日) 20:04:19.78ID:???

EasyNovelAssistantとkagemusyaのアップデートはずっと待ってます

0957名無しさん＠ピンキー

2024/12/22(日) 20:58:15.43ID:???

>>953
koboldcpp単体でもいいけどロールプレイしたいならsilly tavernと連携してやるといいよ
特に設定いじらなくてもそこまで変な出力にならんはず

0958名無しさん＠ピンキー

2024/12/22(日) 22:09:05.44ID:???

>>957
実はSillyTavernと連携してやっていてSillyTavern側でいじってる
相手側の台詞と状況、心情を書いて欲しいんだが
どう設定変えても出来なくて
こちら側の心情も勝手に書かれたり
設定読み上げられたり
小説のように長くなってしまう
今はデフォルトとチャットにして
短文出力にしてる

0959名無しさん＠ピンキー

2024/12/23(月) 00:33:11.19ID:???

>>958
地の文をキャラとして登録する
んで地の文はセリフを出力しませんとか心情や状況のみ描写しますとか設定してる

0960名無しさん＠ピンキー

2024/12/23(月) 04:01:39.20ID:VI/GNIfO

>>954
サンクス
この起動方法って自分でQwen2_VL_instuctのggufとmmprojをダウンロードして
koboldcpp_cu12.exeをクリックしてUIで設定してから起動する通常の起動方法とは何か変わるの？
プリセットってその手順を省くだけ？

0961名無しさん＠ピンキー

2024/12/23(月) 07:50:55.08ID:???

>>959
サンクス！
相手とは別に地の文をキャラ登録してグループチャットのようにするという事かな？

0962名無しさん＠ピンキー

2024/12/23(月) 08:09:13.20ID:???

>>961
力技として実際に出力された文をこっちで推敲するって方法もあるよ
こういう風に表記するんやでって直してやるとそのスタイルを学習していく

0963名無しさん＠ピンキー

2024/12/23(月) 08:17:14.66ID:???

>>962
なるほどサンクス！
小説風になった時にいいね
相手からは名前呼びで
地の文はあなた表記がいいんだよな

0964名無しさん＠ピンキー

2024/12/23(月) 09:25:13.78ID:???

英語と日本語それぞれエロ対応してるモデルでおすすめってあんの？

0965名無しさん＠ピンキー

2024/12/23(月) 11:48:24.82ID:???

手間を惜しまないなら、普段使いの軽いモデルが出力した文章を
文章校正・推用のプロンプトを入れた賢いモデルで納得いくまで作り直しさせるという手はある。

0966名無しさん＠ピンキー

2024/12/23(月) 12:31:00.88ID:???

基本に忠実にやってるかな？
キャラクターのデスクリプションに会話例を書くんだよ
***
{{user}}:やぁやぁ。今日はどうだった？
{{char}}:あ、{{user}}おはようございます！(顔を真っ赤にして上目遣い)*{{char}}は最近先輩の{{user}}がとても気になってる*
***
というように。
もちろん、補足なしの会話ターン例も書く。
それで、こちらがチャット欄から送信してモデルに送られるのは
user:なんたらかんたら
の部分だけなので、モデルは会話例を参考に{{char}}:に続く内容を書いて***まで返す。
STが***を見つけて向こうのターンは強制的に切り上げとなる。

0967名無しさん＠ピンキー

2024/12/23(月) 14:39:31.99ID:VI/GNIfO

尻タブの対話の例って

<START>
{{user}}:
{{char}}:

っていう形式以外にもあるの？
***入れるって初めて知ったわ

0968名無しさん＠ピンキー

2024/12/23(月) 17:27:26.21ID:???

セパレータ変換されるから<START>でいいよ
外で書いてたから思いつかなかっただけ

0969名無しさん＠ピンキー

2024/12/23(月) 17:54:26.89ID:???

SillyTavern形式なら配布してる適当なキャラカード貰ってきて中身弄るとこから始めると割とやる事おぼえられる
配布してるの大体が海外製で翻訳するとこから始めにゃならんけども

0970名無しさん＠ピンキー

2024/12/23(月) 20:07:58.68ID:???

次スレはどうすっかね
なんUに立ててええ気もするが

0971名無しさん＠ピンキー

2024/12/23(月) 21:14:58.63ID:???

>>941
Qwen2.5の解除版試したが、ちゃんと機能してて感動したｗ
あとggfuが４つに分割されてたが、これって分割されるとメモリ多く食うのな
Q5kmギリギリだから、マージさせたわ
それと、この規制解除版を他のモデルとマージさせたのもあったが、こっちは規制が復活してた
最終モデルに規制解除処理させないとあかんね
Q5kmのggufは
DevQuasar/huihui-ai.Qwen2.5-72B-Instruct-abliterated-GGUF
ここが公開してる。

>>970
また奴がきたらウザいから、もうここでいい気も・・・

0972名無しさん＠ピンキー

2024/12/24(火) 11:49:37.05ID:???

‹START›が小文字だった…
キャラカードを参考にして
内容も{{char}}のみにしてたが
基本が一番良いみたいだ
内容を添削したら上手くいきそう
ありがとう

0973名無しさん＠ピンキー

2024/12/24(火) 11:55:44.52ID:???

解除版のQeen2.5エロくていいが理解度がmagnum123より落ちるな
まあプロンプトで詳細に説明すればいいけど

0974名無しさん＠ピンキー

2024/12/24(火) 13:09:09.35ID:???

>>970
少しは戻りたい気持ちもあるけど
今の人口で実況板で20レスして即死回避するのは正直しんどいから反対しておく……

0975名無しさん＠ピンキー

2024/12/24(火) 13:26:49.29ID:???

つまりqwen2.5ベースのmagnum v4 72bを規制解除すれば最強ってこと…？

0976名無しさん＠ピンキー

2024/12/24(火) 13:45:12.71ID:NE6xuB13

対話の例が既に会話した内容として認識されることがあるんだけど
これは何か対策あるの？例えば

<START>
{{user}}:自己紹介してください。
{{char}}:私はキララです。得意なことはジャンプです。

という対話例を登録しておいて、チャットで「自己紹介してください」って言うと
「さっきしたばかりでしょう。何回やらせるんですか」って文句を言われるんだ

0977名無しさん＠ピンキー

2024/12/24(火) 13:59:10.64ID:???

>>976
それ尻で言うところの初期問答だからAIが怒ったんじゃない？

0978名無しさん＠ピンキー

2024/12/24(火) 18:10:32.44ID:9z3fpuS8

>>976
初手用対話集はもうちょっと自然な会話形式のインタビューにしておくとええと思うで
ワイやったらこんな感じに
<START>
{{user}}”{{cha}}ちゃん、さっきのジャンプはやばかった、マジ驚いたよ？あーゆーの得意なの？”
{{char}}”そだよー。{{cahr}}はジャンプめっちゃ得意なんだよ？意外でしょ？”
{{user}}”うん、割とインドア系って思ってたから意表突かれた感じ。なんかやってたの？”
{{char}}”えーっとねー、パパがNBA大好きで子供の頃は毎日パパとワンオンワンしてたんよ。”
みたいな感じで、キャラの口調と個性、特性に関わる部分を会話に盛り込んでおくんや
そうすると、ホンチャンで”自己紹介しろ。”って言えばうまい事転がってくれると思うで？
あと、キャラの名前はキララ入れんで、全部{{char}}でおけ
尻タブが勝手に置換してくれるで

0979名無しさん＠ピンキー

2024/12/24(火) 18:25:28.70ID:9z3fpuS8

あとは
[キララ's persona = "従順", "忍耐強い", "礼儀正しい"]
とか入れておいけば、怒らず何度でも答えてくれる率上がると思うが、その辺はキャラの性格とかやりたいロールプレイによって変わってくるわな

0980名無しさん＠ピンキー

2024/12/24(火) 18:54:00.29ID:NE6xuB13

>>978
サンクス
日常会話風にしておいた方がいいのか
一つの<START>の中に何回も{{user}}:と{{char}}:のやりとりを入れても
勝手に{{user}}のセリフを喋る頻度が上がったりはしないの？

0981名無しさん＠ピンキー

2024/12/24(火) 19:11:07.61ID:9z3fpuS8

その頻度は当然上がると思うか、Custom Stopping Tokenでえーかんじに丸めたるんや
https://imgur.com/a/CySmP3i

今見たらワイのは["\n{{user}}"]になっとるけど、性能低めのモデルやとちょいちょいお漏らしすると思うので、そー言った場合は適宜トークン追加する感じやな
会話の中に
モデルの賢さ次第やが、こんな感じで平文混ぜ込んで情景描写の有無やボリューム、文体、クオリティも調整出来て楽しいで～
*{{char}}はいたずらっぽく笑いながら続ける。*

0982名無しさん＠ピンキー

2024/12/24(火) 19:22:05.54ID:9z3fpuS8

基本的な静的情報はこんな感じでJSON形式の箇条書きや

[キララ’s persona = "素直", "善良", "天然"]
[キララ’s characteristics = "インドア派", "小さな胸にコンプレックス", "{{char}}をキララと自称", "{{user}}を敬愛を込めて呼び捨て"]
[キララ’s body = "身長155cm", "体重43kg", "Aカップ", "16歳", "ピンクのツインテール", "細く長い指", "ピンクの瞳", "白い肌", "敏感なお臍"]
[キララ’s wearings = "白い綿のTシャツ", "デニムショーツ", "水色のスニーカー", "白いローレグぱんつ",]

で、これに続けて会話文で口調や性格表現しつつ、特に強調したい静的要素は話題に盛り込む感じやな
尻タブで言うところのキャラカードに盛り込むトークンも全体で利用可能なコンテクスト長を占有するから、出来るだけコンパクトに効率よく記述するとこのスタイルがお勧めの一つで、デファクトスタンダードになっとるんや
キララちゃん、勝手なキャラ付けしてすまんご、堪忍な

0983名無しさん＠ピンキー

2024/12/25(水) 06:47:25.30ID:???

これはJSON形式なのか？

0984名無しさん＠ピンキー

2024/12/25(水) 07:08:42.89ID:???

AIのべりすとのキャラブックやメモリの書き方っぽい

0985名無しさん＠ピンキー

2024/12/25(水) 13:11:54.53ID:???

LLMによって理解しやすい形式変わってくるから何とも

0986名無しさん＠ピンキー

2024/12/25(水) 15:10:42.42ID:???

まあLLMが理解する形式を使えばいいんだけど
JSONでないものをJSONと呼ばれると気持ち悪いわな

0987名無しさん＠ピンキー

2024/12/25(水) 15:27:10.89ID:???

次スレよろ🥰

0988名無しさん＠ピンキー

2024/12/25(水) 16:49:42.28ID:DGkkeaKk

>>986
JSON出ないものをJSONと紹介してしまい堪忍やで！すまんの！
ワイにも何か人に手助けできる部分があるかもって、すっかり舞い上がってしまったんや！無知なこどおじ(孤独おじさん)の裏返ったルサンチマンの空回りやと思って容赦したってや

0989名無しさん＠ピンキー

2024/12/25(水) 17:55:58.99ID:???

キモくて草
服装をシートで設定すると何回も脱いじゃうんじゃないかと思ってあまり書かないな

0990名無しさん＠ピンキー

2024/12/25(水) 20:21:00.24ID:???

プロフィール定番項目だけでなく生理周期・自慰頻度とか陰毛の生え具合・小陰唇の色とかまで設定してる
あとそれらの項目だけ与えて１クラス30人分のプロフィールとそれぞれとのえっちシナリオを生成させてる

0991名無しさん＠ピンキー

2024/12/25(水) 21:58:32.92ID:???

意図はわかるがやりすぎると認識トークンの無駄にならんか？

0992名無しさん＠ピンキー

2024/12/26(木) 03:59:21.51ID:???

JSONでもなんでもいいけど羅列で書き連ねただけでは意味が薄い
容姿:(身長:155,華奢),胸(サイズ:Aカップ,小さいのが悩み,子供扱いを嫌がる)
のように関連のあるものを並列で短く書くことで応答生成のヒントになる
またあえて曖昧にしておくと設定に拘泥しすぎない会話になるのでオススメ

0993名無しさん＠ピンキー

2024/12/26(木) 04:54:14.83ID:VfHatfGY

例を挙げてもらってキャラ設定を調整したら良い感じに出力されるようになったよ！
ただCustom Stopping Tokenは「
{{user}}:」を「彼:」とかに変えて突破してきたりするから困ったもんだな

0994名無しさん＠ピンキー

2024/12/26(木) 05:39:23.51ID:VfHatfGY

Qwen2-VL-7Bにエロ画像を解説させてるけど、解説とエロロールプレイを両立させるの難しいな
そもそも日本語がかなり怪しく思えるのは俺の設定ミスなのかな

0995名無しさん＠ピンキー

2024/12/26(木) 07:40:11.81ID:???

>>990
それちゃんと会話に反映される？
興味があるので差し支えなければ設定例を教えてほしい

0996名無しさん＠ピンキー

2024/12/26(木) 08:32:14.71ID:???

やたら形式こだわってるけどキャラ設定用システムプロンプトなんて
それなりに分かりやすく書いてあったらJson風味だろうがMarkdownだろうが
LLMがよほどバカじゃない限り大体は汲み取ってくれるでしょ

0997名無しさん＠ピンキー

2024/12/26(木) 10:07:16.14ID:???

外見に関する設定盛ってもほとんど活用してくれないなあ
しかもこっちの誘導じみた発言に簡単に引っ張られるし
例えばショートヘア設定の子に長い髪が綺麗だね、なんて言うとその瞬間にロングヘア設定に塗り替えられる感じ

0998名無しさん＠ピンキー

2024/12/26(木) 11:09:34.51ID:VfHatfGY

乳首とおまんこの色は指定しておかないと、
「彼女の乳首とおまんこは黒ずんでおり」とか出されるからちゃんと好みの色指定してる

0999名無しさん＠ピンキー

2024/12/26(木) 11:47:44.83ID:???

それ学習素材の中にそういう文脈が多いってことで、つまり黒ずんだおまんこという文を作りまくったやつがいるってことだよね…
何が目的でそんなことをしたんだろう

1000名無しさん＠ピンキー

2024/12/26(木) 12:59:57.65ID:???

次スレは？🤔

10011001

Over 1000Thread

このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 107日 2時間 40分 47秒

10021002

Over 1000Thread

BBSPINKの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。

───────────────────
《プレミアム会員の主な特典》
★ 専用ブラウザからの広告除去
★ 過去ログを取得
★ 書き込み規制の緩和
───────────────────

会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。

▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/

▼ 浪人ログインはこちら ▼
https://login.bbspink.com/login.php

lud20250130012528ca

TOPへ TOPへ　

		ブックマークへ

02:13:12 up 66 days, 3:12, 1 user, load average: 9.77, 10.15, 10.45

in 1.5207271575928 sec @1.5207271575928@0b7 on 062215

なんJLLM部 避難所 ★4 YouTube動画>1本 ->画像>8枚

なんJLLM部避難所 ★4 YouTube動画>1本 ->画像>8枚