◎正当な理由による書き込みの削除について： 生島英之 とみられる方へ:【統計分析】機械学習・データマイニング20 YouTube動画>2本 ->画像>8枚
動画、画像抽出 ｜｜
この掲示板へ
類似スレ
掲示板一覧 人気スレ 動画人気順
このスレへの固定リンク： http://5chb.net/r/tech/1533635797/ ヒント： http ://xxxx.5chb .net/xxxx のようにb を入れるだけでここでスレ保存、閲覧できます。
機械学習とデータマイニングについて何でもいいので語れ若人
※ワッチョイだよん
次スレ立ての際は、一行目冒頭に
!extend:on:vvvvv:1000:512つけてね
■関連サイト
機械学習の「朱鷺の杜Wiki」
http://ibisforest.org/ DeepLearning研究 2016年のまとめ
http://qiita.com/eve_yk/items/f4b274da7042cba1ba76 ■前スレ
【統計分析】機械学習・データマイニング19
http://mevius.2ch.net/test/read.cgi/tech/1520586585/ VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured
Rはもう結構昔からもう終わりじゃね、と言われていたけど、むしろ最近書籍増えてるよね。
intelのideepを試したいけど、これってインテルのCPU内のどのリソースを使っているの？ GPU? VLIW命令？
sympyで大体mathematicaの代わりとしては十分かと
>>11 中学や高校でプログラムの授業やるみたいやけどpythonとsympyを数学の授業で教えといたら使えるようになるやろ。
学校で教えると全てのものが糞になる。
読み書きに関しては日本の学校英語教育で十分だけどね
機械学習なんて学校教育で教えるような分野でもないよ
Pythonに急速に人が集まってるから、これからPHPとJavaを駆逐しそう
PythonはＷｅｂには広まってないから
Rubyにnumruby,pandas,matplotlib
ライブラリとコミュニティの違いを除いてrubyがpythonに明確に劣ってる感じはしないけどなあ。
>>23 静的ruby に取り組もう、と決心しました
>>25 機能の優劣はともかく、海外じゃRoR 以外の用途ではRubyは殆ど使われてないし
>>27 鯖缶ツールみたいので
Rubyで書かれてるのなかったっけ？
科学系とかラズパイとかもpythonだねえ。利用者の裾野広い
ruby にしろchainer にしろ、ユーザの多くが日本だけだときついわな。徐々に駆逐されてく
>>33 やっぱり、人が多い所を学習しとかないとね
駆逐された時に学習した時間が無駄になる
>>33 >>34 同意。流行りものに飛び付いてるようで抵抗もあるけど、メインストリームは抑えておかないと後で泣くはめになる
今まで数件ＡＩ使ったソフト納品したが、全部人がやってたものを置き換えただけだ。
全部使ってみて自分に合ったものを使うのがいい。
>>25 ＞ライブラリとコミュニティの違いを除いてrubyがpythonに明確に劣ってる感じはしないけどなあ。
いやそれが決定的に重要だったてことじゃね？
宗教に例えればpythonはキリスト教
rubyはモルモン教
おんなじようなもんじゃんというかもしれんが輸血も剣道も禁止したりと迷惑カルトみたいなもの
前スレでＡＩはコストセンターでしかないって書き込みあったが、結局そうなんだろうか
>>21 バージョン1.0が出たJuliaにも集まれ。
機械学習とその他の統計分析の手法の選択って
Juliaは期待してたんだけど、python が深層学習ブームに上手くのっちゃったからなぁ
rubyの御本尊の周りは日本語で議論を勝手に進めちゃうって不満なら聞いたことある。
| SHINJI KAGAWA / 香川真司 @S_Kagawa0317 3分前
>>44 Juliaにも一応深層学習のライブラリあったけどな。流行ってるかは知らんが
機械学習の説明変数にカテゴリー的なデータを
まあやってみいとしか
一律ではなく使う手法によるはず
時系列データなのでそのアーキテクチャだと学習できない
まさにその種の話題が満載の良書を推薦しとく
実戦データマイニング: AIによる株と為替の予測 単行本 – 2018/6/20
https://www.amazon.co.jp/dp/4274222373/ 失敬。時系列に依存してるからランダムフォレストはない。RNNがいいかも。
>>54 コメント辛辣すぎワロタ
★☆☆☆☆「再現できない」
★☆☆☆☆「まったく実戦ではない」
★☆☆☆☆「返品しました」
★☆☆☆☆「内容が薄い」
何十年か昔のニューロン研究のブームのときもヒューリスティックに株価のパターンを発見して儲けるみたいな研究が紹介されてた記憶があるけど、その後下火になったような
今の機会学習って人間にできることをやらせてるだけで、
人間がやる昔ながらの投資手法はなぜかファンダメンタルとかいう呼び名になっている
相場師=テクニカルなんて使い方する人いないだろ
>>61 今は世界中で緩和しまくりだから、本当の価値なんてわからない、ファンダメンタルなんてあてにならないと考えます
経済学的に「価値」と「価格」は関係ない。
多種の銘柄の平均期待値は中心極限定理から正規分布に従うので気にすべきことはいかにその分散を減らすかのみ
>>64 オレオレ語録
価値は自分が決める
価格は他人が決める
今夜のNHKスペシャルは、ノモンハン事件の発掘映像をＡＩにより自動カラー化
NHKが作ったAI凄いね。これからどんどん戦前の映像がカラー化されそう
人間のように成長するAl（人工知能）！ 80年前の白黒映像がカラーで蘇る!
https://www.nhk.or.jp/ten5/articles/17/003065.html > この最新技術を活用する初めての番組が、８月に放送されます。
> NHKスペシャル「ノモンハン事件（仮）」ぜひご覧ください。
>>60 人間にできることしかできないわけじゃない。分かりやすいとこで将棋AIとかな。
できることのレベルが違う。
元が白黒のものに着色しても資料としての価値はないのにさっそく誤解される言い方してるのが
ＴＶはエンタメなので歴史なんて自由自在に改変しまくり
写真に関しての資料としての価値とは現実をより正確に表現することであり、それなら当然カラーの方が価値は高いだろう
原画は原画として残してあるだろう。番組としての映像の価値だろ
現実はカラーである以上、映像としての価値だって白黒よりカラーの方が上だろう
着色だって改変だ
異常検知と株式予測って同じ技術使えるのかね。
金額だけ見るんじゃなくて
たかがはじパタ本を読んだぐらいで
>>84 それだと事件とかニュースをデータ化しないといけないじゃん。
そうすると自然言語処理をしないといけない。
ファンダメンタル情報も体系化されていれば分析もできなくもないが、
基本的に株価情報のみに基づく予測じゃないと、前処理が大変だ。
株価情報しか使わないんならモデルいじっても五十歩百歩なんかね
ランダムフォレストって神だな
>>83 株価の異常検知なんて、わざわざ機械学習しないでも
出来高と値動きで簡単にスクリーニングできるよ
深層学習みたいにRandomForestを多層化したしたやつもあるよ。
株価情報だけに基づく予測とか転換点の見極めだと
大口機関投資家は相場を当てに行くんではなく相場を作りに行くんだからな。
DL is the forest of the labyrinth.
>>94 だからなんだよ
相場を作れる奴なんてわずかしかいないんだから
当てるしかないんだよ。
ノイズは乗ることが前提じゃないか？
除去すればいい。
ところで既存のテクニカル分析がもともと精度いいなら
それで十分かもな。
どうしても不安なら機械学習で裏をとればいいかも。
AIを使ってないものがAIという名前で売られている
AI＝Artificial Intelligence＝人工的に作られ知能を持つように見えるもの、
三菱UFJ国際がAIで運用するAI投信右肩下がりなんだけど、これ誰が責任取るの？
ＡＩ日本株式オープン（絶対収益追求型）（愛称：日本ＡＩ（あい））
http://www.morningstar.co.jp/FundData/SnapShot.do?fnc=2017020106 投信なんだから金出した人だわな。元本保証投信なんて聞いたことない。
普通の機関投資家が投資する場合は損失出しまくればその部門の責任者が何らかの形で罰を受けるだろうけどAI投資なら誰も責任取らなくて済むんだろうな
社内的にはAI部門?担当の人がなんか被るんでないかい?
スクラッチで識別器を組む参考書ばかりやってきたから
中身判らずにブラックボックスで楽しんでる人は多い
コスト意識がないのはスレに学生さんが多いのだろう。
中で何をやってるのか全く分からないけど、
>>114 再発明は必要ない
大切なのは再開発、再実装
コストばかり考えて中味のわからないままプログラムが書けない人が組み立てる
わからないままプログラムを書くのならまだいいけど、バカは調子に乗ってブログや本を書いちゃうんだな
作った人が動作判らない代物に金を出してくれる程世の中優しくないよ
ただ今はまだ、分かっても居ない胡散臭い奴らも仕事を取れてるみたいだぜ
>>119 ＡＩ日本株式オープン（絶対収益追求型）
超簡単なことだけのＡＩ融資審査
>>119 買う側が技術のこと分かってないんだから動作の説明など適当にごまかしても問題ない
非エンジニアはむしろスクラッチで一回やってみて原理を知るべき
まあ、経営（営業？）はハッタリと詐欺みたいなもんだからな
>>128 知り合いの優秀なエンジニアは、独立してもみんな上手くいかないわ
正確性重視で、話にハッタリが足りない
パクリのくせに独自技術とか言っちゃう面の皮の厚さが必要（中国みたいな）
ウォズニアックは居ても、ジョブズは居ない国か
ウォズニアック（笑）、買ってきて分解するかハッキングで秘密情報をゲットするかだろ
自称データサイエンティストwにはコスト意識欠如したバカが多い
データサイエンティストは資格団体が儲けるために宣伝してたものだから
santanderだかhomecreditだか知らんが
データサイエンティストを活用できないような旧態依然の仕事の仕方しかできない企業だと自白してるようなものだな
バリバリやってるような若い人は来ないんじゃね
kaggleを仕事の世界に持ち込むメリットそこそこあるけどな
>>148 中小企業ならどうかしらんが、チームで仕事するのに邪魔なだけ
普通に働いてたらkaggleとかやる時間ないってw
まだkaggleのコンペって参加したことないけど個人で上位入るような人ってどれぐらい時間かけてるんだろう？
これから失敗作のメンテナンスの仕事が増えるのかな？
大企業で機械学習のエンジニアやっても
if文の分類で済む案件でも機械学習でやるのが最近のトレンド
if then elseのは255個までだったかｗ
中国の一部のスタートアップは
中国の人件費なら優秀なエンジニア雇うより人力の方が安上がりだろうなと思ったけど日本でもIT土方の人件費ならまあまあ安上がりか
アルファ碁ってハードと電気代凄いんだっけ
>>162 普通のPCだと計算に２万年掛かるらしいｗ
論文でこうやれば、とんでもなく強い将棋ソフトが出来るよ～って発表されてるのに、
ハードのハードルが高すぎて、誰も再現できてない
courseraのmachine learningの開講日が9/3って書いてるけどこれっていつでも好きな時に始められるんじゃなかったんだな
>>164 気にしないで開始したけど問題ないみたい
この度、一度挫折した機械学習に再入門しようと思いこのスレに来たのですが、おすすめの書籍やサイトなどありますか？
Udemyで全講座1200円セールしてるから好きなの選んだら
大学一年レベルの数学→最適化数学→はじパタ本→達人データサイエンティストによる理論と実践
>>168 ・やさしく学ぶ 機械学習を理解するための数学のきほん
・人工知能プログラミングのための数学がわかる本
・ゼロから作るDeep Learning（2冊）
kerasのLSTMって、まだpeepholeに対応してないの？
わかパタ買ったんだけど、その前にはじパタ読んだほうがいいの？
日本はAI・ロボット化の開発競争に敗れ国際競争力を失い下手をすると2025年あたりには一億総失業になる。
機械学習を支える大学数学を学び直す 中井悦司著『技術者のための線形代数学』発売
https://codezine.jp/article/detail/11006 最近、技術系の書籍は壊滅的だったのに、
中身大して変わらないのにタイトルに「機械学習のための～」とか付けると馬鹿が買ってくれる
初学者向けの本が乱発してるのは
>>181 「やさしく学ぶ 機械学習を理解するための数学のきほん」のことですか？
>>181 石村夫妻が「よくわかる機械学習のための数学」とか長沼伸一郎氏がブルーバックス本を書かないのがおかしい。
機械学習の直感的解釈なんて本だと被るね。いま本書いてるひと皆弟子みたい
【癌センター、収益UP】 ×さくらももこ（53） △貴乃花（46） ×亜利弥(（45） △神の子KID（41）
http://2chb.net/r/liveplus/1535420186/l50 pythonとkerasによるディープラーニング買った
ディープじゃない機械学習って学ぶ意味ある？
>>188 グローバルなんちゃらイニシライザーとか長すぎんねん名前
>>187 ある
なんでもかんでもディープでやればいいってもんじゃない
そもそもディープラーニングは機械学習の中の1つの分野でしかない
>>187 なぜコンペでXGBoostやランダムフォレストが主流で使われているのか？
適材適所というものがあるのだよ。
>>187 仕事で深層学習を付け焼き刃で使ってるけど、特に困ってないよ
ドット絵みたいな意味のある形を含む点群があったとして、その点群の中から学習させた意味のある形を検出したいです
機械学習ブームに乗って、生まれ変わったら異世界のデータサイエンティストだったで電撃に応募する
Kerasって便利なのにあんまし人気ないよね
>>198 どこでの話だ、さすがにそれはない。
pytorch が猛追してるけど、tf + keras が圧倒的でしょ
ディープラーニングならKeras、他のアルゴはscikit-learn
>>201 情報量も多いし取っ付きやすいし、一番現実的な選択だと思う
>>201 やはりgoogleのtensorflowだろ。
kerasの作者の本読んだら、
ドーパミンだって
Google、TensorFlowベースの強化学習フレームワーク「Dopamine」を公開
https://mag.osdn.jp/18/08/29/163000 まだTensorFlowでゴリゴリ書いてる奴おる？
むしろTensorFlowはﾓﾃﾞﾙが理解できてないﾔﾂには使えない
>>209 というか、kerasがtensorflowに統合されたから両方のAPIを使ってる
>>210 まぁそうかもしれない
>>210 chainerなんかわかりやすいのに人気ない。
もうchainer はいいよ。日本限定のフレームワークが流行るはずもない。
>>212 今となってはpytorch使えばすむからな
>>213 ある時からレスが完全にピタッと止まって驚いた記憶がある。
業者かはともかく、一人で頑張ってた人がいたんだろうな
chainerは日本限定じゃないよ
>>215 全く同じレスを繰り返し見た記憶がある。まだスレ見てたんだな。
前にも書いたけど、例外があることは全く反論にならないからな。現状はトレンド見ろ つ
https://trends.google.co.jp/trends/explore?cat=5& ;q=keras,chainer
参考書とか見ながら機械学習の勉強始めて、初めて仕事でデータ分析的なことをやってみたんだけど絶望的に何も結果を出せない
考えるな、感じろ、ちブルースリーグもジェダイマスターも言ってた
Don't use ThinkPad, FUJITSUUUUUUU!!!
>>218 オライリーの「仕事ではじめる機械学習」
って本はどう？
機械学習で重要なのは結果よりも、凄いことやってる感
>>221 ほんとはめっちゃ詳しく書きたいけど誰が見てるから分からないから凄く端折ってるけど今はある装置のトラブル要因を調べてる
データは特徴量が200個あって1万レコードくらいある
ただこの装置自体は見たことがなくて装置自体の知見も浅い分野だからデータセットは理解できてない
明らかに要らなそうなデータは消して特徴量を選択して決定木にかけて、重要な特徴量に対してペアプロットを出すところまでは来た
プロットの結果は分類自体がほぼ出来ていなくて、唯一差が見れそうなところに見てみようと思ったんだけど、
結局そこはどこどこの数値が高くなると異常が出やすい、くらいの説明しか出来なくてその値がなぜ高くなるかを見つけ出すべきなんだろうけどデータや機構が分からなくて何から手をつけて良いか分からないってところで止まってる
こんなのは多分現場の人は感覚的に分かってる話だから何の意味もないよね
>>223 ありがとう
帰り本屋寄ってみる
ちなみに昨日pythonによるデータ分析入門って買ったんだよな
俺はまだ分析の領域にも行けてないのになw
>>225 ああそういう話だとさっきの本は関係ないや
ビジネスの何に使えばいいかわからない
的な意味だと思ったんで
>>225 >データは特徴量が200個あって1万レコードくらいある
直感的に、少なくない？
>ただこの装置自体は見たことがなくて装置自体の知見も浅い分野だからデータセットは理解できてない
それが問題じゃん。装置自体調べろよ。
ていうか物理現象を調べてるのか？
なら機械学習を使う意味があるのかがそもそもわからんな
しいていうなら相関の強いものを上から順に並べるとか
ヒステリシスを持っている可能性を考慮するために、プロット上げる方向と下げる方向を別変数にしたほうがいいかも
>>230 特徴量200って少ないのか…
装置見れれば良いんだけど、身近にある物じゃないから見れなくてさ…
相関関係を見るなら重回帰かなと思って一応やってみたんだけど、言ってくれてる通り物理現象で動きには前回の動きとかも考慮して特徴量増やしたりしなくちゃいけないはずなんだけど結局データセットが分からないから行き詰まってしまった
>>ヒステリシスを持っている可能性を考慮するために、プロット上げる方向と下げる方向を別変数にしたほうがいいかも
これってどういう意味かな…
理解出来なくてごめん
>>231 >特徴量200って少ないのか…
いや、変数200に対してデータ数10000は、
データのほうが少ないのではないか、と
>>ヒステリシスを持っている可能性を考慮するために、プロット上げる方向と下げる方向を別変数にしたほうがいいかも
>これってどういう意味かな…
ヒステリシスを持つ可能性があるため、パラメータは上げる方向と下げる方向、両方測定する
っていう実験物理の基本は知ってるよな？
パラメータ上がる方向と下がる方向は別の変数にしないと区別できないんじゃないか、と
ID:Aa6QMEJ0p
>234
>>232 ぐ…よく分からん…ごめん
調べてみる…何かつかめるように頑張るよ
>>235 出来が悪い俺がダメだと思うよ
質問するにも何が分からないかすら分からない自分があまりにも無力…！
明日は何か少しでも前進出来るように頑張るよ
これで5%返せるとか脳死こいてるバカがまだまだ多いんだな
>>236 説明変数(特徴量？)200と目的変数(トラブル)の
散布図行列を作るところからやってみては？
効いてる特徴量見たいだけだったら、ランダムフォレスト かxgboostでモデル作ってFeature Importance見ればいいんでない？
一万レコードは流石に少なすぎる…
特徴量200だと相関関係にある特徴量同士や結果にまったく影響しない特徴量が多そうだな
>>225 装置の故障に関係のある特徴量を調べたいだけなら
ランダムフォレストではなく、もっと別の識別器を使った方がいいんじゃないか
ランダムフォレストは不純度の減少に関係ある特徴量を重要度でピックアップしてくれるだけだから
>>225 です
レスくれた人ほんとにありがとう
一応自分では
>>240 で出した結果から重要度が高いものに対して
>>238 を出すところまではやってみた
ただ特徴量の選択だったり、自分で特徴量を増やしたりする必要がある可能性があったけどその辺が不十分だから正常時と不良時の変化は捉えきれなかった
急ぎの案件ではないから装置に詳しい人にもっと詳細に聞いてから見直してみる
>>242 自分なりに考えて削ったところ残ったのは半分くらいだった…選定が不十分だとは思うけど…
>>241 そんな多いんだ…
まだ素人だからその規模扱った事ないけど、データ数が少ないと使い物にならないのかな
>>244 特徴量の選択に機械学習を使うのか…
やったことないし考えたこともなかった
ロジスティック回帰は確率的に予測するモデルだっけ
KNNにSBSとか全然知らないからもっと勉強しないと…
今更だけどレス遅くなってすいません
やっぱ知識的な勉強もしなきゃだし、もっとkaggleみたいなので色々経験踏んだ方が良いのかな…
特徴200の例1万で正解ラベル付き、それでなんらかの故障の原因を
ランダムフォレストって入門書で機械学習の勉強をしたら一番最後に習うジャンルじゃないか
自分も
>>230 の通り装置自体の理解が先だと思う
つーかkaggleしかやったことのない新卒を現場に出すと
大抵
>>225 みたいになるので笑える
225は素直だしやる気もありそうだから大成すんじゃない？
新人なんだったら上司としては笑ってる前にとっとと装置持ってくるか設置場所に連れて行って触らせろよ
割り振られた仕事が酷いだけな気がするんだけど
>>254 確かにｗ
トラブルの原因とか、装置メーカーの仕事だろｗ
>>254 トラブルの原因特定が目的として
機械学習を手段として用いるのは何故？
そう言う指示なのかな
機械学習でなんかやってくれ
機械学習エンジニアとして数学を理解しておきたい！ベクトルや行列を扱う線形代数学を学び直すために
https://codezine.jp/article/detail/11023 機械学習の勉強やめるわ
courseraやってたらいきなり「カクテルパーティーは行ったことありますよね？」とかいわれた
ケーセラ、ケーセラ、なるようになるさ、ケーセラ、セラ♭
>>266 なんとか３週目まで終わったわ！
英語だとなんとなく理解がぼやけて苦労してる
courseraは動画は日本語字幕付いてるが問題やテキストは当然英語なので英語のリーディング能力によって速度が全然違ってくる
ここの奴ってministの延長しかできないんでしょ
>>275 一ヶ月俺がやってmnist理解したから数ヶ月じゃ無理じゃね？
高精度のモデル作るだけでお金もらえる仕事ないかな～
kaggleの一番の問題点は、計算資源は自前調達なこと
個人で10万円台のPCでkaggleコンペの賞金圏内って狙えるものなの？
初めまして失礼します
最近tensorflowにて機械学習を始めました。参考にしている下記サイトのソースコードを読んでいるのですが
http://docs.fabo.io/tensorflow/model_sequence/rnn_basic.html このサンプルコード中のどの変数に最終的なテストデータの実行結果が格納されているのでしょうか？
親切に [0,1,2,0,・・・,0,1]のように格納されているのか、はたまた評価関数がsoftmaxなのでargmaxを使って取得するのか・・・分かる方ご教授いただけるとありがたいです。
>>284 loss_test_ と acc_test_
>>284 追記です
ソースコード中のtf.argmax(pred,1)に実行結果が格納されているのは分かったのですが、
これをどう取得すればいいのかがわかりません
print(pred)やprint(tf.argmax(pred,1))等をsess.close()(ソースコード内の最後の行)の前後に入れてみたりしましたが
Tensor("ArgMax_2:0", shape=(?,), dtype=int64)このような出力がされるだけでした
>>285 書き込んでいるうちに返答が・・・argmaxの方じゃないのか・・・試してみます
acc_test_は精度の％表示の方がでてきました。
>>289 多分 tf の理解不足、テストデータを与えた出力は
>>285 さんので合ってる
>>290 外出中につきID変わりまして失礼します
acc_test_をそのままprintするのではなく何かを追記すると出力層の結果もでるのでしょうか？
eval()使わないとテンソルの内部は見られないねえ
>>280 Google Colaboratoryだかって使えないの？
>>292 ありがとうございます
帰宅したら試してみます
教師なし学習の部分勉強し始めたけどこれまた難しい
mfccを特徴量にして深層学習をしようと思ったけどあまり学習しない・・・
音声処理は専門外だけど、
Courseraのカーネル法の説明、あれで分かる奴おるんか？
カーネル法はカーネル法の項目で分けるべきだと思うんだけどな
最初Octave覚えるのうぜえ、とか思ってたけど、
ex2のcost関数はiでforループ回してsumしてくしかないのかなあ。octaveなら全データまとめてベクトル演算出来ないかと期待してたんだけど
>>307 どうしてもJの値が期待値の3倍になっちゃうので完全ベクトル化は諦めたよ
courseraの2週目まで来てやっとプログラミング課題始めたけどこれ英語ダメダメな人には結構無駄に時間かかりそうだな
あの程度の英文が読めるというだけのことが自慢と感じてしまう人って・・・
いや、大学で論文書いてるし講座受けたことないから知らん
まず自身が学習する知能すらないﾔﾂﾗが
機械を使って能力を補完するのは
機械学習という強化学習は体罰と同じだからな
ﾏｳｽはｻｯｶﾘﾝが大好き
それは単純作業をひたすら行うだけのための教育には最適だろうが自分で考える高度な仕事をできるようになるための教育としては全く機能しない
>>320 本当に教育目的ならね
でも実際は自分の言うことを聞かないなどの感情任せで叩いたり
現実の教師には幼稚な人間が多いから体罰を許可するのは難しい
AIによる教育が普及したら体罰の導入もあるかもねw
人間も刺激を受けて
何かに例える奴って本質の部分をずらして解釈させようとするから好きじゃない。
>>325 同意ですね。
特にこの分野はそうゆう説明をする人が多すぎる気がします。
ていうかわかってないんだよ
>>324 化学物質とか細胞とかも関係している
どの程度の影響かは知らないけど
海外IT大手勤めかPFNか東大松尾研関連の人のTwitterやスライドは参考になる
>>333 そもそも日本人が書いたもんとか読むだけ時間の無駄。元ネタ読むほうがわかりやすい
海外論文のほとんどは、既存の方法のマイナーチェンジですね。
マイナーチェンジでない新手法の開発数で比較した上でそれを言うならいいけどどうせそんなの調べてないんだろ
日本なんか遅れまくってるんだから
低学歴知恵遅れは
NNﾓﾃﾞﾙなんかｳﾝｺみたいなｴｷｽﾊﾟｰﾄｼｽﾃﾑがはやってた頃からすでに存在する
ｴｷｽﾊﾟｰﾄｼｽﾃﾑみたいな山盛りのｳﾝｺができると
20年前エキスパートシステムやってた大学の先生がAIメチャメチャdisってたな。講義で学生相手に悲観的なことばっか言ってな。今どうしてんだろ。ヒャッハー?
中級者向けの記事なんて書いても利益にならんからな
技術記事自体で利益出そうと考えること自体が技術者としての本来の在り方から乖離してるけどね
技術がカネにならない日本はおかしい。シリコンバレーの後追いしかしてないフリーライダー。
クラス分類できへんねやったら回帰分析しかないんですか？
人間の脳のように学習するって誇大広告じゃね？
>>359 そう思うなら一つのロジスティック回帰を再帰的に使って同じ結果を出せるか実験してみたらいいのでは？
一つのロジスティック回帰では無理だろ
>>359 はそんな事言ってないし
クラス外のデータの排除に効率的な方法は何ですか？
>>363 こっちが専門じゃないだけかもしれないけど、おそろしく何を言ってるのか分からない
deep learningのような分類器で、画像データを10のクラスに仕分けたいけど、
特定のクラスに偏りが生まれるからどうすれば良いかということか
一般論として、deep learningならば、ノイズを混ぜるのは場合によりけりだけど有効だろ
新しいクラスを作るのは、ちょっとわからんなあ
データを多く仕分けられるクラスに、データが仕分けられにくくなるように
一回限りの分析なら、手入力で特定のクラスの損失関数に
>>364 (自分なりに)もう少し分かりやすく書き下しますと、
この世のありとあらゆる果物が成ってる木があるとして、
この木の画像の中から、リンゴとミカンとブドウを見つけて自動収穫したいタスクがあるとします。
リンゴとミカンとブドウの画像を学習させて分類器を作ったのですが、青リンゴやデコポンやマスカットが学習させた果物と誤認識されて収穫されてしまいます。
学習せた3つの果物以外は収穫したくないので、認識して欲しくないのですがどうすれば良いですか？ということです。
(分かりにくかったらすみません。)
>>363 が言いたいのは数字画像を読み込んで数値を出力したい、ただし入力が数字でない画像だったら数字でないと出力させたいってことだろう
数字以外の画像を適当に[0.1..0.1]のベクトルになる教師データとして流し込めば
数字以外の想定し得るあらゆる文字のデータを学習させる必要があるから非現実的だろうね
認知機能が低いこのｽﾚいるような低学歴知恵遅れが写真をみると
文字だけの識別なら数量化I類で十分
ひとつの分類器でふたつのことを同時にやらなければいいんじゃね？
ぜんぜんわかってないわ
>>363 まず数字かそれ以外かを分類してみるとか
で数字のものについて0-9のどのクラスに属するか判別する
数字かそれ以外かで分類しようとしたら結局bは6と判定されるだろうけどね
正確には、6と扱われることでbは数字に分類されるだろうけどね
>>369 これがほぼ正解に近いですが、
>>371 にある通りやはり難しいのですかね。
>>376 数字は例えだったので・・
より実際に近い例えですと、一般物体を「犬、桜、車」の3クラスで認識し、
猫や梅や船のような他の物体なら、3クラスのどれでもないと返して欲しい、というような感じです。
未知の入力の中から、学習させた特定の対象だけを認識することは難しいのでしょうか・・
未知の入力パターンをリジェクトしてくれるような仕組みがないものかなぁと思い質問しました。
>>379 それも対象となる幾つかとそれ以外に分類してみたらいいのでは？
それか6とbを判別するような判別を後からかけるとか
人間の感覚だと6とbの判別は上側のコーナーの位置と左側の上の交点の位置関係を見ているように思う
それを入力に追加するか学習で獲得させるか
>>377 それは教師信号とか学習方法とかでも違う結果になるんじゃないの？
厳しすぎて6を検出しなくなるかもしれないけど
それはそれで後から判別する用途に使えるかも知れない
>>361 一つとカウントするものの認識が違うようだ
ロジスティック回帰を特徴づけるパラメータを引数とする関数を一つと表現している
その関数を再起的に使うことを想定している
>>379 犬とそれ以外の2値分類器、桜とそれ以外の2値分類器、車とそれ以外の2値分類器を作って、1番スコアが高いものを答えとする。もし3つのスコア全てが一定の閾値以下であれば該当なしとする。うまくやれば1つのNNでできるかな?
>>379 未知と言っても実際はデータに偏りがあるから
その他クラスをつくって全部いれたら実用精度いくこともあるかも
ていうかこの程度のこと聞く前にやってみ
>>381 初めから6とbが似ているという情報があればそれでもいいのですが・・
どんなものが(特徴量レベルで)6に似ているか分からない時にどうしたらいいでしょうか。
上の例だと、例えばアマゾンの奥地に私達が名前も知らないような犬に似た動物(人が見たら似ているけど犬ではないときちんと判別はできる)がいたとして、それがたまたま入力された時にちゃんとリジェクト出来ればと思うのですが。
>>384 2値分類器にすれば学習データ以外に対するリジェクト率は高くなるのですか？
少し検討してみます。
>>385 はい、もちろんそのつもりではあります。
ただ、あわよくばその他クラスの入力として有効だと知られているデータセットとかないかなと思いまして。
もっと確立された方法があるかと思ったのですが、
意外とあまり一般的な話ではないのかも知れないですね。
>>386 訂正
×その他クラスの入力
○その他クラスの学習
シグモイド関数以外で判定すればいいんじゃね?具体的には知らんけど
>>386 犬に似た動物か犬かは人間も見た目だけでは判別できないのでは？
DNAとかをみて分類するのであればそれを入力として判別するように学習するんだと思う
あくまでも既知の物に近い物の中でどれに近いかを判別するのだと思う
人間も例えば人の名前を聞いた時に
自分が知っている人の中から思い浮かべるはず
名前の文字列から同姓同名の知らない人かどうかは判別できない
つまり似ているけど違うものを正しく判別出来ないときは
まず大前提として、バイアスが高いとかでなけりゃ
>>386 もしかして、教師あり機械学習において、訓練データとして正例だけで(負例は与えずに)判定器を作れるか、という話なのかな？
もしそうであるなら、教師あり学習では出来ないと思うけど。
6とbの例だと
>>386 で、もし負例を集めるのが大変だという事であれば、学習済みの重みを使って転移学習できるかどうかを検討してみたらどうかな？画像系や言語系なら色々あると思うけど。
NVIDIA、AI学習モデルの推論処理に特化した「Tesla T4」
～Pascal比で12倍の性能
https://pc.watch.impress.co.jp/docs/news/1142896.html これって学習にも使えるの？
使えたとして個人で買える価格なのかな
inferenceに特化してるとしか書いてないな
GANで300x300ピクセル以上の自然なフルカラーRGBを24時間以内に生成するには、
>>395 Teslaって時点で、個人で買うものじゃないだろ
>>395 FP16が速いようだけど、FP16で学習を安定化させるためには少し工夫が必要
できればおそらく学習も速くできる
たぶんTITAN V買った方が幸せになれる
くそ～おまいらの会話が分からないぜ。プレモル読んでくるﾉｼ
参考書見ながら勉強してて、教師あり学習はなんとなくイメージ湧くんだけど教師なし学習の部分に入ってから急に難しくて理解しにくい…
低学歴超初心者のゴミの俺が機械学習の勉強して5ヶ月
機械学習に統計学の知識なんて必要ないよ
機械学習でﾋﾞｯｸﾞﾃﾞｰﾀを扱うなら
10～1000個ぐらいのパラメータを2～3軸ぐらいで見るためには必須です。
方法の一つとしてはそうだけど、基礎技術って言われると、んー？って思う。基礎的な技術だけど。
>>409 です
PCAを使うのはあくまで可視化がメインなの？
特徴量抽出とかも書いてあってこんがらがってる
例えば20個の特徴量がある100点のデータがあって、それを2次元にしたい場合20個の特徴量からなる各データ(100点)から分散が大きい線？保持する
ってイメージなんだけど、2次元にした時点で色んなデータが削ぎ落とされて、20個の特徴量をぜんぶ引っくるめたデータの主成分だけが残って素の特徴量の概念は消えてると思うんだけどそこから特徴量を抽出って？？？？ってなってる
日本語おかしくてごめん
自分の理解が完全に間違ってたり的外れな事言ってるのは十分理解してます…
統計検定2級レベルぐらいは機械学習に限らず解析とかするのに使えるから勉強しておくといい
情報系の学科でプログラムはそこそこ勉強してて
>>421 それはなぜそう思う？
PCAの結果って、数学的にニューラルネットのオートエンコーダの結果と一致する。
機械学習の本にそう書いてあるだろ？
ニューラルネットから入門すればPCA に言及してるとは限らんだろ。そんなことも分からんのかｗ
測定を概論として知ってるといいよ
測定ってはじめてきいたかも
>>428 測定ってmeasure(測度)のこと？
たとえば時系列データの配列があったとして
>>431 分類ならIrisとかベンチマークで使われるデータセットがあるので具体的な使い方も分かると思う。
君のやりたい事が何のアルゴリズムで実現できるかは、自分で概論一通り勉強しないと決まらないと思うのよね。
>>433 ありがとうございます
irisていうの使ってみます
機械学習って行列から結果ベクトルを生成する関数をつくるもので
教師データとして入力出力ペアを与えたらそれに近い答えを出す関数が作られて
未知のデータを流し込んでもそれなりに答えが出るみたいなイメージだったから
ライブラリでやることってたいした違いはないのかと思ってた
TensorFlow使ったほうがいい
CRFもTensorFlow使えばきっと余裕でできるﾊｽﾞ
>>433 Iris 機械学習 で検索してブログ２，３よんでみたけど
これってあやめの画像を認識するだけにしか使えないの？
画像認識はいまのとこ興味なくて
時系列データ予測（株とかよりはシーズン途中でのペナントレースの優勝予測とか）
ゲームAIとか
ツイッター上で知識獲得や自動応答
とかそのへんをやってみたいんだけど
>>435 ,436
TensorFlowはきいたことあるかも
次はそれ調べてみます
ありがとうございます
自由度、将来性、普及率考えればtensorflow一択
>>437 やりたいことが明確なのはいいけどそこからアーキテクチャを勉強せずに実装に移るのは無理がある
>>439 そうなんですね
まずはプログラムを動かしてから
パラメータをかえていって使い方を覚えるみたいな感じで勉強してきたので…
とりあえず動かしてみたかったんですけど
決まったレスポンスが期待出来るWebやOSのAPI呼んで行く従来のプログラミングとは違いますな
>>441 計算は確定的に同じ結果を得られるけど？
使うデータやモデル決めて実装するのも自分だもの。誰かが用意してくれた既存のAPI呼ぶプログラミングとは違うでしょ
>>443 既存のクラスとかライブラリを一切使わないってこと？
コレクションとか配列とかもいちいち自分で管理するの？
もし仮にそうだとしたらそれを扱うような機能や関数を自分で作ってそれを利用するけどね
そこら辺は既存のライブラリ使っても結果への影響はほとんど変わらない
あいかわらず頭悪いは
>>445 既存のAPIってなんのことを言ってる？
従来のプログラムがその既存のAPIを使うだけで完成するっていう認識は正しいの？
>>444 ライブラリを使っても自分の実装範囲が広いから、簡単なチュートリアル中々ないよね。って言いたかったんだ
これでも何か行ってくるようなら４４６の人におまかせするわ
試行錯誤が必要って意味なら
数理ﾓﾃﾞﾙの話だからな
で、TensorFlowはその数理ﾓﾃﾞﾙを
>>451 数理モデルの所が物理モデルだったりするけど
やってることは同じようなものだ
それは普通に行われて来たこと
>>451 で結局何を言いたいかって事だけど
期待した結果を得られなくて大変だ
と言いたいの？
まぁガンバレ
物理はちゃんと現在もっとも有力な仮説があるからな
>>455 それが実現できないことに対する言分かな
他の組織で実現できたら
その時はどんな言分を考えるのかな
まぁ大変だろうけどガンバレ
このｽﾚの低学歴知恵遅れたちは
数学、プログラミングは論理学なのか？
プログラム板なのにプログラムの話NGだったんですね
捨て台詞を吐いて、その程度で諦めるていどのモノなのか?
捨て台詞のつもりはないんですが…
あほでも使えるAIの学習済みライブラリが、すぐに出てくるかと思ってたけど、出ないな
実用に達していないレベルなら有るけど
https://dev.smt.docomo.ne.jp/?p=docs.api.index >>463 TensorFlowのラッパーのKerasがやさしい。
サンプルは幾らでもある。
まずMNISTでもやってみなさい。
株の予想とかペナントレースの予想とか、AIの使いみちが全然わかってないなｗ
AIじゃなくて人間の知能だって未来の予測は難しいわw
その教えて君を追い払う役目の自称高学歴有識者のお前らのコメントも、いかにもブラックボックスから出た答えを鵜呑みにしてそうな抽象的なものばかり。
>>473 では正解サンプルとしてお手本を示してください。
ubuntuにjupyterをインストールしようとしたけど、これもう無理だな
どういうこと？Jupyter Notebookがブラウザで立ち上がるだけじゃダメなの？
時系列解析の自己回帰(AR)モデルについて教えてください
>>487 何を分析するかに依るけど
一般的には実測値だと思う
>>484 ありがとう。株価だよ。
すげえ悩んでたから助かったよ。
>>482 せっかくのLINUX環境なのに、CLIで起動できない実行環境なんて悲しすぎる
なんて思ったけど、jupyterlabなら簡単にインストールできた
コレ、次世代すぎて使いこなせる気がしないけど
今ぱっと動かした感じだとpycharmの更に上を行くほど更に凄いな
てか今年の春にjupyter notebookの使用方法をマスターしたのに
もう上位互換が出るのかよ。やってらんねーよ
株価って機械学習で予測できるの？
単純なデイトレゲームと仮定した場合
取引方法がはじめからわかってたら、高速なシステムトレードやるだけだろ。
予想の値を出すことは可能
判別難し過ぎワロタ
荒れるっていうか実際やってる人達が他のやつもみんなやりだすと稼げないからな
震災後は地震になると猛烈に先物を売る地震アルゴとかあったけど、
>深層異常検知の自動取引なんてすごいお手軽にリスクを最小化できる
今日休みだから勉強してたけど5時間で参考書4ページくらいしか進んでない…
俺はもう一冊読破したよ
>>489 でも野村證券とか大手はAPIに負荷かけまくりじゃん？
おかしいよね？
見せ板も出しまくりだよね？
JUPYTERLAB、まじで統合開発環境になっていやがるな
jupyterlabはvim拡張がnotebookと比べて貧弱だったから使ってなかったけど今は進化したかな？
>>500 一冊終えるのに何ヶ月もかかるわ
だからって完全に理解してるわけじゃないし時間かかった分どんどん忘れていくし…
実際コード書きながらやるんだけど参考書の説明が分からないと先に進めず考えこむんだけど分からなくても先にとりあえず進んだ方が良いのかなぁ
>>495 よーし、裏山に生えてたニラでも食うかー
>>504 いちいち立ち止まって考えるのも、無理やり先に進むのも、どっちも正解だろ
どういうやり方をしてもすぐに忘れるんだから
ただ、表面的な知識を忘れても、なにか身についているような状態にするのが理想なんじゃないかなとは思う
数学、統計学、機械学習の理論、情報科学の基本的な考え方
プログラマー的な物作りの直感や、WEB系なら文系的な能力などなど
そういうものが最も大切で、ライブラリやプログラムの文法、ツールの使い方なんかは
適当にそのつどそのつどで調べながら身につければOKなんじゃないか
最近、ツール関連は流行り廃りが激しいから、使い方をいっぱんに覚えるより
使い方がわからないツールを、英語ドキュメントを読みながら、なんとなく動かして
作業をちんたらちんたら進められる能力のほうが貴重な気がしてきた
>>499 細かく読み進める前に、学ぶ意義付けを見直した方がいいんじゃないか。
入門書であれば章の始めなどに「何のためにこの章を学習するか」という意義付けが示されるはずだし、
示されないのであればあまり入門者向けの本ではないからもっと簡単な本から学んだ方がいい
>>509 tensorflowとpytorchか？新しいの出てくるのか？
覚えるの大変だから、これ以上新しいものは出さないでほしい
その機械学習の勉強意味あるんですか？
>>509 消えるも何も TF に統合されて普通に使われてるんだが…
目的がないのに無理して学んでもしょうがないんじゃない？
同意。もう素人がちょっと勉強してどうにかなるレベルじゃないし
何となく流行ってるからオライリーのディープラーニング本買ったけど、
趣味でやるならいいんじゃないの。ゆっくり基礎から楽しめばいい
deepで回帰やってる人ほとんど殆ど見ないし明らかに回帰問題な物もクラス分類に置き換えてやってるの見る限り回帰よりも分類の方がハードル低いんですかね
>>523 いや、理論が分からないんじゃなくて、
膨大なデータと強力な計算装置がないと、たいした物は作れない。
つまり、個人がチマチマと何かを作る用途には向かない
個人でもアイデア次第で面白いもの作れると思うけどな。
AzureとかGCPとか使いたいけど無料でやりたくてもカード登録必須で無料枠越えたら勝手に課金されるのが怖い
>>529 GCPは無課金枠使い切ったらクレカ開始するまでワンステップあるよ。
使い切った時点でサービスが一度止まるはず
ヒカキンの年収が10億超え!?明石家さんま・坂上忍も驚愕の総資産とは??
https://logtube.jp/variety/28439 HIKAKIN(ヒカキン)の年収が14億円！？トップYouTuberになるまでの道のりは？
https://youtuberhyouron.com/hikakinnensyu/ なぜか観てしまう！！サバイバル系youtuberまとめ
http://tokyohitori.hatenablog.com/entry/2016/10/01/102830 あのPewDiePieがついに、初心YouTuber向けに「視聴回数」「チャンネル登録者数」を増やすコツを公開！
http://naototube.com/2017/08/14/for-new-youtubers/ 27歳で年収8億円 女性ユーチューバー「リリー・シン」の生き方
https://headlines.yahoo.co.jp/article?a=20170802-00017174-forbes-bus_all 1年で何十億円も稼ぐ高収入ユーチューバー世界ランキングトップ10
https://gigazine.net/news/20151016-highest-paid-youtuber-2015/ おもちゃのレビューで年間12億円！ 今、話題のYouTuberは6歳の男の子
https://www.businessinsider.jp/post-108355 彼女はいかにして750万人のファンがいるYouTubeスターとなったのか？
https://www.businessinsider.jp/post-242 1億円稼ぐ9歳のYouTuberがすごすぎる……アメリカで話題のEvanTubeHD
https://weekly.ascii.jp/elem/000/000/305/305548/ 専業YouTuberがYouTubeでの稼ぎ方具体的に教えます。ネタ切れしない方法は〇〇するだけ。
VIDEO YouTubeで稼げるジャンルは〇〇動画です。YouTube講座
VIDEO GTX1080 一枚くらいなら個人買うけど、何すべえ
低学歴知恵遅れが独学で機械学習を学習しても
流行りのディープラーニングやりたいのはわかるけどさ
自分はそのつもりっす。方式による計算量の多寡の検討もつかないのでまずは一通り遊んでみる
このスレってnlp ネタ殆ど出ないよな。あんまやってる人いないのかな。
>>539 このスレは超初心者救済スレだから。LSTMもattentionもまったく出てこないw
AllenNLPは良くできてるけど少しハードル高いかも、仕様の把握が面倒
>>540 サンクス、そう言えば rnn の話し見ませんね。
やっぱドキュメント読まないとダメか… pytorchもわからんとダメ？
ここに書いても無駄だろうけど
Attentionした時間順を特徴に埋め込んでから
CNNでその時間を考慮しつつ、初期層含め各層の時間情報を参照しながら畳み込む
ってモデルさっさとでないかなぁ
sota必至だから早く論文出てほしい
脳はやってる
https://www.eurekalert.org/pub_releases/2018-08/nuos-hyb082818.php でも既存の機械学習では、初期の特徴に時間を付与することはほとんどやってない
RNNやLSTMが上手くいってないのは、初期から時間情報を連続的に把握して時間変化率を学習できないからだよ
いくら微分しても変化率とっても、初期状態からの時間情報を連続的に把握できないから学習できてない
一方、音声を特徴とする場合、ほとんどシークタイムが特徴に自動的に含まれるから
処理はクソ重くなるけど、高品質な結果が得られる
人間に置き換えても一緒
感覚器官は注意と畳み込みを同時に行いながら、それらの順でシーケンスを伝えて
脳はこの順番を記憶している
機械学習もいいが、センサーにはかなわん
>>503 デフォルト設定は貧弱
カスタマイズありきで拡張性は高いんだけど、使いこなせないなら、旧版をずっと使い続けた方がよさそう
こんなツールの設定コマンドを覚える暇があったら他にやらなければならないこと五万とあるだろ
俺は覚えるつもりだけど・・・
俺みたいな雑魚はまずnumpyとpandasとmatplotlibを使いこなせるように頑張るとこからだな
>>550 的を得てるけど、深層学習が目的なら keras のサンプルでも動かすとモチベーションが保ちやすい
>>548 了解。ボチボチ覚えるつもりではいます
>>544 カプセルネットワークみたいにベクトルに拡張して空間情報とするのは？
>>544 マルコフ連鎖をモデルの中に組み込めば良いんじゃ無い？
でも微分で消えてしまうのかな．
>>551 chainerのサンプルコードの方が楽。
>>552 カプセルネットワークの手法だと
各層で獲得した特徴同士の空間的相対位置は正確になるけれど
それでは汎用性がない
脳は空間的相対位置を崩す事もできる
これは記憶している各時間情報を参照して相対位置すら入れ替え可能だからできる
注目した部分の特徴だけを切り取って、別物として貼り付けるのではなく
一定の連続的時間情報部分を切り取って、その部分の特徴を別の連続した時間情報の一部分をキーとして
完全に連結させることができる
だから本当の汎用性を獲得するためには、時間情報の連続的把握が絶対に必要になる
>>553 マルコフ性はこの場合適さない
何故ならば、脳と同様の構造を獲得するためには
過去、現在、未来すべての情報を参照する必要性があるから
過去・現在・未来の区別は単なる幻想にすぎない アインシュタイン
>>557 解き方知ってるんじゃないの? 自分で論文を書いた方が早いのでは。
隠れマルコフモデルを覚える前にマルコフモデルを覚えましょう。
ついでに言うとウィナー過程とマルチンゲールも知っとけ
初歩的な質問なんだけど、tensorflowやkeras、pytorchの違いは文法的な作法だけ？
・define and runとdefine by run、まあこの違いはなくなりつつある
>>561 論文を書くためには結果が必要だけど
この手法は脳の構造模倣だけに凄まじい量のデータが必要になるのは明白
つまり現実的には、この畳込みモデルを適用したGANも組み込む必要があって
作業量的にも計算量的にも個人ではまず無理
>>570 仮に他人の論文があっても実現はできないと言ってるように聞こえる。
個人でできる範囲で成果を取った方が有益かもね。
回帰における学習でデータ正規化を行った上で得られたモデルを使う場合は学習時の正規化で使った平均・標準偏差を使って入力値を変換しなければいけないと思うんだけど、
ごめん、見た記事では多分最初だけfit_transformして次では単にtransformしてたっぽい
>>570 相対性理論とか実証は別の人がやることだってあり得る
論文を出すのはできるんじゃね
それが認められるかどうかは内容次第だし
本当に有益ならリソースを持つ組織が実証するし
必要ならその組織に所属すればいいだけ
>>573 実際に応用として使用する時に上手く行くかどうかじゃね？
学習に使うサンプルが偏ってたらその値を使って正規化すると
実際に使うときに期待する結果にならないんじゃね？
期待する結果に有意差がなければどっちでも良いんじゃないの？
最近回帰問題解くのがキツすぎて無理やり0～1に正規化して分類みたいにやるのがいい気がしてきた
>>577 層を厚くすればなんとかなるんじゃないの？
画像データを分類して教師データを作ろうとしてるんだけど、荒くでいいから自動で分類してくれるソフトないかな。
>>578 わからないです
画像の生成モデルで出てきた問題みたいに支配的な領域に適合して細かい構造を予測できないので、分類にしてダイス係数を使おうかと考えていました
>>580 自動分類できないから機械学習使おうとしてるのにその前に自動分類してくれとは
>>583 最終的には自分で見なきゃいけないのは承知してるんだけど、荒く自動分類した後に人が修正って考えてます。
何とか教師データの作成を楽したい。
画像にキャプション付けてくれるサービス探したらありそうだけど
googleが人間にゴリラってタグ付けてたの思い出した
SVCのモデルを作る時にMinMaxscalerでスケール変換して、GridSearchCVでインスタンス作って、それに対してスケール変換した訓練データを使って学習させるって事をやったんだけど、これはダメらしいんだけど前処理の前に交差検証しろっていうのがよく分からない。
>>592 スケール変換の際にテストデータの情報を使ってしまったら、そのテストデータは「まったく新しいデータ」とは言えない。
qiitaは機械学習の良い記事があっても全然ランキング入らなくなったな
>>568 pythonはプログラム言語でtensorflowやkerasは効率よく機械学習するためのライブラリ。
>>594 それならいい記事見つけたらここにでもURL貼ってほしい
qiitaはタイムラインから良記事探すのが難しい
>>594 飽きたというよりも具体的な恩恵が得られないからモチベーションが続かないのでしょう
趣味でやっている人たちばかりじゃないから
aidemyとpyqどっちで勉強したらいいですか？
>>601 どっちもやる。
アイデミーから始めなよ。わかりやすいから。
QiitaとHatenaは、インストール大先生の記事が多すぎて困るから検索結果から外してるわ
交差検証について検索してみるとその説明として、ある1つのモデルを考えた場合に、
>>601 俺ならaidemyの無料部分だけ流し見してからPyQやる
SQuAD とかやってる人いる？ 流行りの先端モデルとかご存知なら教えてください
>>604 どっちも間違ってない。前者は本来の定義。後者は実践的。
キーエンスなんかは見込み客の連絡先を得るためにホワイトペーパー量産してるんだけどね
qiitaのいいね稼ぎじゃ具体的な恩恵にならんから続かないって話
キーエンスのホワイトペーパーは捨てアド偽名でダウンロードしてるわ
tf 1.11 出たな、更新かけたわ。2.0 はまだなのか
>>611 それな。勤め先の意向で、個人名でひたすらいいね集めたけど、ひと～つも仕事に結び付かなかったw
むしろ教えてちゃんからのメールが山ほどきて仕事にならなくなったんで撤退したわ
>>606 一時期やってたけど、もう少し具体的に。どういうアプローチかわからんとアドバイスしにくい。
機械学習のコンペばかりやっているが
>>613 どもです。普通に DR とか使ってますがスコアが全然伸びません。
>>614 一般論としては仕事でやるならコストパフォーマンスが一番大事。
協調フィルタリングって任意の精度に調整する事って出来るのかな
>>617 コスト度外視できんだろ、バカだな、なのか
>>619 できる見込み立たなかったら出来ないって言うよ
>>621 そういうことじゃないよ、金の話しだよ。精度上げるのに必要な金を気前良く払う客なんて滅多にいない。
予算枠は先に決まってるからね。逆に決まってない場合はまずアポーンｗ
>>617 一般論として、とわざわざ書いたじゃんw
>>620 なるほど… そういうことですか、別のモデルを調べてみます。
コスパって比率だからな
人工知能の本買ってきた
これで二冊目
迷ったけど
ディープラーニングとPython,Tensorflowの本にした
それにしても人工知能の本たくさんあった
5種類ぐらい
最初に買った「ゼロからはじめる～」の本は10万部いったって
ネットに同等以上の記事はいくらでもあるけど
NLP やるなら PyTorch がもう主流だけどな
みなさん、やっぱり、ハイスペックのゲーミングマシンで開発しているの？
研究や学習用途ならもうcolabでいいんじゃねーの
sotaという言葉を知らなかったので調べてみてstate of the artの略で直訳すると最先端とかそんな意味だから何となく言いたいことは分かったけど機械学習分野での定義に当たるものが全然見つからない
>>636 sotaって論文で書いてる連中は
arxivなどのオープンアクセスな論文サイトに投稿されてるコンピューターサイエンスの論文で有用なのはほとんど全部読んでる
だからどれが最高水準かを知ってるから
その分野におけるsota近辺のモデルの論文の結果と比較してsota達成としている
っていうのが俺の認識
論文完璧に追ってる以外にもカンファレンスで情報収集してるってのもあるだろうけど
物理学なんかと違って、ML分野はオープンアクセスな論壇で発展してきたからこうなってるんだろうけど
その辺の事情を追えてない日本人には全くわからん状態なのも仕方ない
あぁカンファで同時にsota報告が上がってたんだな
神経構造なんかは既に解明されてるけど
脳モデルはあくまでNN、DL起案者が何をモデルとして数学モデル化したかであり、NN、DLは脳モデルそのものではない。
よりよい結果が出たらそっちを採用するだけ。
>>643 ほんこれなんだよね
Andrew NgもDLを脳に結びつけて説明するのは、誤解が多いから止めたって言ってたわ
世にこれだけディープラーニングが広まったのは、脳モデルの説明による功績が大きいけどな
人間の脳が超省エネで高速に学習して予測結果の出力できているのと比較すると現行モデルは脳と呼ぶにはには程遠いんだけど非理系メディアでは人間の脳を模倣しているなどと喧伝される
世に広めるにはイメージが大事です。
CSなんて結局は計算能力との兼ね合いだからな
そもそも脳構造の哲学的推測における模倣はイメージじゃなくて
>>646 >>643 小脳とかをラッピングする形で大脳とかがあるように
NN を別の何かでラッピングするようなモデルがあっても
まだ全く脳のモデルですらない
遺伝的アルゴリズムも名前が強そうだけど、中身はびっくりするレベルでしょぼいよね
ニューラルネットワークなんて回帰を多層にしただけの超単純構造
>>653 はったり、生物の進化淘汰なんかどこにもない
大事なことなので復唱します。
>>653 AI関連の話題は、タイトルは大げさなんだけど内容はショボいよね。
俺は頑張りますよ！
最適かどうかは完成物があれば評価できるんだからいいでしょ
つまりはまあ、最近の機械学習の論文なんて実績と経験則の積み上げ(帰納)によるものがほとんど。
アイデアと結果はあるのだかどうやって世に広めたらよい？
結果あるなら論文書いてarxivに投稿すりゃいいじゃん
>>654 単純構造で目的を達成できるならそれでいいんじゃないの？
必要以上に複雑にして何かメリットあるの？
>>656 既に実現されてるものを真似するのは方法の一つじゃない？
バイオミメティクスとか
>>656 最適かどうかは評価尺度によるところもある
経済的になのか学習コスト的になのか結果の精度的になのかとか
>>659 結果が全てじゃね？
モデルを頭で考えても実証しなければ役に立たない
数学とは違うんじゃね？
>>660 それが何の役に立つのかとか
どんな課題を解決できるのかとか
あとは面白いかどうかとか
ARの技術もスノーとかに応用することで一般の人は知らずに広まっている
>>665-668 だからそれは問題に対する帰納的なアプローチだってば。
マイナーチェンジでしかパワーアップ出来ない。
また一概には言えないかもしれないが、結果がローカルなものになりがち
そもそも、ある程度iter重ねるか、少数サンプルで訓練した結果をプロットしつつ
pytorchのdevcon見たけど、想像以上に大企業がサポートしてて驚いたわ
見てみたけど、グローバルなAI 企業オールスターって感じか。
>>669 帰納的なアプローチがなぜダメだと判断でしているのか判らない
帰納的に発見した原理を演繹的に適用すれば良いだけじゃね？
>>671 帰納的に探索する領域の問題でしかないだろ
演繹的に適用する原理に相当するものはどこから発見するのか
Google Colaboratoryで
>>677-678 tensorflow vs pytorch の構図が完全できちゃったんで他のフレームワークはどれも厳しいけど、
tf の独占を阻止できたのは良かったと思う。 tf が pytorch を滅茶意識してて笑えるｗ
>>678 良くも悪くも学生の趣味の域をこえてないのが残念。こえる気もないのかもしれんが
NVIDIA RTX 2080 Ti vs 2080 vs 1080 Ti vs Titan V, TensorFlow Performance with CUDA 10.0
https://www.pugetsystems.com/labs/hpc/NVIDIA-RTX-2080-Ti-vs-2080-vs-1080-Ti-vs-Titan-V-TensorFlow-Performance-with-CUDA-10-0-1247/ 1080Tiと2080Ti比べるとFP32は1.35倍くらいでゲームのベンチ(レイトレコア・テンサーコア使わない場合)と同じ傾向でガッカリ
FP16ならさすがに速いね
>>684 マルチGPUの分散学習はChainerが速いらしいから頑張ってほしい
会社の技術発表で機械学習をやってみたいんだけど、
>>694 よっしゃ、ありがとうございます
1ヶ月あればなんとかなるかな、頑張ってみます
>>695 ところで業務にはどう役に立つのかね？
って言われそう
日立なんかは一年目に技術発表会やると聞いた。上の人がどこの人か知らんけど
>>696 自分が興味あることを発表する、みたいな場だから業務に役立つかどうかは大丈夫
ゲーム作ってきたやつもいたし
>>698 著作権的にいいのかな？社内向けとはいえそれをツイートまでするのはアウトな気がする。
自分のアカウントを２つ作ってやるならいいだろうけど。
Twitterはツイートした時点でその内容を誰がどう使ってもいいよ、っていう規約だったはずだから権利侵害とかの問題はないだろう
独学で機械学習やってるけど、おっさんの腐った脳味噌じゃもうダメだな
>>701 著作権で言えば
著作者人格権とか著作権に関する権利の一部は
日本の法律ではなくならないはず
そもそも、機械学習で生成されたデータが
日本は法律面で先進国としては非常に珍しい機械学習パラダイスなんだぞ
進化する機械学習パラダイス ～改正著作権法が日本のAI開発をさらに加速する～
https://storialaw.jp/blog/4936 個人情報保護とかで医療関連はデータ集めるのが大変だそうな
その辺りは医療機関自体がデータサイエンティスト雇うか業務提携するしかないだろう
>>707 つまりこういうことだな
現在：「学習用データ収集→諸々の処理→学習モデル作成」を個人や自社だけで完結させる場合は商用・非商用問わず著作権者の許可を取る必要なし
2019/1/1以降：収集した学習用データを他人・他社に公開・販売するのも著作権者の許可を取る必要なし
※もちろんデータ解析という本来の目的外に使用されることが明らかなら違法なので、漫画データの学習のためと謳って漫画スキャン画像を公開するとかはNG
ということで、明らかに悪用するような使い方でない限りデータ解析において著作権を気にする必要はない
医療用プログラムは医療用機器つくってた会社しかつくれないように規制されてるから入れん
GANのdiscriminatorの次元減らしていくのに全結合無い方がいい理由ってなんで？
>>708 個人情報を収集するときに
利用目的や利用の範囲とかを示して
合意して貰えばいいだけじゃね？
おと要求に応じて開示修正破棄できるようなシステムにしておく
ほかの個人情報でも同じ
https://arxiv.org/pdf/1312.4400.pdf > 3.2 Global Average Pooling
> ・・・
> However, the fully connected layers are prone to overfitting, thus hampering the generalization ability
> of the overall network. Dropout is proposed by Hinton et al. [5] as a regularizer which randomly
> sets half of the activations to the fully connected layers to zero during training. It has improved the
> generalization ability and largely prevents overfitting [4].
> In this paper, we propose another strategy called global average pooling to replace the traditional
> fully connected layers in CNN.
>>718 全結合いれたら汎化性が落ちるから他の方法でってことか
ありがとう
なんと！あのアナコンダが！
>>717 これから集める分ならそうだろうな
でも今まで蓄積してきたデータは？
契約上使っても問題ないデータが十分集まる頃にはとっくに置いてかれている
>>722 再確認すれば良い
利用規約の改定とか普通によくあることじゃね？
>>723 その再確認を既に退院した人含めて一人一人にするのは結構大変なのでは
arxivのML・DL論文読んでて、日本人の論文少ないよね
>>724 新たに同等のデータを取るのに比べたら手軽じゃね？
現状の法律でも個人情報の開示や削除要請には応じる必要があるからその準備はできているはず
分類するときにA,B,C,その他みたいに分類できるアルゴってないですか？
one vs allかone vs restで検索
>>735 文系PGを抱えてる会社を食い物にする商売ってどんなの？
AI（人工知能）で既存のホワイトカラーの仕事がなくなっていく一方、
アトラクター？
これからの時代、人とのコミュニケーションを鍛えた方が生き残れると思うよ
メモリ8GBでやってたら訓練データメモリに載せるだけでPCカックカクでわろた
tensorflowなら訓練データをtfrecordにして非同期読み込みすることで解決できるけど
もちろんTFRecord にしてもいいけど、
訓練データ全部メモリに乗せてやるなんてMNISTくらいでは
GANを勉強してるんだけど識別者の方は基本的に偽物だと判別し続けるってことで合ってる？
>>751 じゃあどうやって識別者は学習していくの？
教師ありではないんだよね
>>752 ジェネレータが生成したデータか本物のデータかってラベルはGANの枠組みとして付けられるよね
GAN自体は教師なしだけど、識別者はこのラベルを使って教師あり学習する
識別側の学習には教師ラベルを使ってるってこと？
>>753 安価つけ忘れた
ID変わったけど
>>752 です
>>754 識別側はデータが本物なら1、偽物なら0を出力するように学習するので、生成側は自分が出力した画像に対して識別側に1を出力させるように学習する
>>750 偽物だと判別し続けるモデルに何の価値がある？何にも判別してないではないか？
言ってておかしいと思わないのか？
GCPのAutoMLを利用しようと思ったんですけど、プロジェクトを選んでSET UP NOW押すとCustomer bucket missingって出てセットアップ完了しないのですが、今ってAutoML使えないんですか？
自己解決
CNNの分類による検出器の作り方ですが、
>>760 それだと分類じゃなくて
YoloとかSSDとか検出器使ったほうがよくない？
自動運転ってyoloとかでオブジェクトを単体で視認したあとってif文とかでやってるのそれとも論理プログラミングとか？
>>761 検出器を使っていない理由は画像全体にラベリングしたいからです。
それだとsegnetとかをファインチューニングしろ、と言われそうですが
ピクセル単位のラベル付けが困難なためです。
結局のところsegnetのようなものをCNN分類を矩形走査することで画像単位ラベルのデータセットのみで作ってみたいということです。
>763
BERTの成功とその方向性から垣間見える
脳構造の模倣における連続的時間情報の把握の重要性
俺が
>>650 で指摘している状態
＞おそらくは完璧を求めると
＞階層的にAttentionによる時間情報とポジション付与をしつつ、それらを考慮したCNNで畳み込み
＞なおかつそれらすべての層を参照しながら、動的に再帰的処理する必要性がある
＞これにGAN的な世界モデルによる強化学習手法を取り入れれば汎用AIができるだろう
これとBERTで使われている、transformerよりも更に多層化して各層の参照密度を増したAttentionとの間に
共通性を認識できる人がいれば、俺の言い分を理解してもらえるだろう
私たち日本人の、日本国憲法を改正しましょう。
>>767 じゃあ違うネタ出してみるとか
確率モデルのpythonライブラリは何使うのが良いかしら
>>764 画像全体にラベリングってマルチラベリングしたいってこと？
yoloもssdもラベル作成は矩形単位だよ
>>770 例えば、
2cm四方の正方形の画像があった場合
その正方形を1cmの正方形で4分割して
分割した4枚それぞれの正方形の画像が人か人でないか分類したい、
ということです。
>>771 その分割から分類までやってくれるのが
まさにyoloとかssdなんだけど
だめなの？
>>772 すいませんちょっと質問の仕方を変えさせていただきます。
入力画像に対して「犬」、「猫」、「それ以外」の3クラスで分類を行いたい場合、
「それ以外」のクラスとしてどのようなデータセットを与えるべきでしょうか？
cifar-10やimagenetの犬猫以外のクラスを与えたら？
>>774 データセットって訓練データとテストデータに分けるんだな
>>779 確率として解釈出来なくなるから
犬 100
猫 010
他 001
とすべき
>>777 与えた結果よい成果を生んだ参考文献か何かはありますでしょうか？
直感ですと特徴を捉えきれないと思うのですが上手く作用したりするのですかね。
>>779 そんなラベルの付け方もあるのですか？？
出力層の正規化はどうやるのでしょうか？
>>782 文献は知らないけど
スクラッチで学習するんじゃなくGoogLeNetとかをファインチューニングしたらどうかな
>>778 同じ話しを延々とやってるわな、根本的に向いてないわ
ゴチャゴチャ言ってるけど、実験結果とか全然書かないんだもんw
>>774 yoloとかssdなら犬検出、猫検出
どちらも検出しないで3クラス分類できるよ
それ以外のデータセットなんていらない
実験結果
>>786 分類やりたいだけなのにわざわざ検出アルゴリズム持ち出すのって大仰過ぎないか
普通のニューラルネットで猫なら[1,0]、犬なら[0,1]と出力するように学習させれはどちらの特徴も持たないものは[0,0]と出力されるはずだろう
>>789 そうなるかな。どっちかを出力するんじゃない。。。
>>787 適当に3~4階層で作ったので
MNIST87%行ったから
DLチョロいじゃんとか思って
Karasの他のapplicationに手を出したら
学習終わるまで300時間とか言われて泣きが入って
RTX2080Ti買おうと思ったら高過ぎﾜﾛﾀ
どうも・・・。俺です
>>786 yoloから検出機能を取ったようなネットワークがあれば良いのですが・・
最悪全クラスに対して識別器を作ってもいいので、
犬の画像が入力された時だけ発火して1を返すようなネットワークでもいいのですがそんなのありませんかね？
>>789 多クラス分類のためソフトマックス正規化を使っているので0,0にはならないですね。
この例で言うと0.5,0.5になってくれると大万歳なのですが大体そうはなりません。
上の人が言ってるようにどっちか推して来やがります。
>>792 そこまで高いの買わなくても、
サブ機に1050Ti積んでますけど
inceptionv3の199層～のファインチューニングでも
32000枚を100エポック回して大体5時間で終わりますよ
低価格でいろいろ試すには悪くない性能だと思うので検討してみてはいかがでしょうか。
1000クラス分類のImageNet使えば云いだろ…
>>795 ソフトマックスを使う限り、出力が[0.5, 0.5]というのは犬の確率と猫の確率が同程度であるという意味しか持たない
同程度に高いのかもしれないし同程度に低いのかもしれないわけだが、この両者は分離できなければならない
ということで出力層にソフトマックスは使わずに例えば単にシグモイドを使えば出力される2つの数はそれぞれ犬・猫の確率を独立に算出したものとなる
適当な閾値を決めて一方のみが大きければ犬or猫と判定、共にゼロ近くならどちらでもないと判定すればいい
それ以外の中途半端な出力が頻発するならそもそも犬猫の特徴を学習できていないので出力層を工夫したところで無駄であり、学習データを増やしたり出力層以前の層の構造を改良するしかない
>>789 犬猫だけで分類学習したネットワークにそれ以外のデータを入力することがナンセンス
学習した分布から外れたデータだから出力がどうなるかは分からない
犬でも猫でもない画像だとしても高い確度でどちらかに分類され得る
>>798 最近傍距離でやったらそうなるよね．
本当にナンセンスと言うことに同意．
>>795 元々の目的が人か否かを検出したいんだよね？
yoloを使えば良いと思うけど，それを使いたくないなら
>>760 の通りの方法でも汎化性能は悪くなるはずだけど行けなくもない(実運用はやめてね）
人のように見えるオブジェクトを誤検出するだろうし，人のポスターを人と判断するだろうし
多クラス分類にして，より確率の高い分類器ｘを選ぶじゃ駄目なの？2値分類は汎化性能という意味では極端に弱いから自動運転に関しては辞めた方が良いと思うよ
>>760 言い忘れたけど，人以外の物体が何を指すのかよく分からないけど
人が写って無い道路の画像で学習させるのが一般的だと思うよ．
それ以外の画像だと潜在空間における人とotherの距離が不明になるし辞めた方がいいよ
もう完全に教えてちゃんスレになったなｗ 立ち寄る必要なさそうだ
課題をただで人に聞きまくって何とかしたいという日本人のテンプレ。わりと良くいる
AIっていかに論文をたくさん読んで、どれだけパクるかの勝負じゃん
どんな分野でも基本は既存研究の発展で、ごく稀に全く新しい発明が登場するものだ
>>797 なるほど、凄く答えに近いこと聞いた気がします。
アクティベートをシグモイドにするだけでその挙動が得られるのですか？
条件反射でソフトマックス使ってたので盲点でした。
少し試してみます。
>>798 なるほどそういうものなのですね。
しかし疑問なのが、どうして犬を検出する検出器は学習させることが出来るのに
犬の画像が入力された時だけ1を返すネットワークを学習させることができないかです。
明らかに後者の方が簡単なように思うのですが。。
お詳しそうなのでよければ教えていただけませんか？
>>807 パラメーター変えてみました、別のに応用して見ましたということかｗ
>>809 機械学習の一般論として、なにかを判定するには教師データとして正例と負例をおなじ数だけ与えるのが基本でしょう
「googleが猫を検出するDNNを作った」事例がよく取り上げられるけど、あれだって大量の猫画像とそうでない画像を与えている
>>810 そこまでは言ってない。
ダークマターの質量が判りました。ってのより基礎研究の利用が応用に近いなあと
>>809 前者は1000クラスの分類器がベースになってる
日常的に身の回りにある物は大体この1000クラスに含まれるので犬を(も)検出できる
当然その1000クラス以外が入力された時にどうなるか保証はない
後者は犬以外のどんな画像が入力されても0を返すのが難しい
これは犬以外に対応する潜在空間が圧倒的に広いから
でもまあ実用的には1000クラス分類器の流用で十分な気もするな
>>805 ＞ AIっていかに論文をたくさん読んで、どれだけパクるかの勝負じゃん
ということは、AIが何か知っているんか？
じゃ、AIとは何か言ってみ？
絵描き
>>813 なるほど。。
それなら素人考えですと、
imagenetの画像を犬とそれ以外の2クラスに分けて
2クラス分類で学習させたネットワークは
その検出器と比べて認識力ではほぼ等価と見なせますか？
>>811 なるほど。
ではそのように猫だけを検出するネットワークを作りたいとしたら、
ネガティブとしてどんな画像を与えるのですか？
上の方も言ってる通り潜在空間が広すぎると思うのですが、
例えばimagenetの猫以外の画像を全てネガティブとして1クラスに押し込んで特徴って捉えれるのですか？
>>817 普通にそれをやると犬以外のデータが圧倒的に多いので多分上手くいかない
何も考えず全て犬以外に分類するだけで正解率99.9%を達成できるので、単純に分類誤差最小化で学習するとそうなる
学習済みネットワークの出力を加工するかファインチューニングするのがいいと思う
>>819 なるほど、、ためになります。
そういう実用的な事が書いてある書籍か何かありませんか？
ディープラーニングの本いろいろみて回ったのですが、
理論(数式)責めでドヤってる本か、
ネット見れば分かる程度の初歩的な実装方法書いたような本しかなくて困ってるのですが・・
欲しいのは数式でもチュートリアルでもなく実用性のあるものなのですが。
これ1冊あれば数式読まなくてもモデル選定からチューニングのコツまで分かるみたいな本ないですか？
>>820 そんなうまい話ないぞ
学習したいデータや問題毎に色々な試行錯誤がある
仮に望むような本があって表面だけなぞったとしても同じ悩みにぶつかるよ
今CycleGANの学習をCPUでやってる
cycleganは夢が広がるほど万能感あるけど実際はなかなか上手く学習しない
>>823 形状を変化させるのは苦手みたいだね
テクスチャ系なら上手くできる
それにしてもCPUで1時間半やったけど1エポックも進まないわ・・・
>>818 そういうこと(猫画像とそれ以外画像とに分ける)で学習してる例が多いと思うけどね。ただ指摘があるように正例と負例の数は揃えないと。
あなたが実際にその分類器を使う段階になって、猫以外の画像としてどういうものが入力されるのか？ それに近い分布のものを負例としなきゃ
「仕事ではじめる機械学習」あたり読んでみては(自分は読んでないけどw)
>>821 まあそうですよね。
でもいかんせん素人だと何をどう試行錯誤していいかすら分からないので
行き詰まった時に試してみるチェックリストみたいな感覚で使いたいのですが・・
>>825 ありがとうございます。
入力に近い分布のものなら1クラスにまとめて放り込んでも大丈夫なんですね。勉強になりました
本もチェックしてみます。
誰かコンサルしてあげなきゃ。素人が機械学習使えないだけなのに機械学習自体が評価されなくなる未来が見える
>>820 数式から逃げるな。
機械学習の数学程度でうろたえてるようじゃ人生きついぞ
正例と負例の訓練データ数が全く桁違いの場合って割と多いと思うんだけど
Macbook ProのCore i7 CPUで半日やったが、
MacBookProなら一応グラフィックカード付いてるはずだけど呼び出せてなくない？
>>830 理解出来ない訳では無いですけど無駄手間じゃないですか？
ただツールとして使いたいだけで理論を開発しようって訳ではないので(そもそも数式には興味ない)、
数式見るのは研究者がやればいいと思うのですが。
ガウシアンぼかしの式すら知らない素人でもリファレンス見て試行錯誤で華麗にフォトショップ使いこなしますよね？
あんな感じに早くなればいいと思うこの頃です
proでもディスクリートGPUが載ってるかどうかはモデルによる。
>>834 それはない。数式読まずに避けてたら本質は理解できない
特定のものを認識させて物理空間上の位置（座標）を出力値とする場合って
SSDやYoloのような物体認識を使った方が早いかな？
>>883 882が何のライブラリを使ってるか知らんけど、tensorflowのMac版はCPUしか対応してない
最先端の研究結果の数式が必ずしも理解できる必要はないが
機械学習ではな
ﾊﾞｶでなければ
>>834 フォトショップを知識がなくても使いこなせるのはアルゴリズムが成熟していて大半の処理は裏方で自動でこなしてくれてるから
機械学習では自動で問題毎に自動で最適な処理をできる技術がまだ確立されていないから、ツール的に軽く触っただけで良い結果を得るのは難しいよ
知識って。。。
>>836 本質を理解しようとはあまり思っていませんね。
とりあえずツールとしてﾗｸﾁﾝに使えたらそれだけでよいので・・
>>837 そうだったんですね、自分winでブートしてるのでそれは知りませんでした。
>>838 そうなんですよ、そこなのです。
だから手持ちデータとやりたいこと等から使うべき手法やモデルを教えてくれる本とかがあればいいんですけどねえ
>>842 そうですよね。
だから最適な処理を見つけるためのバイブル的なものがあればなあと思っています。
>>843 本質的にはあまり変わらないと思うのですが。
上の人が言っている通り自動化する技術が確立されていないだけで、
学習自体はデータに対して同じ処理を繰り返してるだけですし、
フォトショップでいう見た目=テストaccなりlos、という感じで使えても悪くないと思いますし
最近でいうならそれこそGANなんて見た目だけの話なのでとりあえずこんな見た目でいいや、で解決すると思います。
それはそうかもしれないがそうだとするとプログラム板の話題ではなくなるな
>>845 >だから最適な処理を見つけるためのバイブル的なものがあればなあと思っています。
これは最先端の研究なので論文を読んでパラメータの設定はどうするとか学ぶ必要がある．
いくら機械学習の出版が早いとはいえ待ってたら2，3年は遅れた知識になる．
後結局手法はAutoMLとかで大体今でも自動化できてるんだけど，データから推定した結果の解釈とかの問題もあるし，
全部が全部バイブル通り行くとは行かないのが現実．「全てのモデルは間違ってる．完全なる解釈はない」というのが統計学の鉄則だよ
赤池先生の経歴をと尊敬を持って機械学をやるべきだと僕は思ってる．
lossの定義の仕方さえ分かれば良いだけの話だろ
>>833 俺のは2018モデルだけどNVIDIAだったかな？
あと
2080 Tiの方がコスパ高い
あー最新版TensorflowではmacのGPUサポートしてないわ
courseraの"How to Win a Data Science Competition: Learn from Top Kagglers"っての始めたけど、
>全部が全部バイブル通り行くとは行かないのが現実．「全てのモデルは間違ってる．完全なる解釈はない」
>>848 最先端のネットワークはモチロンそうでいいと思うのですが、
DropoutやらReLUとか組み込んだCNNならもう流行りだして2,3年は経ってると思うので
それくらいの構造のCNNでimagenetのような分類タスクしようと思った時にモデル選定とかどうチューニングしたらいいとかある程度まとめてくれてるような書物があったらいいなと思いました。
あれこれ楽すること考える前にCourseraの有名な機械学習コースのシラバスの各項目をざっくりとでも他人に説明できないレベルならCourseraやるのが一番手っ取り早い
じゃ、chainerの話でもするか！
CEATECでPFNが出してた片付けロボットすごいよな
いい感じのクロスモーダルモデル考えたけど適用事例が思い付かない
>>866 物体検出、物体判別、位置特定は他の所でも出来るんじゃね？
その正確さとかが実用になるかどうかだろうけど
>>868 それらを現実世界のロボットの動作に結びつけるのは難しい
あと口頭で指示も出せるらしい
PFNロボのアピールポイント:
どこもかしこも画像データを扱う事を前提として文章書いてるから嫌になってくる
二ーズは疑問だけど、頭の固い機械制御の業界には良い刺激
メリットが分かりやすい分野で教科書書いたら、参入者が増えるから先行者は嫌がるもの
先行者が新規参入嫌うって、オープンソース化で新規参入増やすことで急速に技術の新陳代謝促すことで発展しているIT業界を逆行しているようだ
>>876 人の作った定石を覆す一手が生まれる可能性がある
>>876 人にしか出来ないと思われていた高度な処理が可能になった
ゲームで定石以外の手を打つAIはいるけど
手術の機械学習って学習データどうするんだ？
全く同じ条件の学習が上手くいかなくなったんだけど原因は何が考えられますか
みんなすげぇなぁ
>>883 inceptionv3のimagenetです
データ分析の基礎的な部分をちゃんと身につけないとと思って統計の勉強始めた
>>884 特にディープラーニング関連は本になる頃には陳腐化してるからなぁ
ある程度基礎を勉強したらネットで解説記事とかトップカンファレンスの速報まとめとか有名な論文(の解説)とかを読むと良いかも
>>884 ここで話されてる内容はもうかなり古くて、だからレスする人も減ってる
統計は高校で習ったから高卒「でも」充分理解できるもんだと思ってたが
>>890 統計っても機械学習だとロジスティック回帰とか主成分分析とかカーネル法あたりだろう
高校じゃまずやらない
kerasでGPUを使う時に
>>892 ＞最初のプロパティみたいなの
これって何？
三宅陽一郎は日本のゲームAIの権威と言われてるそうですが本当なのでしょうか？
クラスタリングって教師ラベルがあるデータに対しても行うことってあるの？
ｱﾎたちは
>>900 その場合クラスタリングとは呼ばないような
ラベルが既知なのにクラスタリングっていうのは、聞いたことないしやる意味もないのでは。だってデータの距離空間が定義されてるのにわざわざ別の部分集合に割り当てる意味が分からんな。
クラスタリングではなく分類の手法として教師あり学習ではk近傍法ならあるけど
>>906 学習の時は計算量かかるけど使うときは大した事ない
理論保証とブラックボックスさだと思う
>>905 すべてのラベルが既知ならそれはしなくない？
上の質問者の意図が全くわからん
>>900 上の人が言うように、基本的にその場合クラスタリングとは呼ばない。クラスタリングは教師なしだから。
それで質問に答えるとしたらあるデータX（Xはベクトル）にラベルがあるとして、X以外のデータが入力されたときに例えばaとする。そのaとXとのユークリッド距離を測り（k近傍法）、どのx_iと近いのかを判定したりはする。
https://teratail.com/questions/152987 今CNNの学習をしていて、
このページの1つめの結果画像のような状態なのですが、
原因は何だと思いますか？
Jupyterってジュパイターと発音するんだな
こういうのに最初に大金を出した人が美術史を作っていくのや
まあ、AIはお金になるという実績を作ってしまったな
>>917 一目瞭然じゃん、教えて欲しいのか、試してるつもりなのか。
train か少ないとか、val と train の性質が違うとかもあり得るが
>>919 これも過学習なのですか？
ページの人が答えてるように下にあるresnet34の結果が明らかに過学習なのは分かるのですが
こんなに振動する過学習もあるのですか？
あと、accがほぼ100%近いのにlossが10もあるのが理解出来ないのですが
>>795 ＞
>>792 ＞そこまで高いの買わなくても、
＞サブ機に1050Ti積んでますけど
＞inceptionv3の199層～のファインチューニングでも
＞32000枚を100エポック回して大体5時間で終わりますよ
＞低価格でいろいろ試すには悪くない性能だと思うので検討してみてはいかがでしょうか。
ありがとうごさいます
そこそこのグラボ買ってみます
NNは最小限の構成から始めて
でかいネットワークで学習するとむしろ汎化性能が上がるって説もあるよね
むしろ期待通りの結論に到達するように
むしろ期待通りになるように学習させないでどうするんだよw
つまりｵﾏｴが作ったAIは
教師あり学習なんだからそんなの当たり前やん何言ってんのこの人
作り手の想像を超えた知性が得られたとしてそのことを数値で評価することなど不可能なんだから、そもそも作成に成功したかどうかすら誰にも分からないわけで
>>936 強化学習なんかだと、例えばゲームで人間の思いもよらない戦略を学習する事もあるし、スコアとかの客観的な評価軸もあるぞ
強化学習は報酬を与えるルールさえ決めれば後は膨大な計算コストがかかるだけで結果は決まっているわけだから作り手を超える賢さを得たと言って良いかどうかは微妙なところ
賢さの定義などないけど
>>934 が賢さについて言ってたから使ってみただけ
この分野、売り逃げがしにくい。
本当に初心者ですけど質問です。
>>942 プログラムがどうなってるか分からないけど（毎回乱数で変わる値をしようしてるとかあったら）、普通は何度実行しても同じ結果正則化パラメータCを出力しなければいけないと思うよ。
プログラムを見て乱数で設定してるところがないかを確認してみては
>>945 乱数シードは固定してないです
固定してなくても同じ値が出るってことですか？
>>946 固定してなければ違う値が出ると思う。固定してればもちろん同じ値が出ないとおかしな話だとは思うけど。。。
（そういう乱数の次元の話じゃないかなと思ったので）
>>947 研究で、もらったデータセットでやってるのでなんかおかしいのかなと思ってました。
irisのデータでも同じような挙動だったので関係なかったです。毎回違う値(振れ幅もバラバラ)なのは普通ということなのですね。
機械学習知らん人に説明する度にAIって便利な言葉だと実感する
学習って用語廃止したほうがいいわ
>>951 「餌を与えると勝手に学習してくれる」っていうと素人にも分かりやすい
>>951 本当に「最」適かどうかは判らないんじゃね？
「AIが考える」って、使っていて違和感を感じる表現だけど
適当な説明すると勝手に妄想を暴走させてしてしまう人もいる
椅子を学習したら切り株に座れる機能がある事も分かるAIはよはよ
そんなの椅子の認識のさせ方次第でどうにでもなるだろ
ラベリングは誤魔化すために重要。
>>959 これはただの例で汎用的にやりたいんです。
シンギュラリティ!
切り株画像に「イス」ってラベル付けなくても
生まれて初めて切り株を見た人間でも、切り株に椅子としての機能を見出せるだろうけど、これは「座れそう」→「座れた！」という環境とのインタラクションがあるからなんだろうか
>>961 だからほんなら汎用的なデータ食わせろって話ですわ
まさか学習データが画像しかないとか思ってるわけでもあるまい
>>965 データがない未知の場面に出くわしても人間みたく持てる経験と知識を応用出来るかって話だろ
データさえあればって身も蓋もない話
>>965 そうなのね。
昨日辺りの日経新聞に書いてあったのよ。
>>966 切り株に座れるか判定の可否を議論してる時にドラえもん作りたい話されても知らんがな
>>968 切り株はあくまでも一例だって
>>961 が言ってるやん
>>961 そしたら身体持たせて学習(実体験)積んで
痛い目に合わせないとダメやろ
産まれてすぐからちんちんあったけど生殖に使うものだって気付いたのは十年以上経ってからだしな
>>969 意味を把握した思考もどきがやりたいなら
多分、言語処理のKingとQueenの話の方が例題として適切
切り株と椅子だと形状の特徴で学習してるだけぽい
質問です
>>969 別に例なら切り株でもベンチでも何でも同じやがな
欲しいと想定される機能を実現するため相応のデータ(センサ)と学習は必要やろが
生まれつき視覚以外の感覚がない人間が椅子ばっかり教えられて果たして切り株に座れると思うかどうかや
椅子の画像データ学習させるだけでドラえもん作りたいくらい頭クルクルパーなこと言ってるの理解してるんか
>>975 学習終了後の評価でそんだけバラつきあるならちゃんと収束してるかとかデータ数大丈夫かとかいろいろ見直してみたらどうじゃろか
>>977 データ数はどうにもならないんですよね。自分でも少ないってのは分かってるのですが。
収束してるかどうかってのは、線形svmでやってたので怪しいかもしれないです
質問です
両方試してみたらいいのでは
んなもん買うよりawsかgcpで試してみたらいい。
>>979 どのディストリでも大して違いはないと思いますが
>>979 無難なの選んどけばいいんでない
むしろ悩みどころはスペックとかどのライブラリ使うかとかでは
>>979 です
皆さんご回答ありがとうございます
わかりました
とりあえずUbuntu使おうと思います
PCのスペックはだいたい決まっています
ライブラリは主にTensorFlowを使います
安ｗ
>>984 ＞ んなもん買うよりawsかgcpで試してみたらいい。
横からスマンけど、研究費が無尽蔵にあるならaws、gcp、またはazure
でもいいけどさ、俺のように金がなくなってすぐ頓挫となるぞ？
データ入れて回してたらすぐ100万使っちゃうから。
PC買ったほうが絶対にいい。
すぐ100万てどういう使い方してるんだよ、16gpu でも使ってるのか
素人がGPU大量にぶん回している場合、機械学習の理論面をしっかり学習すればかなり無駄なデータ・処理を削れることが多い
てかgcpなら1日毎でいくらかかってるか見れるわけだし、とりあえず3万円分でやってみたらいい。
実際デプロイしたときに
ID:aZ3qvCMzaのレス一覧： kaggleの一番の問題点は、計算資源は自前調達なこと
個人で10万円台のPCでkaggleコンペの賞金圏内って狙えるものなの？
初めまして失礼します
最近tensorflowにて機械学習を始めました。参考にしている下記サイトのソースコードを読んでいるのですが
http://docs.fabo.io/tensorflow/model_sequence/rnn_basic.html このサンプルコード中のどの変数に最終的なテストデータの実行結果が格納されているのでしょうか？
親切に [0,1,2,0,・・・,0,1]のように格納されているのか、はたまた評価関数がsoftmaxなのでargmaxを使って取得するのか・・・分かる方ご教授いただけるとありがたいです。
>>284 loss_test_ と acc_test_
>>284 追記です
ソースコード中のtf.argmax(pred,1)に実行結果が格納されているのは分かったのですが、
これをどう取得すればいいのかがわかりません
print(pred)やprint(tf.argmax(pred,1))等をsess.close()(ソースコード内の最後の行)の前後に入れてみたりしましたが
Tensor("ArgMax_2:0", shape=(?,), dtype=int64)このような出力がされるだけでした
>>285 書き込んでいるうちに返答が・・・argmaxの方じゃないのか・・・試してみます
acc_test_は精度の％表示の方がでてきました。
>>289 多分 tf の理解不足、テストデータを与えた出力は
>>285 さんので合ってる
>>290 外出中につきID変わりまして失礼します
acc_test_をそのままprintするのではなく何かを追記すると出力層の結果もでるのでしょうか？
eval()使わないとテンソルの内部は見られないねえ
>>280 Google Colaboratoryだかって使えないの？
>>292 ありがとうございます
帰宅したら試してみます
教師なし学習の部分勉強し始めたけどこれまた難しい
mfccを特徴量にして深層学習をしようと思ったけどあまり学習しない・・・
音声処理は専門外だけど、
Courseraのカーネル法の説明、あれで分かる奴おるんか？
カーネル法はカーネル法の項目で分けるべきだと思うんだけどな
最初Octave覚えるのうぜえ、とか思ってたけど、
ex2のcost関数はiでforループ回してsumしてくしかないのかなあ。octaveなら全データまとめてベクトル演算出来ないかと期待してたんだけど
>>307 どうしてもJの値が期待値の3倍になっちゃうので完全ベクトル化は諦めたよ
courseraの2週目まで来てやっとプログラミング課題始めたけどこれ英語ダメダメな人には結構無駄に時間かかりそうだな
あの程度の英文が読めるというだけのことが自慢と感じてしまう人って・・・
いや、大学で論文書いてるし講座受けたことないから知らん
まず自身が学習する知能すらないﾔﾂﾗが
機械を使って能力を補完するのは
機械学習という強化学習は体罰と同じだからな
ﾏｳｽはｻｯｶﾘﾝが大好き
それは単純作業をひたすら行うだけのための教育には最適だろうが自分で考える高度な仕事をできるようになるための教育としては全く機能しない
>>320 本当に教育目的ならね
でも実際は自分の言うことを聞かないなどの感情任せで叩いたり
現実の教師には幼稚な人間が多いから体罰を許可するのは難しい
AIによる教育が普及したら体罰の導入もあるかもねw
人間も刺激を受けて
何かに例える奴って本質の部分をずらして解釈させようとするから好きじゃない。
>>325 同意ですね。
特にこの分野はそうゆう説明をする人が多すぎる気がします。
ていうかわかってないんだよ
>>324 化学物質とか細胞とかも関係している
どの程度の影響かは知らないけど
海外IT大手勤めかPFNか東大松尾研関連の人のTwitterやスライドは参考になる
>>333 そもそも日本人が書いたもんとか読むだけ時間の無駄。元ネタ読むほうがわかりやすい
海外論文のほとんどは、既存の方法のマイナーチェンジですね。
マイナーチェンジでない新手法の開発数で比較した上でそれを言うならいいけどどうせそんなの調べてないんだろ
日本なんか遅れまくってるんだから
低学歴知恵遅れは
NNﾓﾃﾞﾙなんかｳﾝｺみたいなｴｷｽﾊﾟｰﾄｼｽﾃﾑがはやってた頃からすでに存在する
ｴｷｽﾊﾟｰﾄｼｽﾃﾑみたいな山盛りのｳﾝｺができると
20年前エキスパートシステムやってた大学の先生がAIメチャメチャdisってたな。講義で学生相手に悲観的なことばっか言ってな。今どうしてんだろ。ヒャッハー?
中級者向けの記事なんて書いても利益にならんからな
技術記事自体で利益出そうと考えること自体が技術者としての本来の在り方から乖離してるけどね
技術がカネにならない日本はおかしい。シリコンバレーの後追いしかしてないフリーライダー。
クラス分類できへんねやったら回帰分析しかないんですか？
人間の脳のように学習するって誇大広告じゃね？
>>359 そう思うなら一つのロジスティック回帰を再帰的に使って同じ結果を出せるか実験してみたらいいのでは？
一つのロジスティック回帰では無理だろ
>>359 はそんな事言ってないし
クラス外のデータの排除に効率的な方法は何ですか？
>>363 こっちが専門じゃないだけかもしれないけど、おそろしく何を言ってるのか分からない
deep learningのような分類器で、画像データを10のクラスに仕分けたいけど、
特定のクラスに偏りが生まれるからどうすれば良いかということか
一般論として、deep learningならば、ノイズを混ぜるのは場合によりけりだけど有効だろ
新しいクラスを作るのは、ちょっとわからんなあ
データを多く仕分けられるクラスに、データが仕分けられにくくなるように
一回限りの分析なら、手入力で特定のクラスの損失関数に
>>364 (自分なりに)もう少し分かりやすく書き下しますと、
この世のありとあらゆる果物が成ってる木があるとして、
この木の画像の中から、リンゴとミカンとブドウを見つけて自動収穫したいタスクがあるとします。
リンゴとミカンとブドウの画像を学習させて分類器を作ったのですが、青リンゴやデコポンやマスカットが学習させた果物と誤認識されて収穫されてしまいます。
学習せた3つの果物以外は収穫したくないので、認識して欲しくないのですがどうすれば良いですか？ということです。
(分かりにくかったらすみません。)
>>363 が言いたいのは数字画像を読み込んで数値を出力したい、ただし入力が数字でない画像だったら数字でないと出力させたいってことだろう
数字以外の画像を適当に[0.1..0.1]のベクトルになる教師データとして流し込めば
数字以外の想定し得るあらゆる文字のデータを学習させる必要があるから非現実的だろうね
認知機能が低いこのｽﾚいるような低学歴知恵遅れが写真をみると
文字だけの識別なら数量化I類で十分
ひとつの分類器でふたつのことを同時にやらなければいいんじゃね？
ぜんぜんわかってないわ
>>363 まず数字かそれ以外かを分類してみるとか
で数字のものについて0-9のどのクラスに属するか判別する
数字かそれ以外かで分類しようとしたら結局bは6と判定されるだろうけどね
正確には、6と扱われることでbは数字に分類されるだろうけどね
>>369 これがほぼ正解に近いですが、
>>371 にある通りやはり難しいのですかね。
>>376 数字は例えだったので・・
より実際に近い例えですと、一般物体を「犬、桜、車」の3クラスで認識し、
猫や梅や船のような他の物体なら、3クラスのどれでもないと返して欲しい、というような感じです。
未知の入力の中から、学習させた特定の対象だけを認識することは難しいのでしょうか・・
未知の入力パターンをリジェクトしてくれるような仕組みがないものかなぁと思い質問しました。
>>379 それも対象となる幾つかとそれ以外に分類してみたらいいのでは？
それか6とbを判別するような判別を後からかけるとか
人間の感覚だと6とbの判別は上側のコーナーの位置と左側の上の交点の位置関係を見ているように思う
それを入力に追加するか学習で獲得させるか
>>377 それは教師信号とか学習方法とかでも違う結果になるんじゃないの？
厳しすぎて6を検出しなくなるかもしれないけど
それはそれで後から判別する用途に使えるかも知れない
>>361 一つとカウントするものの認識が違うようだ
ロジスティック回帰を特徴づけるパラメータを引数とする関数を一つと表現している
その関数を再起的に使うことを想定している
>>379 犬とそれ以外の2値分類器、桜とそれ以外の2値分類器、車とそれ以外の2値分類器を作って、1番スコアが高いものを答えとする。もし3つのスコア全てが一定の閾値以下であれば該当なしとする。うまくやれば1つのNNでできるかな?
>>379 未知と言っても実際はデータに偏りがあるから
その他クラスをつくって全部いれたら実用精度いくこともあるかも
ていうかこの程度のこと聞く前にやってみ
>>381 初めから6とbが似ているという情報があればそれでもいいのですが・・
どんなものが(特徴量レベルで)6に似ているか分からない時にどうしたらいいでしょうか。
上の例だと、例えばアマゾンの奥地に私達が名前も知らないような犬に似た動物(人が見たら似ているけど犬ではないときちんと判別はできる)がいたとして、それがたまたま入力された時にちゃんとリジェクト出来ればと思うのですが。
>>384 2値分類器にすれば学習データ以外に対するリジェクト率は高くなるのですか？
少し検討してみます。
>>385 はい、もちろんそのつもりではあります。
ただ、あわよくばその他クラスの入力として有効だと知られているデータセットとかないかなと思いまして。
もっと確立された方法があるかと思ったのですが、
意外とあまり一般的な話ではないのかも知れないですね。
>>386 訂正
×その他クラスの入力
○その他クラスの学習
シグモイド関数以外で判定すればいいんじゃね?具体的には知らんけど
>>386 犬に似た動物か犬かは人間も見た目だけでは判別できないのでは？
DNAとかをみて分類するのであればそれを入力として判別するように学習するんだと思う
あくまでも既知の物に近い物の中でどれに近いかを判別するのだと思う
人間も例えば人の名前を聞いた時に
自分が知っている人の中から思い浮かべるはず
名前の文字列から同姓同名の知らない人かどうかは判別できない
つまり似ているけど違うものを正しく判別出来ないときは
まず大前提として、バイアスが高いとかでなけりゃ
>>386 もしかして、教師あり機械学習において、訓練データとして正例だけで(負例は与えずに)判定器を作れるか、という話なのかな？
もしそうであるなら、教師あり学習では出来ないと思うけど。
6とbの例だと
>>386 で、もし負例を集めるのが大変だという事であれば、学習済みの重みを使って転移学習できるかどうかを検討してみたらどうかな？画像系や言語系なら色々あると思うけど。
NVIDIA、AI学習モデルの推論処理に特化した「Tesla T4」
～Pascal比で12倍の性能
https://pc.watch.impress.co.jp/docs/news/1142896.html これって学習にも使えるの？
使えたとして個人で買える価格なのかな
inferenceに特化してるとしか書いてないな
GANで300x300ピクセル以上の自然なフルカラーRGBを24時間以内に生成するには、
>>395 Teslaって時点で、個人で買うものじゃないだろ
>>395 FP16が速いようだけど、FP16で学習を安定化させるためには少し工夫が必要
できればおそらく学習も速くできる
たぶんTITAN V買った方が幸せになれる
くそ～おまいらの会話が分からないぜ。プレモル読んでくるﾉｼ
参考書見ながら勉強してて、教師あり学習はなんとなくイメージ湧くんだけど教師なし学習の部分に入ってから急に難しくて理解しにくい…
低学歴超初心者のゴミの俺が機械学習の勉強して5ヶ月
機械学習に統計学の知識なんて必要ないよ
機械学習でﾋﾞｯｸﾞﾃﾞｰﾀを扱うなら
10～1000個ぐらいのパラメータを2～3軸ぐらいで見るためには必須です。
方法の一つとしてはそうだけど、基礎技術って言われると、んー？って思う。基礎的な技術だけど。
>>409 です
PCAを使うのはあくまで可視化がメインなの？
特徴量抽出とかも書いてあってこんがらがってる
例えば20個の特徴量がある100点のデータがあって、それを2次元にしたい場合20個の特徴量からなる各データ(100点)から分散が大きい線？保持する
ってイメージなんだけど、2次元にした時点で色んなデータが削ぎ落とされて、20個の特徴量をぜんぶ引っくるめたデータの主成分だけが残って素の特徴量の概念は消えてると思うんだけどそこから特徴量を抽出って？？？？ってなってる
日本語おかしくてごめん
自分の理解が完全に間違ってたり的外れな事言ってるのは十分理解してます…
統計検定2級レベルぐらいは機械学習に限らず解析とかするのに使えるから勉強しておくといい
情報系の学科でプログラムはそこそこ勉強してて
>>421 それはなぜそう思う？
PCAの結果って、数学的にニューラルネットのオートエンコーダの結果と一致する。
機械学習の本にそう書いてあるだろ？
ニューラルネットから入門すればPCA に言及してるとは限らんだろ。そんなことも分からんのかｗ
測定を概論として知ってるといいよ
測定ってはじめてきいたかも
>>428 測定ってmeasure(測度)のこと？
たとえば時系列データの配列があったとして
>>431 分類ならIrisとかベンチマークで使われるデータセットがあるので具体的な使い方も分かると思う。
君のやりたい事が何のアルゴリズムで実現できるかは、自分で概論一通り勉強しないと決まらないと思うのよね。
>>433 ありがとうございます
irisていうの使ってみます
機械学習って行列から結果ベクトルを生成する関数をつくるもので
教師データとして入力出力ペアを与えたらそれに近い答えを出す関数が作られて
未知のデータを流し込んでもそれなりに答えが出るみたいなイメージだったから
ライブラリでやることってたいした違いはないのかと思ってた
TensorFlow使ったほうがいい
CRFもTensorFlow使えばきっと余裕でできるﾊｽﾞ
>>433 Iris 機械学習 で検索してブログ２，３よんでみたけど
これってあやめの画像を認識するだけにしか使えないの？
画像認識はいまのとこ興味なくて
時系列データ予測（株とかよりはシーズン途中でのペナントレースの優勝予測とか）
ゲームAIとか
ツイッター上で知識獲得や自動応答
とかそのへんをやってみたいんだけど
>>435 ,436
TensorFlowはきいたことあるかも
次はそれ調べてみます
ありがとうございます
自由度、将来性、普及率考えればtensorflow一択
>>437 やりたいことが明確なのはいいけどそこからアーキテクチャを勉強せずに実装に移るのは無理がある
>>439 そうなんですね
まずはプログラムを動かしてから
パラメータをかえていって使い方を覚えるみたいな感じで勉強してきたので…
とりあえず動かしてみたかったんですけど
決まったレスポンスが期待出来るWebやOSのAPI呼んで行く従来のプログラミングとは違いますな
>>441 計算は確定的に同じ結果を得られるけど？
使うデータやモデル決めて実装するのも自分だもの。誰かが用意してくれた既存のAPI呼ぶプログラミングとは違うでしょ
>>443 既存のクラスとかライブラリを一切使わないってこと？
コレクションとか配列とかもいちいち自分で管理するの？
もし仮にそうだとしたらそれを扱うような機能や関数を自分で作ってそれを利用するけどね
そこら辺は既存のライブラリ使っても結果への影響はほとんど変わらない
あいかわらず頭悪いは
>>445 既存のAPIってなんのことを言ってる？
従来のプログラムがその既存のAPIを使うだけで完成するっていう認識は正しいの？
>>444 ライブラリを使っても自分の実装範囲が広いから、簡単なチュートリアル中々ないよね。って言いたかったんだ
これでも何か行ってくるようなら４４６の人におまかせするわ
試行錯誤が必要って意味なら
数理ﾓﾃﾞﾙの話だからな
で、TensorFlowはその数理ﾓﾃﾞﾙを
>>451 数理モデルの所が物理モデルだったりするけど
やってることは同じようなものだ
それは普通に行われて来たこと
>>451 で結局何を言いたいかって事だけど
期待した結果を得られなくて大変だ
と言いたいの？
まぁガンバレ
物理はちゃんと現在もっとも有力な仮説があるからな
>>455 それが実現できないことに対する言分かな
他の組織で実現できたら
その時はどんな言分を考えるのかな
まぁ大変だろうけどガンバレ
このｽﾚの低学歴知恵遅れたちは
数学、プログラミングは論理学なのか？
プログラム板なのにプログラムの話NGだったんですね
捨て台詞を吐いて、その程度で諦めるていどのモノなのか?
捨て台詞のつもりはないんですが…
あほでも使えるAIの学習済みライブラリが、すぐに出てくるかと思ってたけど、出ないな
実用に達していないレベルなら有るけど
https://dev.smt.docomo.ne.jp/?p=docs.api.index >>463 TensorFlowのラッパーのKerasがやさしい。
サンプルは幾らでもある。
まずMNISTでもやってみなさい。
株の予想とかペナントレースの予想とか、AIの使いみちが全然わかってないなｗ
AIじゃなくて人間の知能だって未来の予測は難しいわw
その教えて君を追い払う役目の自称高学歴有識者のお前らのコメントも、いかにもブラックボックスから出た答えを鵜呑みにしてそうな抽象的なものばかり。
>>473 では正解サンプルとしてお手本を示してください。
ubuntuにjupyterをインストールしようとしたけど、これもう無理だな
どういうこと？Jupyter Notebookがブラウザで立ち上がるだけじゃダメなの？
時系列解析の自己回帰(AR)モデルについて教えてください
>>487 何を分析するかに依るけど
一般的には実測値だと思う
>>484 ありがとう。株価だよ。
すげえ悩んでたから助かったよ。
>>482 せっかくのLINUX環境なのに、CLIで起動できない実行環境なんて悲しすぎる
なんて思ったけど、jupyterlabなら簡単にインストールできた
コレ、次世代すぎて使いこなせる気がしないけど
今ぱっと動かした感じだとpycharmの更に上を行くほど更に凄いな
てか今年の春にjupyter notebookの使用方法をマスターしたのに
もう上位互換が出るのかよ。やってらんねーよ
株価って機械学習で予測できるの？
単純なデイトレゲームと仮定した場合
取引方法がはじめからわかってたら、高速なシステムトレードやるだけだろ。
予想の値を出すことは可能
判別難し過ぎワロタ
荒れるっていうか実際やってる人達が他のやつもみんなやりだすと稼げないからな
震災後は地震になると猛烈に先物を売る地震アルゴとかあったけど、
>深層異常検知の自動取引なんてすごいお手軽にリスクを最小化できる
今日休みだから勉強してたけど5時間で参考書4ページくらいしか進んでない…
俺はもう一冊読破したよ
>>489 でも野村證券とか大手はAPIに負荷かけまくりじゃん？
おかしいよね？
見せ板も出しまくりだよね？
JUPYTERLAB、まじで統合開発環境になっていやがるな
jupyterlabはvim拡張がnotebookと比べて貧弱だったから使ってなかったけど今は進化したかな？
>>500 一冊終えるのに何ヶ月もかかるわ
だからって完全に理解してるわけじゃないし時間かかった分どんどん忘れていくし…
実際コード書きながらやるんだけど参考書の説明が分からないと先に進めず考えこむんだけど分からなくても先にとりあえず進んだ方が良いのかなぁ
>>495 よーし、裏山に生えてたニラでも食うかー
>>504 いちいち立ち止まって考えるのも、無理やり先に進むのも、どっちも正解だろ
どういうやり方をしてもすぐに忘れるんだから
ただ、表面的な知識を忘れても、なにか身についているような状態にするのが理想なんじゃないかなとは思う
数学、統計学、機械学習の理論、情報科学の基本的な考え方
プログラマー的な物作りの直感や、WEB系なら文系的な能力などなど
そういうものが最も大切で、ライブラリやプログラムの文法、ツールの使い方なんかは
適当にそのつどそのつどで調べながら身につければOKなんじゃないか
最近、ツール関連は流行り廃りが激しいから、使い方をいっぱんに覚えるより
使い方がわからないツールを、英語ドキュメントを読みながら、なんとなく動かして
作業をちんたらちんたら進められる能力のほうが貴重な気がしてきた
>>499 細かく読み進める前に、学ぶ意義付けを見直した方がいいんじゃないか。
入門書であれば章の始めなどに「何のためにこの章を学習するか」という意義付けが示されるはずだし、
示されないのであればあまり入門者向けの本ではないからもっと簡単な本から学んだ方がいい
>>509 tensorflowとpytorchか？新しいの出てくるのか？
覚えるの大変だから、これ以上新しいものは出さないでほしい
その機械学習の勉強意味あるんですか？
>>509 消えるも何も TF に統合されて普通に使われてるんだが…
目的がないのに無理して学んでもしょうがないんじゃない？
同意。もう素人がちょっと勉強してどうにかなるレベルじゃないし
何となく流行ってるからオライリーのディープラーニング本買ったけど、
趣味でやるならいいんじゃないの。ゆっくり基礎から楽しめばいい
deepで回帰やってる人ほとんど殆ど見ないし明らかに回帰問題な物もクラス分類に置き換えてやってるの見る限り回帰よりも分類の方がハードル低いんですかね
>>523 いや、理論が分からないんじゃなくて、
膨大なデータと強力な計算装置がないと、たいした物は作れない。
つまり、個人がチマチマと何かを作る用途には向かない
個人でもアイデア次第で面白いもの作れると思うけどな。
AzureとかGCPとか使いたいけど無料でやりたくてもカード登録必須で無料枠越えたら勝手に課金されるのが怖い
>>529 GCPは無課金枠使い切ったらクレカ開始するまでワンステップあるよ。
使い切った時点でサービスが一度止まるはず
ヒカキンの年収が10億超え!?明石家さんま・坂上忍も驚愕の総資産とは??
https://logtube.jp/variety/28439 HIKAKIN(ヒカキン)の年収が14億円！？トップYouTuberになるまでの道のりは？
https://youtuberhyouron.com/hikakinnensyu/ なぜか観てしまう！！サバイバル系youtuberまとめ
http://tokyohitori.hatenablog.com/entry/2016/10/01/102830 あのPewDiePieがついに、初心YouTuber向けに「視聴回数」「チャンネル登録者数」を増やすコツを公開！
http://naototube.com/2017/08/14/for-new-youtubers/ 27歳で年収8億円 女性ユーチューバー「リリー・シン」の生き方
https://headlines.yahoo.co.jp/article?a=20170802-00017174-forbes-bus_all 1年で何十億円も稼ぐ高収入ユーチューバー世界ランキングトップ10
https://gigazine.net/news/20151016-highest-paid-youtuber-2015/ おもちゃのレビューで年間12億円！ 今、話題のYouTuberは6歳の男の子
https://www.businessinsider.jp/post-108355 彼女はいかにして750万人のファンがいるYouTubeスターとなったのか？
https://www.businessinsider.jp/post-242 1億円稼ぐ9歳のYouTuberがすごすぎる……アメリカで話題のEvanTubeHD
https://weekly.ascii.jp/elem/000/000/305/305548/ 専業YouTuberがYouTubeでの稼ぎ方具体的に教えます。ネタ切れしない方法は〇〇するだけ。
VIDEO YouTubeで稼げるジャンルは〇〇動画です。YouTube講座
VIDEO GTX1080 一枚くらいなら個人買うけど、何すべえ
低学歴知恵遅れが独学で機械学習を学習しても
流行りのディープラーニングやりたいのはわかるけどさ
自分はそのつもりっす。方式による計算量の多寡の検討もつかないのでまずは一通り遊んでみる
このスレってnlp ネタ殆ど出ないよな。あんまやってる人いないのかな。
>>539 このスレは超初心者救済スレだから。LSTMもattentionもまったく出てこないw
AllenNLPは良くできてるけど少しハードル高いかも、仕様の把握が面倒
>>540 サンクス、そう言えば rnn の話し見ませんね。
やっぱドキュメント読まないとダメか… pytorchもわからんとダメ？
ここに書いても無駄だろうけど
Attentionした時間順を特徴に埋め込んでから
CNNでその時間を考慮しつつ、初期層含め各層の時間情報を参照しながら畳み込む
ってモデルさっさとでないかなぁ
sota必至だから早く論文出てほしい
脳はやってる
https://www.eurekalert.org/pub_releases/2018-08/nuos-hyb082818.php でも既存の機械学習では、初期の特徴に時間を付与することはほとんどやってない
RNNやLSTMが上手くいってないのは、初期から時間情報を連続的に把握して時間変化率を学習できないからだよ
いくら微分しても変化率とっても、初期状態からの時間情報を連続的に把握できないから学習できてない
一方、音声を特徴とする場合、ほとんどシークタイムが特徴に自動的に含まれるから
処理はクソ重くなるけど、高品質な結果が得られる
人間に置き換えても一緒
感覚器官は注意と畳み込みを同時に行いながら、それらの順でシーケンスを伝えて
脳はこの順番を記憶している
機械学習もいいが、センサーにはかなわん
>>503 デフォルト設定は貧弱
カスタマイズありきで拡張性は高いんだけど、使いこなせないなら、旧版をずっと使い続けた方がよさそう
こんなツールの設定コマンドを覚える暇があったら他にやらなければならないこと五万とあるだろ
俺は覚えるつもりだけど・・・
俺みたいな雑魚はまずnumpyとpandasとmatplotlibを使いこなせるように頑張るとこからだな
>>550 的を得てるけど、深層学習が目的なら keras のサンプルでも動かすとモチベーションが保ちやすい
>>548 了解。ボチボチ覚えるつもりではいます
>>544 カプセルネットワークみたいにベクトルに拡張して空間情報とするのは？
>>544 マルコフ連鎖をモデルの中に組み込めば良いんじゃ無い？
でも微分で消えてしまうのかな．
>>551 chainerのサンプルコードの方が楽。
>>552 カプセルネットワークの手法だと
各層で獲得した特徴同士の空間的相対位置は正確になるけれど
それでは汎用性がない
脳は空間的相対位置を崩す事もできる
これは記憶している各時間情報を参照して相対位置すら入れ替え可能だからできる
注目した部分の特徴だけを切り取って、別物として貼り付けるのではなく
一定の連続的時間情報部分を切り取って、その部分の特徴を別の連続した時間情報の一部分をキーとして
完全に連結させることができる
だから本当の汎用性を獲得するためには、時間情報の連続的把握が絶対に必要になる
>>553 マルコフ性はこの場合適さない
何故ならば、脳と同様の構造を獲得するためには
過去、現在、未来すべての情報を参照する必要性があるから
過去・現在・未来の区別は単なる幻想にすぎない アインシュタイン
>>557 解き方知ってるんじゃないの? 自分で論文を書いた方が早いのでは。
隠れマルコフモデルを覚える前にマルコフモデルを覚えましょう。
ついでに言うとウィナー過程とマルチンゲールも知っとけ
初歩的な質問なんだけど、tensorflowやkeras、pytorchの違いは文法的な作法だけ？
・define and runとdefine by run、まあこの違いはなくなりつつある
>>561 論文を書くためには結果が必要だけど
この手法は脳の構造模倣だけに凄まじい量のデータが必要になるのは明白
つまり現実的には、この畳込みモデルを適用したGANも組み込む必要があって
作業量的にも計算量的にも個人ではまず無理
>>570 仮に他人の論文があっても実現はできないと言ってるように聞こえる。
個人でできる範囲で成果を取った方が有益かもね。
回帰における学習でデータ正規化を行った上で得られたモデルを使う場合は学習時の正規化で使った平均・標準偏差を使って入力値を変換しなければいけないと思うんだけど、
ごめん、見た記事では多分最初だけfit_transformして次では単にtransformしてたっぽい
>>570 相対性理論とか実証は別の人がやることだってあり得る
論文を出すのはできるんじゃね
それが認められるかどうかは内容次第だし
本当に有益ならリソースを持つ組織が実証するし
必要ならその組織に所属すればいいだけ
>>573 実際に応用として使用する時に上手く行くかどうかじゃね？
学習に使うサンプルが偏ってたらその値を使って正規化すると
実際に使うときに期待する結果にならないんじゃね？
期待する結果に有意差がなければどっちでも良いんじゃないの？
最近回帰問題解くのがキツすぎて無理やり0～1に正規化して分類みたいにやるのがいい気がしてきた
>>577 層を厚くすればなんとかなるんじゃないの？
画像データを分類して教師データを作ろうとしてるんだけど、荒くでいいから自動で分類してくれるソフトないかな。
>>578 わからないです
画像の生成モデルで出てきた問題みたいに支配的な領域に適合して細かい構造を予測できないので、分類にしてダイス係数を使おうかと考えていました
>>580 自動分類できないから機械学習使おうとしてるのにその前に自動分類してくれとは
>>583 最終的には自分で見なきゃいけないのは承知してるんだけど、荒く自動分類した後に人が修正って考えてます。
何とか教師データの作成を楽したい。
画像にキャプション付けてくれるサービス探したらありそうだけど
googleが人間にゴリラってタグ付けてたの思い出した
SVCのモデルを作る時にMinMaxscalerでスケール変換して、GridSearchCVでインスタンス作って、それに対してスケール変換した訓練データを使って学習させるって事をやったんだけど、これはダメらしいんだけど前処理の前に交差検証しろっていうのがよく分からない。
>>592 スケール変換の際にテストデータの情報を使ってしまったら、そのテストデータは「まったく新しいデータ」とは言えない。
qiitaは機械学習の良い記事があっても全然ランキング入らなくなったな
>>568 pythonはプログラム言語でtensorflowやkerasは効率よく機械学習するためのライブラリ。
>>594 それならいい記事見つけたらここにでもURL貼ってほしい
qiitaはタイムラインから良記事探すのが難しい
>>594 飽きたというよりも具体的な恩恵が得られないからモチベーションが続かないのでしょう
趣味でやっている人たちばかりじゃないから
aidemyとpyqどっちで勉強したらいいですか？
>>601 どっちもやる。
アイデミーから始めなよ。わかりやすいから。
QiitaとHatenaは、インストール大先生の記事が多すぎて困るから検索結果から外してるわ
交差検証について検索してみるとその説明として、ある1つのモデルを考えた場合に、
>>601 俺ならaidemyの無料部分だけ流し見してからPyQやる
SQuAD とかやってる人いる？ 流行りの先端モデルとかご存知なら教えてください
>>604 どっちも間違ってない。前者は本来の定義。後者は実践的。
キーエンスなんかは見込み客の連絡先を得るためにホワイトペーパー量産してるんだけどね
qiitaのいいね稼ぎじゃ具体的な恩恵にならんから続かないって話
キーエンスのホワイトペーパーは捨てアド偽名でダウンロードしてるわ
tf 1.11 出たな、更新かけたわ。2.0 はまだなのか
>>611 それな。勤め先の意向で、個人名でひたすらいいね集めたけど、ひと～つも仕事に結び付かなかったw
むしろ教えてちゃんからのメールが山ほどきて仕事にならなくなったんで撤退したわ
>>606 一時期やってたけど、もう少し具体的に。どういうアプローチかわからんとアドバイスしにくい。
機械学習のコンペばかりやっているが
>>613 どもです。普通に DR とか使ってますがスコアが全然伸びません。
>>614 一般論としては仕事でやるならコストパフォーマンスが一番大事。
協調フィルタリングって任意の精度に調整する事って出来るのかな
>>617 コスト度外視できんだろ、バカだな、なのか
>>619 できる見込み立たなかったら出来ないって言うよ
>>621 そういうことじゃないよ、金の話しだよ。精度上げるのに必要な金を気前良く払う客なんて滅多にいない。
予算枠は先に決まってるからね。逆に決まってない場合はまずアポーンｗ
>>617 一般論として、とわざわざ書いたじゃんw
>>620 なるほど… そういうことですか、別のモデルを調べてみます。
コスパって比率だからな
人工知能の本買ってきた
これで二冊目
迷ったけど
ディープラーニングとPython,Tensorflowの本にした
それにしても人工知能の本たくさんあった
5種類ぐらい
最初に買った「ゼロからはじめる～」の本は10万部いったって
ネットに同等以上の記事はいくらでもあるけど
NLP やるなら PyTorch がもう主流だけどな
みなさん、やっぱり、ハイスペックのゲーミングマシンで開発しているの？
研究や学習用途ならもうcolabでいいんじゃねーの
sotaという言葉を知らなかったので調べてみてstate of the artの略で直訳すると最先端とかそんな意味だから何となく言いたいことは分かったけど機械学習分野での定義に当たるものが全然見つからない
>>636 sotaって論文で書いてる連中は
arxivなどのオープンアクセスな論文サイトに投稿されてるコンピューターサイエンスの論文で有用なのはほとんど全部読んでる
だからどれが最高水準かを知ってるから
その分野におけるsota近辺のモデルの論文の結果と比較してsota達成としている
っていうのが俺の認識
論文完璧に追ってる以外にもカンファレンスで情報収集してるってのもあるだろうけど
物理学なんかと違って、ML分野はオープンアクセスな論壇で発展してきたからこうなってるんだろうけど
その辺の事情を追えてない日本人には全くわからん状態なのも仕方ない
あぁカンファで同時にsota報告が上がってたんだな
神経構造なんかは既に解明されてるけど
脳モデルはあくまでNN、DL起案者が何をモデルとして数学モデル化したかであり、NN、DLは脳モデルそのものではない。
よりよい結果が出たらそっちを採用するだけ。
>>643 ほんこれなんだよね
Andrew NgもDLを脳に結びつけて説明するのは、誤解が多いから止めたって言ってたわ
世にこれだけディープラーニングが広まったのは、脳モデルの説明による功績が大きいけどな
人間の脳が超省エネで高速に学習して予測結果の出力できているのと比較すると現行モデルは脳と呼ぶにはには程遠いんだけど非理系メディアでは人間の脳を模倣しているなどと喧伝される
世に広めるにはイメージが大事です。
CSなんて結局は計算能力との兼ね合いだからな
そもそも脳構造の哲学的推測における模倣はイメージじゃなくて
>>646 >>643 小脳とかをラッピングする形で大脳とかがあるように
NN を別の何かでラッピングするようなモデルがあっても
まだ全く脳のモデルですらない
遺伝的アルゴリズムも名前が強そうだけど、中身はびっくりするレベルでしょぼいよね
ニューラルネットワークなんて回帰を多層にしただけの超単純構造
>>653 はったり、生物の進化淘汰なんかどこにもない
大事なことなので復唱します。
>>653 AI関連の話題は、タイトルは大げさなんだけど内容はショボいよね。
俺は頑張りますよ！
最適かどうかは完成物があれば評価できるんだからいいでしょ
つまりはまあ、最近の機械学習の論文なんて実績と経験則の積み上げ(帰納)によるものがほとんど。
アイデアと結果はあるのだかどうやって世に広めたらよい？
結果あるなら論文書いてarxivに投稿すりゃいいじゃん
>>654 単純構造で目的を達成できるならそれでいいんじゃないの？
必要以上に複雑にして何かメリットあるの？
>>656 既に実現されてるものを真似するのは方法の一つじゃない？
バイオミメティクスとか
>>656 最適かどうかは評価尺度によるところもある
経済的になのか学習コスト的になのか結果の精度的になのかとか
>>659 結果が全てじゃね？
モデルを頭で考えても実証しなければ役に立たない
数学とは違うんじゃね？
>>660 それが何の役に立つのかとか
どんな課題を解決できるのかとか
あとは面白いかどうかとか
ARの技術もスノーとかに応用することで一般の人は知らずに広まっている
>>665-668 だからそれは問題に対する帰納的なアプローチだってば。
マイナーチェンジでしかパワーアップ出来ない。
また一概には言えないかもしれないが、結果がローカルなものになりがち
そもそも、ある程度iter重ねるか、少数サンプルで訓練した結果をプロットしつつ
pytorchのdevcon見たけど、想像以上に大企業がサポートしてて驚いたわ
見てみたけど、グローバルなAI 企業オールスターって感じか。
>>669 帰納的なアプローチがなぜダメだと判断でしているのか判らない
帰納的に発見した原理を演繹的に適用すれば良いだけじゃね？
>>671 帰納的に探索する領域の問題でしかないだろ
演繹的に適用する原理に相当するものはどこから発見するのか
Google Colaboratoryで
>>677-678 tensorflow vs pytorch の構図が完全できちゃったんで他のフレームワークはどれも厳しいけど、
tf の独占を阻止できたのは良かったと思う。 tf が pytorch を滅茶意識してて笑えるｗ
>>678 良くも悪くも学生の趣味の域をこえてないのが残念。こえる気もないのかもしれんが
NVIDIA RTX 2080 Ti vs 2080 vs 1080 Ti vs Titan V, TensorFlow Performance with CUDA 10.0
https://www.pugetsystems.com/labs/hpc/NVIDIA-RTX-2080-Ti-vs-2080-vs-1080-Ti-vs-Titan-V-TensorFlow-Performance-with-CUDA-10-0-1247/ 1080Tiと2080Ti比べるとFP32は1.35倍くらいでゲームのベンチ(レイトレコア・テンサーコア使わない場合)と同じ傾向でガッカリ
FP16ならさすがに速いね
>>684 マルチGPUの分散学習はChainerが速いらしいから頑張ってほしい
会社の技術発表で機械学習をやってみたいんだけど、
>>694 よっしゃ、ありがとうございます
1ヶ月あればなんとかなるかな、頑張ってみます
>>695 ところで業務にはどう役に立つのかね？
って言われそう
日立なんかは一年目に技術発表会やると聞いた。上の人がどこの人か知らんけど
>>696 自分が興味あることを発表する、みたいな場だから業務に役立つかどうかは大丈夫
ゲーム作ってきたやつもいたし
>>698 著作権的にいいのかな？社内向けとはいえそれをツイートまでするのはアウトな気がする。
自分のアカウントを２つ作ってやるならいいだろうけど。
Twitterはツイートした時点でその内容を誰がどう使ってもいいよ、っていう規約だったはずだから権利侵害とかの問題はないだろう
独学で機械学習やってるけど、おっさんの腐った脳味噌じゃもうダメだな
>>701 著作権で言えば
著作者人格権とか著作権に関する権利の一部は
日本の法律ではなくならないはず
そもそも、機械学習で生成されたデータが
日本は法律面で先進国としては非常に珍しい機械学習パラダイスなんだぞ
進化する機械学習パラダイス ～改正著作権法が日本のAI開発をさらに加速する～
https://storialaw.jp/blog/4936 個人情報保護とかで医療関連はデータ集めるのが大変だそうな
その辺りは医療機関自体がデータサイエンティスト雇うか業務提携するしかないだろう
>>707 つまりこういうことだな
現在：「学習用データ収集→諸々の処理→学習モデル作成」を個人や自社だけで完結させる場合は商用・非商用問わず著作権者の許可を取る必要なし
2019/1/1以降：収集した学習用データを他人・他社に公開・販売するのも著作権者の許可を取る必要なし
※もちろんデータ解析という本来の目的外に使用されることが明らかなら違法なので、漫画データの学習のためと謳って漫画スキャン画像を公開するとかはNG
ということで、明らかに悪用するような使い方でない限りデータ解析において著作権を気にする必要はない
医療用プログラムは医療用機器つくってた会社しかつくれないように規制されてるから入れん
GANのdiscriminatorの次元減らしていくのに全結合無い方がいい理由ってなんで？
>>708 個人情報を収集するときに
利用目的や利用の範囲とかを示して
合意して貰えばいいだけじゃね？
おと要求に応じて開示修正破棄できるようなシステムにしておく
ほかの個人情報でも同じ
https://arxiv.org/pdf/1312.4400.pdf > 3.2 Global Average Pooling
> ・・・
> However, the fully connected layers are prone to overfitting, thus hampering the generalization ability
> of the overall network. Dropout is proposed by Hinton et al. [5] as a regularizer which randomly
> sets half of the activations to the fully connected layers to zero during training. It has improved the
> generalization ability and largely prevents overfitting [4].
> In this paper, we propose another strategy called global average pooling to replace the traditional
> fully connected layers in CNN.
>>718 全結合いれたら汎化性が落ちるから他の方法でってことか
ありがとう
なんと！あのアナコンダが！
>>717 これから集める分ならそうだろうな
でも今まで蓄積してきたデータは？
契約上使っても問題ないデータが十分集まる頃にはとっくに置いてかれている
>>722 再確認すれば良い
利用規約の改定とか普通によくあることじゃね？
>>723 その再確認を既に退院した人含めて一人一人にするのは結構大変なのでは
arxivのML・DL論文読んでて、日本人の論文少ないよね
>>724 新たに同等のデータを取るのに比べたら手軽じゃね？
現状の法律でも個人情報の開示や削除要請には応じる必要があるからその準備はできているはず
分類するときにA,B,C,その他みたいに分類できるアルゴってないですか？
one vs allかone vs restで検索
>>735 文系PGを抱えてる会社を食い物にする商売ってどんなの？
AI（人工知能）で既存のホワイトカラーの仕事がなくなっていく一方、
アトラクター？
これからの時代、人とのコミュニケーションを鍛えた方が生き残れると思うよ
メモリ8GBでやってたら訓練データメモリに載せるだけでPCカックカクでわろた
tensorflowなら訓練データをtfrecordにして非同期読み込みすることで解決できるけど
もちろんTFRecord にしてもいいけど、
訓練データ全部メモリに乗せてやるなんてMNISTくらいでは
GANを勉強してるんだけど識別者の方は基本的に偽物だと判別し続けるってことで合ってる？
>>751 じゃあどうやって識別者は学習していくの？
教師ありではないんだよね
>>752 ジェネレータが生成したデータか本物のデータかってラベルはGANの枠組みとして付けられるよね
GAN自体は教師なしだけど、識別者はこのラベルを使って教師あり学習する
識別側の学習には教師ラベルを使ってるってこと？
>>753 安価つけ忘れた
ID変わったけど
>>752 です
>>754 識別側はデータが本物なら1、偽物なら0を出力するように学習するので、生成側は自分が出力した画像に対して識別側に1を出力させるように学習する
>>750 偽物だと判別し続けるモデルに何の価値がある？何にも判別してないではないか？
言ってておかしいと思わないのか？
GCPのAutoMLを利用しようと思ったんですけど、プロジェクトを選んでSET UP NOW押すとCustomer bucket missingって出てセットアップ完了しないのですが、今ってAutoML使えないんですか？
自己解決
CNNの分類による検出器の作り方ですが、
>>760 それだと分類じゃなくて
YoloとかSSDとか検出器使ったほうがよくない？
自動運転ってyoloとかでオブジェクトを単体で視認したあとってif文とかでやってるのそれとも論理プログラミングとか？
>>761 検出器を使っていない理由は画像全体にラベリングしたいからです。
それだとsegnetとかをファインチューニングしろ、と言われそうですが
ピクセル単位のラベル付けが困難なためです。
結局のところsegnetのようなものをCNN分類を矩形走査することで画像単位ラベルのデータセットのみで作ってみたいということです。
>763
BERTの成功とその方向性から垣間見える
脳構造の模倣における連続的時間情報の把握の重要性
俺が
>>650 で指摘している状態
＞おそらくは完璧を求めると
＞階層的にAttentionによる時間情報とポジション付与をしつつ、それらを考慮したCNNで畳み込み
＞なおかつそれらすべての層を参照しながら、動的に再帰的処理する必要性がある
＞これにGAN的な世界モデルによる強化学習手法を取り入れれば汎用AIができるだろう
これとBERTで使われている、transformerよりも更に多層化して各層の参照密度を増したAttentionとの間に
共通性を認識できる人がいれば、俺の言い分を理解してもらえるだろう
私たち日本人の、日本国憲法を改正しましょう。
>>767 じゃあ違うネタ出してみるとか
確率モデルのpythonライブラリは何使うのが良いかしら
>>764 画像全体にラベリングってマルチラベリングしたいってこと？
yoloもssdもラベル作成は矩形単位だよ
>>770 例えば、
2cm四方の正方形の画像があった場合
その正方形を1cmの正方形で4分割して
分割した4枚それぞれの正方形の画像が人か人でないか分類したい、
ということです。
>>771 その分割から分類までやってくれるのが
まさにyoloとかssdなんだけど
だめなの？
>>772 すいませんちょっと質問の仕方を変えさせていただきます。
入力画像に対して「犬」、「猫」、「それ以外」の3クラスで分類を行いたい場合、
「それ以外」のクラスとしてどのようなデータセットを与えるべきでしょうか？
cifar-10やimagenetの犬猫以外のクラスを与えたら？
>>774 レス：1-200 201-400 401-600 601-800 801-1000 ALL
このスレへの固定リンク： http://5chb.net/r/tech/1533635797/ ヒント： http ://xxxx.5chb .net/xxxx のようにb を入れるだけでここでスレ保存、閲覧できます。TOPへ TOPへ
全掲示板一覧 この掲示板へ 人気スレ |
Youtube 動画
>50
>100
>200
>300
>500
>1000枚
新着画像 ↓「【統計分析】機械学習・データマイニング20 YouTube動画>2本 ->画像>8枚 」 を見た人も見ています：・日本のフリーランスプログラミング言語案件ランキング 「Python」がシェア拡大、ブロックチェーンや機械学習などの需要増で バイドゥ、量子機械学習モデル開発ツールキットをGitHubで公開 【IT】MIT発のスタートアップFeature Labsは機械学習アルゴリズムの開発を加速する 【ハードウェア】機械学習に最適とされる「NVIDIA H100」の代替になり得る「NVIDIA L40S」の性能とは？ [すらいむ★] 【ディープラーニング】カムフラージュ画像を深層学習で自動生成する「Deep Camouflage Images」（中山大学と華南理工大学） [少考さん★] 【テレビ】ミッツ・マングローブ、ＧｏＴｏ見直しにチクリ「予測力、想像力、学習能力がちょっと欠落している方たちが多いな」 [爆笑ゴリラ★] 【国際】コマツがスウェーデン企業買収、林業機械事業を強化 【機械式】グランドセイコーを語る92【GS】 【航空】デルタ機の飛行中のエンジンのトラブル:便乗したTwitterユーザーが悪ふざけもデルタ側は機械的テンプレ対応【動画】[07/12] 【ラッパー】Awichが無償の英語学習プロジェクト立ち上げ、沖縄の若者にアトランタ留学の機会提供 [少考さん★] サイバー大学【オンデマンド学習】8 サイバー大学【オンデマンド学習】3 【朗報】イーロン・マスク「もしかして、デカい機械を使えば車体を一発で作れるんじゃないか？」➡大成功 【マイナンバーカード】平井デジタル相、2022年度末までにほぼ全ての国民に普及させる政府目標「なかなか難しい」達成は困難との認識★2 [記憶たどり。★] 【朗報】マイナンバー機能スマホ、年度内に 河野太郎デジタル相 【中央日報】米国のテーパリング、韓国の輸出に打撃…金融危機時は新興国向け輸出１．４ポイント縮小 [10/21] [新種のホケモン★] 【モニタリング待機】ももいろクローバーZ潜入捜査官16929【イマジネはお休み】 【ロマサガRS】ロマンシングサガ リ・ユニバース★1270【ハーフアニバ第二弾待機中】 【計算機科学】古典コンピュータでは量子アニーリングをシミュレートできない、東工大が確認 [すらいむ★] 【アニメ】#王様ランキング：人気ウェブマンガがテレビアニメ化 ノイタミナで2021年10月スタート [征夷大将軍★] ロマサガRS】ロマンシングサガ リ・ユニバース★1265【ハーフアミバ第二弾待機中】 ★映画実況18390 午後ロー『ノウイング』ニコラス・ケイジ主演！地球滅亡の危機！！！！ #2 一人で行くカントリー・ガールズ 船木結バースデーイベント2017 【イタリア】アップルとサムスンに計19億円の罰金 アップデート奨励で旧機種の稼働速度を遅くしていた「計画的陳腐化」問題 [10/25] 【脳科学】脳マッピングをゲーマーにクラウドソーシングすることで新種のニューロンを発見することに成功［05/21］ EU、スマホに｢裏蓋を開けてのバッテリー交換機能、OSバージョン更新3年、セキュリティ更新5年｣を義務化！日本メーカー死亡か？ 【ディープス】一般男女モニタリングAV 素人女子大生限定！恋人がいない大学生の男女はキスだけで恋に落ちて初対面の相手とSEXしてしまうのか？惹...【ハイビジョン/独占配信】 ©bbspink.com 痛いカメコ、カメラマン、モデルのツイッター、ブログ Part.130 痛いカメコ、カメラマン、モデルのツイッター、ブログ Part.150 【嫌儲公認】あのスマホでマイニング可能なπコインの開発者が明日スタンフォード大学で講演会【仮想通貨】 痛いカメコ、カメラマン、モデルのツイッター、ブログ Part.105 「ジョニーライデン専用 ゲルググ・ウェルテクス・テスタロッサ」がガンプラ化。価格は2,970円 【高校野球】創部５年目で初の聖地へ 聖カタリナ学園の秘密 センバツ高校野球 [砂漠のマスカレード★] 痛いカメコ、カメラマン、モデルのツイッター、ブログ Part.152 【無限増殖バグ】『スマブラSP』更新データVer.1.2.1配信、いくらかの問題を修正。“しずえインフィニティ”は健在 ちんちんデカそうな大学時代ラグビーやってましたみたいなイケイケの営業マンほど実は短小包茎だったりする 【ＡＩ】米国議会図書館が機械学習で300年ぶんの新聞の画像を抽出し検索可能に [しじみ★] 機械学習とかやってる大学生なんだけど 【計算機科学】IBM、4000量子ビット超のシステムを2025年に--量子コンピューティングのロードマップ [すらいむ★] 【パキスタン】首都イスラマバード近郊の住宅地に小型機が墜落：17人死亡「7人も亡くなった家庭もある」[07/30] 工作機械受注総額、前年比マイナス20％。中世ジャップランド終わっちゃうの？( ´･ω･`) 痛いカメコ、カメラマン、モデルのツイッター、ブログ Part.50 【オミクロン株感染事例施設】ビッグデータで判明・・幼稚園や小学校などのワクチン未接種の子どもを対象とする教育機関で集中的に増加 [影のたけし軍団★] 【タイ】オカマの抱きつきスリ集団に遭遇！！2017年11月現在もバンコク・アソークに出現[11/12] 【話題】欧州の「AI企業」の4割、機械学習を使用せず［03/06］ 【インド】インド初の「日本語教師育成センター」 日本語学習熱を追い風に交流促進へ［07/23］ 【プロレス】76歳ミル・マスカラスが飛んだ！ダイビングボディーアタックに国技館喝采…ジャイアント馬場没20年追善興行 サイバー大学【オンデマンド学習】10 【悲報】アイドル「豆柴の大群」CD予約券、コンビニコピー機で偽造した24歳大学生男性逮捕
03:56:26 up 23 days, 19:18, 4 users, load average: 32.51, 63.22, 87.19
in 0.35748386383057 sec
@[email protected] on 111517
