ITに食わしい人質問なんだけもnodejsでこんなかんじのDBやりたいんだけど

[0001 それでも動く名無し 2022/06/02(木) 13:41:35.54 ID:seVx1N/X0]

ああああう

[0002 それでも動く名無し 2022/06/02(木) 13:41:50.06 ID:AxIa7RjJM]

あ？

[0003 それでも動く名無し 2022/06/02(木) 13:42:42.45 ID:seVx1N/X0]

まじでうぜえ

[0004 それでも動く名無し 2022/06/02(木) 13:43:51.47 ID:seVx1N/X0]

画像はれねえ

[0005 それでも動く名無し 2022/06/02(木) 13:44:28.77 ID:seVx1N/X0]

こんなやつ

id| 書き込み|名前
1
2
3
4
5

[0006 それでも動く名無し 2022/06/02(木) 13:45:53.24 ID:AxIa7RjJM]

やりゃええやん

[0007 それでも動く名無し 2022/06/02(木) 13:46:16.38 ID:seVx1N/X0]

mysqlでできる？

[0008 それでも動く名無し 2022/06/02(木) 13:46:36.52 ID:AxIa7RjJM]

うん

[0009 それでも動く名無し 2022/06/02(木) 13:46:57.07 ID:seVx1N/X0]

連想配列うまく使ったらできる？

[0010 それでも動く名無し 2022/06/02(木) 13:47:08.13 ID:seVx1N/X0]

mysqlむずそうで嫌なんだが

[0011 それでも動く名無し 2022/06/02(木) 13:47:46.24 ID:Tp8tuWqg0]

できるで

[0012 それでも動く名無し 2022/06/02(木) 13:47:47.51 ID:AxIa7RjJM]

連想配列はMySQL関係ない
MySQL使わずに連想配列だけで作ることもできる

[0013 それでも動く名無し 2022/06/02(木) 13:48:13.93 ID:I33sm+Kb0]

できますよ！ﾆｺﾆｺ

[0014 それでも動く名無し 2022/06/02(木) 13:48:36.04 ID:seVx1N/X0]

連想配列がsql関係ないのは知っとる

[0015 それでも動く名無し 2022/06/02(木) 13:48:50.36 ID:seVx1N/X0]

連想配列だけで作るか

[0016 それでも動く名無し 2022/06/02(木) 13:50:18.15 ID:seVx1N/X0]

みたいな感じで行くか
1{
id:
kakiko:
name:
}

[0017 それでも動く名無し 2022/06/02(木) 13:50:47.36 ID:AxIa7RjJM]

解決したんか？
オンメモリで処理するならええけど永続化を考えると書き込み時のパフォーマンスが低下したりACIDのDが担保できなくなる可能性があることは覚えといてな

[0018 それでも動く名無し 2022/06/02(木) 13:51:11.02 ID:atTrzm0Qr]

NoSQLでええやろ

[0019 それでも動く名無し 2022/06/02(木) 13:51:28.35 ID:17INszPad]

MongoDBええで🤗

[0020 それでも動く名無し 2022/06/02(木) 13:52:40.36 ID:AxIa7RjJM]

あとこの用途ならなるべく連想配列よりMap使ったほうがええで（シリアライズやデシリアライズが頻繁な場合は別）

>>18
NoSQLもまあまあめんどいやろ

[0021 それでも動く名無し 2022/06/02(木) 13:53:36.52 ID:seVx1N/X0]

>>20
mapってmap()のこと？

[0022 それでも動く名無し 2022/06/02(木) 13:53:40.32 ID:PljQ2UIE0]

MySQLってどうなん？

[0023 それでも動く名無し 2022/06/02(木) 13:54:43.08 ID:AxIa7RjJM]

>>21
いやnew Map()
ES5で導入された少し新しい（とはいえ5年以上前からあるけど）機能や

[0024 それでも動く名無し 2022/06/02(木) 13:55:54.66 ID:seVx1N/X0]

ついでに質問させてもらうんやが
5chのスレタイのURLをスクレイピングしてローカルのtxtに配列として出力したんやがこのURL
全部に対してスクレイピングを実行する方法がわからん
配列として保存したtxtを読み込んで普通の変数に格納するのはできた

[0025 それでも動く名無し 2022/06/02(木) 13:56:17.36 ID:AxIa7RjJM]

>>22
パフォーマンスはPostgreSQLやMySQL互換のMariaDBのほうがええらしいからわざわざ選ぶ理由はあんまないと思う

[0026 それでも動く名無し 2022/06/02(木) 13:57:26.87 ID:AxIa7RjJM]

スクレイピングして何をするんや？

[0027 それでも動く名無し 2022/06/02(木) 13:58:41.32 ID:9bdEbElSd]

>>24
1行ずつ読み込んでループ回すだけやん
Nodejsならreadlineとかで

[0028 それでも動く名無し 2022/06/02(木) 13:59:13.35 ID:seVx1N/X0]

>>23
これnew map("name","one",テスト)
みたいに2つ以上の鍵指定できる？

[0029 それでも動く名無し 2022/06/02(木) 13:59:30.36 ID:7oa/oladd]

なんなんや
馬力だけで初心者っぽいんやが

[0030 それでも動く名無し 2022/06/02(木) 14:00:22.95 ID:PljQ2UIE0]

>>25
まじかよ

[0031 それでも動く名無し 2022/06/02(木) 14:00:29.20 ID:AxIa7RjJM]

>>28
無理
そういうのがやりたいなら複数Mapを作るか、DB使うかの二択（SQLでもNoSQLでも）

[0032 それでも動く名無し 2022/06/02(木) 14:02:06.55 ID:seVx1N/X0]

>>26
5chの書き込みの分析したい

[0033 それでも動く名無し 2022/06/02(木) 14:02:09.10 ID:xDh88OGAd]

nodejsって文献少なくて困るわ
ID:AxIa7RjJMさんはなんの参考書で極めたんや？

[0034 それでも動く名無し 2022/06/02(木) 14:02:18.64 ID:seVx1N/X0]

>>29
うまちからってなんやねん

[0035 それでも動く名無し 2022/06/02(木) 14:03:03.69 ID:seVx1N/X0]

cheerio-httpcliってやつ使ってるんだが

[0036 それでも動く名無し 2022/06/02(木) 14:04:09.80 ID:hAj5HTrlM]

スクレイピングならPythonでやってるなぁ

[0037 それでも動く名無し 2022/06/02(木) 14:04:23.76 ID:AxIa7RjJM]

>>33
独学やけど大昔フロントエンドのJSを書いててそこからNode.js入ったから今から何読めばいいかみたいなのはわからんわ

[0038 それでも動く名無し 2022/06/02(木) 14:04:25.02 ID:ZdhI8xdWd]

NodejsエアプなんやけどこれNodeでやる必要ある？
他にできる言語あるならそっちでやればええんちゃうん

[0039 それでも動く名無し 2022/06/02(木) 14:05:08.15 ID:seVx1N/X0]

>>38
基本的な文法わかるのがjsしかない

[0040 それでも動く名無し 2022/06/02(木) 14:06:08.71 ID:pDIQulhid]

PostgreSQLすこ🤗
パーティショニングがうんちっちだったけど最近改善しつつあってようやっとる🙂

[0041 それでも動く名無し 2022/06/02(木) 14:07:09.91 ID:hAj5HTrlM]

puppeteerよなJSなら

[0042 それでも動く名無し 2022/06/02(木) 14:09:02.87 ID:CjuC9Jts0]

全体として何をやりたいのか説明してくれると
方針含めて相談しやすいぞ
IT系G民多いし

[0043 それでも動く名無し 2022/06/02(木) 14:09:17.57 ID:xDh88OGAd]

>>37
凄いですね
nodejs使える人って周りにいます？

[0044 それでも動く名無し 2022/06/02(木) 14:09:58.87 ID:AxIa7RjJM]

5chのスクレイピングとかグロガイジくらいしかやりたがりそうなやつおらん気がするわ
まああいつはすでにやってるんやろうけど

[0045 それでも動く名無し 2022/06/02(木) 14:10:46.12 ID:seVx1N/X0]

純粋にどんな単語がどれくらい使われてるか知りたいだけや

[0046 それでも動く名無し 2022/06/02(木) 14:11:22.31 ID:hAj5HTrlM]

5chスクレイピングちゃんとやるならIPころころ機能つけないと面倒やから結局JSだけじゃ厳しいと思うわ

[0047 それでも動く名無し 転載ダメを消してはダメ改変もダメ 2022/06/02(木) 14:11:45.38 ID:e8psufLB0]

ようわからんけどfirebaseとかじゃあかんの？

[0048 それでも動く名無し 2022/06/02(木) 14:12:04.37 ID:seVx1N/X0]

>>46
なんでipころころしないといけないんや？
60分おきにデータ取得とかでもだめなんか？

[0049 それでも動く名無し 2022/06/02(木) 14:12:28.36 ID:hAj5HTrlM]

形態素解析ってnodejsで便利にできたっけ

[0050 それでも動く名無し アドセンスクリックお願いします 2022/06/02(木) 14:12:33.95 ID:CKRDSgrH0]

pythonでも出来る？

[0051 それでも動く名無し 2022/06/02(木) 14:13:01.93 ID:hAj5HTrlM]

>>48
60分おきにリクエスト1とかなら別にいらないと思うで

[0052 それでも動く名無し 2022/06/02(木) 14:13:36.45 ID:CjuC9Jts0]

>>50
Pythonでもできるというか
スクレイピングはよく教材にされるから資料も多い

[0053 それでも動く名無し 2022/06/02(木) 14:14:01.97 ID:seVx1N/X0]

>>51
リクエスト1ってことはない
800くらい送る

[0054 それでも動く名無し 2022/06/02(木) 14:14:25.03 ID:hAj5HTrlM]

>>53
なら多分goneになる

[0055 それでも動く名無し 2022/06/02(木) 14:14:37.30 ID:AxIa7RjJM]

>>49
便利にやる方法はあんまないかもしれんけどJUMAN++とかを実行すればまあできるんちゃう

[0056 それでも動く名無し 2022/06/02(木) 14:15:08.94 ID:seVx1N/X0]

>>54
IPころころのヒント教えてくれ！たのむ

[0057 それでも動く名無し 2022/06/02(木) 14:15:26.29 ID:hAj5HTrlM]

5chのAPI叩くなら問題ないとは思うけどそうやないなら800リクエストを60ごとは多分規制かかるで

[0058 それでも動く名無し 2022/06/02(木) 14:17:16.18 ID:hAj5HTrlM]

>>56
VPNとかプロキシとかあとは家なら直接モデムの電源をスクレイピングとかでオンオフとか
スマホならルート化してabdから飛行機やらモバイル通信のAPI叩くとかいくらでもあるわ

[0059 それでも動く名無し 2022/06/02(木) 14:17:47.39 ID:hAj5HTrlM]

>>55
それ動くならええんちゃうかな

[0060 それでも動く名無し 2022/06/02(木) 14:20:09.78 ID:seVx1N/X0]

これしなきゃならないのか

・スクレイピングする際のipころころできるやつを見つける
・複数のURLをスクレイピングする方法を見つける