X
トップページ⇒missingno
1002コメント273KB

【すずめ】stats.2ch.net指令所【からす・とんび・かもめ】★2©2ch.net

■ このスレッドは過去ログ倉庫に格納されています
0001動け動けウゴウゴ２ちゃんねる 転載ダメ©2ch.net
垢版 |
2016/01/26(火) 17:38:18.01ID:SRZeh7MY
http://stats.2ch.net/ は、２ちゃんねるのいろいろな情報を収集しています

http://stats.2ch.net/suzume.cgi　当日の投稿数順位を板別に掲載。サーバ毎のもあります
http://stats.2ch.net/ichiban.html　当日いちばん始めの投稿から10番目までを掲載中。キリ番も同時掲載
http://stats.2ch.net/ichiban/　過去一覧

http://stats.2ch.net/tonbi.cgi　時間帯毎の投稿数順位を板別に掲載

http://stats.2ch.net/karasu.cgi　サーバ毎の投稿数

http://stats.2ch.net/kamome.cgi　とんびの上位互換？虹色ですｗ

ーーーーーーーーーーーーーーーー
さてこのstats.2ch.netもご老体になっています
いろいろと不具合を抱えていますが
生暖かく末永く見守っていただければと
（前スレ1より）

・前スレ
【すずめ】stats.2ch.net指令所【からす・とんび・かもめ】
http://carpenter.2ch.net/test/read.cgi/operatex/1447206078/
0290動け動けウゴウゴ２ちゃんねる
垢版 |
2016/03/02(水) 01:51:14.33
まあその辺の記事は、ハッシュで何とかなりませんかね？→いいからDB使えよ
がほとんどなので、DB使うんならあんま読む必要ないっす
0292動け動けウゴウゴ２ちゃんねる
垢版 |
2016/03/02(水) 02:00:22.36ID:vkzIE1tW
組み込みとかで1台完結ならsqliteが速いみたいな検証読んだ覚えある
0297動け動けウゴウゴ２ちゃんねる
垢版 |
2016/03/02(水) 03:20:43.94ID:vkzIE1tW
何か入れるぐらいならありものでいいんじゃねーかな感もないわけではない
何を初期装備してるのかしらんけど
0303Glass Cat ★
垢版 |
2016/03/02(水) 07:45:27.40ID:CAP_USER
MySQLでINDEX張ってするかSQLiteでするか
UAとかはMD5とかにしてソートした方がいいとおもふ
0308Glass Cat ★
垢版 |
2016/03/02(水) 17:55:35.06ID:CAP_USER
MySQLおすすめ（布教
0311動け動けウゴウゴ２ちゃんねる
垢版 |
2016/03/02(水) 19:13:05.07
決まりきったデータしか扱わないなら
いつもと似たようなインターフェイスで使えるサブルーチン作ってラップしちゃえばいいんじゃね
とか言ってるうちに普通にできたっぽいな
0312Glass Cat ★
垢版 |
2016/03/02(水) 19:33:35.80ID:CAP_USER
大量のデータをどれだけ処理できるのかという問題

MySQLおすすめ（布教です
0317Glass Cat ★
垢版 |
2016/03/02(水) 19:59:33.87ID:CAP_USER
数だけ数えるならKVSなんだけどなあ
0320Glass Cat ★
垢版 |
2016/03/02(水) 21:43:05.40ID:CAP_USER
どういうやり方で？
0323Glass Cat ★
垢版 |
2016/03/02(水) 21:48:46.99ID:CAP_USER
memcachedは速いらしい
IPごとPV,UAごとPVとか別々にキーを変える
0325Glass Cat ★
垢版 |
2016/03/02(水) 21:53:07.74ID:CAP_USER
速度比較
memcached 19958.5
redis 19627.5
redis コンバートなし 20638.5
DB postgres 956.5
ハッシュ 3402237.3
0328Glass Cat ★
垢版 |
2016/03/02(水) 22:02:21.17ID:CAP_USER
カウント取るなら324でincrすればいいんじゃね?
あとは決まった時間ごとにRDBMSへ突っ込む
漏れが起きないようにキーには時間を
0332Glass Cat ★
垢版 |
2016/03/02(水) 22:05:47.79ID:CAP_USER
>>330
BinaryにしてIntかLongに突っ込む
ＫＶＳなら余裕
0336Glass Cat ★
垢版 |
2016/03/02(水) 22:14:46.40ID:CAP_USER
デーモン作ってハッシュ
0338Glass Cat ★
垢版 |
2016/03/02(水) 22:20:48.96ID:CAP_USER
いまパイプに流れてるんでしょ？
ならハッシュだろ
0339Glass Cat ★
垢版 |
2016/03/02(水) 22:25:33.60ID:CAP_USER
IPごとのハッシュ、UAごとのハッシュ、種類ごとのハッシュなどなど
0343Glass Cat ★
垢版 |
2016/03/02(水) 22:38:04.49ID:CAP_USER
https://twitter.com/cause_less/status/293038390130114560
unix socketでbindのログをリアルタイム集計できないかと思ったらbind9.8以降ではログ出力がisc_file_isplainfileで通常ファイルかチェックしている。パストラバーサル心配なら所有者とパーミッションでやってくれよ……
0344Mango Mangüé ★ そうだ２ちゃんねるしよう！©2ch.net
垢版 |
2016/03/02(水) 23:14:04.85ID:CAP_USER?S★(824723)

# memcached_enable (bool): Set it to "YES" to enable memcached.
# Default is "NO".
# memcached_flags (flags): Set extra flags here. More options in memcached(1)
# Default is empty "".
# memcached_user (user): Set user to run memcached.
# Default is "nobody".
# memcached_profiles (str): Set to "" by default.
# Define your profiles here.
# memcached_post_start (str): Set extra commands that should be executed after memcached was successfully
# started here.
# Default is empty "".

.confが無いのか
0360Glass Cat ★
垢版 |
2016/03/03(木) 18:35:56.39ID:CAP_USER
数数える　GROUP BY
探す　WHERE
0372Glass Cat ★
垢版 |
2016/03/03(木) 21:32:13.73ID:CAP_USER
ShMemって通信(TCP)しないmemcachedみたいに使えるから便利
Cache::SharedMemoryCache
改善点とか指摘したいけどソースも実際の鯖内部もないのであんまできないあてにならない
0377 [Φ|(|´|Д|`|)|Φ] BBxed!! 動け動けウゴウゴ２ちゃんねる 転載ダメ©2ch.net
垢版 |
2016/03/03(木) 22:12:20.18ID:fzT+23Yw
あ
[JP]
QUERY:[58.188.170.45] (ﾜｯﾁｮｲ) d3c1-6e0I
HOST NAME: 58-188-170-45f1.hyg1.eonet.ne.jp.
IP: 58.188.170.45
-- Results
SPAMCOP: 58.188.170.45 NONE
BBC: 58.188.170.45 NONE
BBQ: 58.188.170.45 Burned BBQ (proxy60) Registered:20160303-212303 BBR-4
BBX: 58.188.170.45 Burned BBX BBR:4 MD5:0d00d75a2e740c90bee62198c7421462
-- End of job.
0379Mango Mangüé ★ そうだ２ちゃんねるしよう！©2ch.net
垢版 |
2016/03/03(木) 23:11:08.29ID:CAP_USER?S★(824723)

yomogi.TOTAL 2534
yomogi.TOTAL.UA.UNIQUE 56
yomogi.LIVE.UA.UNIQUE 34
yomogi.POOL.UA.UNIQUE 1
yomogi.PAST.UA.UNIQUE 15
yomogi.NONE.UA.UNIQUE 6
yomogi.TOTAL.IP.UNIQUE 6167
yomogi.LIVE.IP.UNIQUE 4876
yomogi.POOL.IP.UNIQUE 1
yomogi.PAST.IP.UNIQUE 1235
yomogi.NONE.IP.UNIQUE 55

Proc time: 58.925969 sec.

/md を16GBに変更
そういえば.sockが使えるからと/mdに振ってみたけれど
それほど良い感じにはならなかった
0380Glass Cat ★
垢版 |
2016/03/03(木) 23:12:57.82ID:CAP_USER
どのようにまとめるかが大切
0381Mango Mangüé ★ そうだ２ちゃんねるしよう！©2ch.net
垢版 |
2016/03/04(金) 00:53:28.84ID:CAP_USER?S★(824723)

-- yomogi --
yomogi:TOTAL 1769
yomogi:TOTAL:LIVE 1191
yomogi:TOTAL:POOL 0
yomogi:TOTAL:PAST 561
yomogi:TOTAL:NONE 0
yomogi:UNIQUE_IP:TOTAL 510
yomogi:UNIQUE_IP:LIVE 1191
yomogi:UNIQUE_IP:POOL 0
yomogi:UNIQUE_IP:PAST 561
yomogi:UNIQUE_IP:NONE 17

-- Proc. time: 6.983701 sec.
元のやり方を少し工夫してみた結果w
memcachedもsqlもいらねーw
ちなon Disk(非MD)
0384Mango Mangüé ★ そうだ２ちゃんねるしよう！©2ch.net
垢版 |
2016/03/04(金) 01:00:50.71ID:CAP_USER?S★(824723)

-- yomogi --
yomogi:TOTAL 1943
yomogi:TOTAL:LIVE 1285
yomogi:TOTAL:POOL 0
yomogi:TOTAL:PAST 643
yomogi:TOTAL:NONE 0
yomogi:UNIQUE_IP:TOTAL 559
yomogi:UNIQUE_IP:LIVE 1285
yomogi:UNIQUE_IP:POOL 0
yomogi:UNIQUE_IP:PAST 643
yomogi:UNIQUE_IP:NONE 15

-- Proc. time: 5.892538 sec.

on /md
びっくりするほど変わらなかった
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況