X
トップページ⇒missingno
1002コメント273KB

【すずめ】stats.2ch.net指令所【からす・とんび・かもめ】★2©2ch.net

■ このスレッドは過去ログ倉庫に格納されています
0001動け動けウゴウゴ２ちゃんねる 転載ダメ©2ch.net
垢版 |
2016/01/26(火) 17:38:18.01ID:SRZeh7MY
http://stats.2ch.net/ は、２ちゃんねるのいろいろな情報を収集しています

http://stats.2ch.net/suzume.cgi　当日の投稿数順位を板別に掲載。サーバ毎のもあります
http://stats.2ch.net/ichiban.html　当日いちばん始めの投稿から10番目までを掲載中。キリ番も同時掲載
http://stats.2ch.net/ichiban/　過去一覧

http://stats.2ch.net/tonbi.cgi　時間帯毎の投稿数順位を板別に掲載

http://stats.2ch.net/karasu.cgi　サーバ毎の投稿数

http://stats.2ch.net/kamome.cgi　とんびの上位互換？虹色ですｗ

ーーーーーーーーーーーーーーーー
さてこのstats.2ch.netもご老体になっています
いろいろと不具合を抱えていますが
生暖かく末永く見守っていただければと
（前スレ1より）

・前スレ
【すずめ】stats.2ch.net指令所【からす・とんび・かもめ】
http://carpenter.2ch.net/test/read.cgi/operatex/1447206078/
0311動け動けウゴウゴ２ちゃんねる
垢版 |
2016/03/02(水) 19:13:05.07
決まりきったデータしか扱わないなら
いつもと似たようなインターフェイスで使えるサブルーチン作ってラップしちゃえばいいんじゃね
とか言ってるうちに普通にできたっぽいな
0312Glass Cat ★
垢版 |
2016/03/02(水) 19:33:35.80ID:CAP_USER
大量のデータをどれだけ処理できるのかという問題

MySQLおすすめ（布教です
0317Glass Cat ★
垢版 |
2016/03/02(水) 19:59:33.87ID:CAP_USER
数だけ数えるならKVSなんだけどなあ
0320Glass Cat ★
垢版 |
2016/03/02(水) 21:43:05.40ID:CAP_USER
どういうやり方で？
0323Glass Cat ★
垢版 |
2016/03/02(水) 21:48:46.99ID:CAP_USER
memcachedは速いらしい
IPごとPV,UAごとPVとか別々にキーを変える
0325Glass Cat ★
垢版 |
2016/03/02(水) 21:53:07.74ID:CAP_USER
速度比較
memcached 19958.5
redis 19627.5
redis コンバートなし 20638.5
DB postgres 956.5
ハッシュ 3402237.3
0328Glass Cat ★
垢版 |
2016/03/02(水) 22:02:21.17ID:CAP_USER
カウント取るなら324でincrすればいいんじゃね?
あとは決まった時間ごとにRDBMSへ突っ込む
漏れが起きないようにキーには時間を
0332Glass Cat ★
垢版 |
2016/03/02(水) 22:05:47.79ID:CAP_USER
>>330
BinaryにしてIntかLongに突っ込む
ＫＶＳなら余裕
0336Glass Cat ★
垢版 |
2016/03/02(水) 22:14:46.40ID:CAP_USER
デーモン作ってハッシュ
0338Glass Cat ★
垢版 |
2016/03/02(水) 22:20:48.96ID:CAP_USER
いまパイプに流れてるんでしょ？
ならハッシュだろ
0339Glass Cat ★
垢版 |
2016/03/02(水) 22:25:33.60ID:CAP_USER
IPごとのハッシュ、UAごとのハッシュ、種類ごとのハッシュなどなど
0343Glass Cat ★
垢版 |
2016/03/02(水) 22:38:04.49ID:CAP_USER
https://twitter.com/cause_less/status/293038390130114560
unix socketでbindのログをリアルタイム集計できないかと思ったらbind9.8以降ではログ出力がisc_file_isplainfileで通常ファイルかチェックしている。パストラバーサル心配なら所有者とパーミッションでやってくれよ……
0344Mango Mangüé ★ そうだ２ちゃんねるしよう！©2ch.net
垢版 |
2016/03/02(水) 23:14:04.85ID:CAP_USER?S★(824723)

# memcached_enable (bool): Set it to "YES" to enable memcached.
# Default is "NO".
# memcached_flags (flags): Set extra flags here. More options in memcached(1)
# Default is empty "".
# memcached_user (user): Set user to run memcached.
# Default is "nobody".
# memcached_profiles (str): Set to "" by default.
# Define your profiles here.
# memcached_post_start (str): Set extra commands that should be executed after memcached was successfully
# started here.
# Default is empty "".

.confが無いのか
0360Glass Cat ★
垢版 |
2016/03/03(木) 18:35:56.39ID:CAP_USER
数数える　GROUP BY
探す　WHERE
0372Glass Cat ★
垢版 |
2016/03/03(木) 21:32:13.73ID:CAP_USER
ShMemって通信(TCP)しないmemcachedみたいに使えるから便利
Cache::SharedMemoryCache
改善点とか指摘したいけどソースも実際の鯖内部もないのであんまできないあてにならない
0377 [Φ|(|´|Д|`|)|Φ] BBxed!! 動け動けウゴウゴ２ちゃんねる 転載ダメ©2ch.net
垢版 |
2016/03/03(木) 22:12:20.18ID:fzT+23Yw
あ
[JP]
QUERY:[58.188.170.45] (ﾜｯﾁｮｲ) d3c1-6e0I
HOST NAME: 58-188-170-45f1.hyg1.eonet.ne.jp.
IP: 58.188.170.45
-- Results
SPAMCOP: 58.188.170.45 NONE
BBC: 58.188.170.45 NONE
BBQ: 58.188.170.45 Burned BBQ (proxy60) Registered:20160303-212303 BBR-4
BBX: 58.188.170.45 Burned BBX BBR:4 MD5:0d00d75a2e740c90bee62198c7421462
-- End of job.
0379Mango Mangüé ★ そうだ２ちゃんねるしよう！©2ch.net
垢版 |
2016/03/03(木) 23:11:08.29ID:CAP_USER?S★(824723)

yomogi.TOTAL 2534
yomogi.TOTAL.UA.UNIQUE 56
yomogi.LIVE.UA.UNIQUE 34
yomogi.POOL.UA.UNIQUE 1
yomogi.PAST.UA.UNIQUE 15
yomogi.NONE.UA.UNIQUE 6
yomogi.TOTAL.IP.UNIQUE 6167
yomogi.LIVE.IP.UNIQUE 4876
yomogi.POOL.IP.UNIQUE 1
yomogi.PAST.IP.UNIQUE 1235
yomogi.NONE.IP.UNIQUE 55

Proc time: 58.925969 sec.

/md を16GBに変更
そういえば.sockが使えるからと/mdに振ってみたけれど
それほど良い感じにはならなかった
0380Glass Cat ★
垢版 |
2016/03/03(木) 23:12:57.82ID:CAP_USER
どのようにまとめるかが大切
0381Mango Mangüé ★ そうだ２ちゃんねるしよう！©2ch.net
垢版 |
2016/03/04(金) 00:53:28.84ID:CAP_USER?S★(824723)

-- yomogi --
yomogi:TOTAL 1769
yomogi:TOTAL:LIVE 1191
yomogi:TOTAL:POOL 0
yomogi:TOTAL:PAST 561
yomogi:TOTAL:NONE 0
yomogi:UNIQUE_IP:TOTAL 510
yomogi:UNIQUE_IP:LIVE 1191
yomogi:UNIQUE_IP:POOL 0
yomogi:UNIQUE_IP:PAST 561
yomogi:UNIQUE_IP:NONE 17

-- Proc. time: 6.983701 sec.
元のやり方を少し工夫してみた結果w
memcachedもsqlもいらねーw
ちなon Disk(非MD)
0384Mango Mangüé ★ そうだ２ちゃんねるしよう！©2ch.net
垢版 |
2016/03/04(金) 01:00:50.71ID:CAP_USER?S★(824723)

-- yomogi --
yomogi:TOTAL 1943
yomogi:TOTAL:LIVE 1285
yomogi:TOTAL:POOL 0
yomogi:TOTAL:PAST 643
yomogi:TOTAL:NONE 0
yomogi:UNIQUE_IP:TOTAL 559
yomogi:UNIQUE_IP:LIVE 1285
yomogi:UNIQUE_IP:POOL 0
yomogi:UNIQUE_IP:PAST 643
yomogi:UNIQUE_IP:NONE 15

-- Proc. time: 5.892538 sec.

on /md
びっくりするほど変わらなかった
0389Mango Mangüé ★ そうだ２ちゃんねるしよう！©2ch.net
垢版 |
2016/03/04(金) 01:51:10.35ID:CAP_USER?S★(824723)

-- yomogi --
yomogi:TOTAL 1493
yomogi:TOTAL:LIVE 947
yomogi:TOTAL:POOL 0
yomogi:TOTAL:PAST 529
yomogi:TOTAL:NONE 0
yomogi:UNIQUE_IP:TOTAL 660
yomogi:UNIQUE_IP:LIVE 532
yomogi:UNIQUE_IP:POOL 0
yomogi:UNIQUE_IP:PAST 156
yomogi:UNIQUE_IP:NONE 11

-- Proc. time: -0.156599 sec.

マイナスってなんだようw

>>388
そうですその通りでした
やっぱり時代は変わった
0394Mango Mangüé ★ そうだ２ちゃんねるしよう！©2ch.net
垢版 |
2016/03/04(金) 04:06:23.14ID:CAP_USER?S★(824723)

多分あってる
-- potato --
TOTAL 2870 (+ 255)
TOTAL:LIVE 1493 (+ 141)
TOTAL:POOL 0 (+ 0)
TOTAL:PAST 807 (+ 80)
TOTAL:NONE 570 (+ 34)
UNIQUE_IP:TOTAL 386 (+ 17)
UNIQUE_IP:LIVE 319 (+ 14)
UNIQUE_IP:POOL 0 (+ 0)
UNIQUE_IP:PAST 63 (+ 3)
UNIQUE_IP:NONE 28 (+ 1)

↓

-- potato --
TOTAL 3875 (+ 1005)
TOTAL:LIVE 2089 (+ 596)
TOTAL:POOL 0 (+ 0)
TOTAL:PAST 1053 (+ 246)
TOTAL:NONE 733 (+ 163)
UNIQUE_IP:TOTAL 545 (+ 159)
UNIQUE_IP:LIVE 461 (+ 142)
UNIQUE_IP:POOL 0 (+ 0)
UNIQUE_IP:PAST 97 (+ 34)
UNIQUE_IP:NONE 31 (+ 3)

↓

-- potato --
TOTAL 4697 (+ 822)
TOTAL:LIVE 2592 (+ 503)
TOTAL:POOL 0 (+ 0)
TOTAL:PAST 1206 (+ 153)
TOTAL:NONE 899 (+ 166)
UNIQUE_IP:TOTAL 667 (+ 122)
UNIQUE_IP:LIVE 558 (+ 97)
UNIQUE_IP:POOL 0 (+ 0)
UNIQUE_IP:PAST 122 (+ 25)
UNIQUE_IP:NONE 37 (+ 6)

やっぱりUNIQUE＿IP:TOTALはdatコンディションの合計値にしようかな
0395Glass Cat ★
垢版 |
2016/03/04(金) 07:16:11.15ID:CAP_USER
ふつうにハッシュになったか
0397Mango Mangüé ★ そうだ２ちゃんねるしよう！©2ch.net
垢版 |
2016/03/04(金) 11:15:40.87ID:CAP_USER?S★(824723)

>>395
$PV_works_part->{$Type}->{$Work_date}->{$Src_name}->{TOTAL}->{COND}->{$Dat_Condition}++;
$PV_works->{$Type}->{$Work_date}->{$Src_name}->{TOTAL}->{COND}->{$Dat_Condition}++;

頭のおかしな人が書くとこうなりますの典型例w
ハシュリファレンスをそのまま保存できるのはありがたい
0398Glass Cat ★
垢版 |
2016/03/04(金) 16:05:01.44ID:CAP_USER
$self->{Cache}->{$self->->{Input}->{Info}->{Name}}->{SETTING} || loadSetting()
0399Mango Mangüé ★ そうだ２ちゃんねるしよう！©2ch.net
垢版 |
2016/03/04(金) 20:39:12.68ID:CAP_USER?S★(824723)

-- The rank of read.cgi PV by servers. at 20160304 -- latest:2016/03/04 20:37:31
ALL PV LIVE PV POOL PV PAST PV NONE PV UQ ALL Uq LIVE UQ POOL UQ PAST UQ NONE
server /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min.
TOTAL 476049 14063 342688 10502 1042 11 112016 2798 20303 752 119003 4175 95635 3455 180 6 19559 570 3629 144
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
aoi 10686 305 6496 215 0 0 3787 78 403 12 2719 109 2154 96 0 0 474 10 91 3
carpenter 2058 71 1397 58 0 0 571 11 90 2 1007 45 775 38 0 0 219 5 13 2
daily 27204 690 16689 419 0 0 10164 265 351 6 8329 252 6833 219 0 0 1428 33 68 0
echo 21268 658 18573 604 0 0 649 8 2046 46 5732 228 5305 212 0 0 72 5 355 11
fox 14778 368 7046 154 0 0 7381 199 351 15 3218 87 1726 45 0 0 1347 38 145 4
hanabi 35820 1246 28843 939 0 0 4225 104 2752 203 9358 345 7559 280 0 0 1218 38 581 27
hayabusa6 26273 793 18815 565 1 0 6953 201 504 27 6688 220 5038 168 1 0 1546 49 103 3
hayabusa7 28348 885 20660 695 87 0 7423 183 178 7 3320 127 2432 99 9 0 856 28 23 0
hayabusa8 44663 1189 38652 1026 0 0 4591 134 1420 29 13352 430 12400 396 0 0 724 24 228 10
hope 16447 484 9951 313 0 0 6289 168 207 3 4797 176 3696 140 0 0 1021 33 80 3
maguro 3579 84 583 9 1 0 2289 64 706 11 883 17 147 3 1 0 519 12 216 2
mastiff 29413 985 19589 729 0 0 9450 250 374 6 7027 267 5694 239 0 0 1253 25 80 3
nasu 8934 217 5858 170 0 0 2315 36 761 11 2168 91 1756 78 0 0 261 6 151 7
nhk 12908 496 9219 404 57 2 3554 85 78 5 1957 107 1401 85 33 2 497 18 26 2
potato 47196 1279 36543 1030 0 0 6139 138 4514 111 12556 505 10800 418 0 0 1248 56 508 31
qb5 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
qb7 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
raptor 15488 418 10065 322 0 0 4033 63 1390 33 2364 89 1550 55 0 0 688 29 126 5
tamae 25662 776 20770 627 0 0 2677 63 2215 86 7593 274 6289 229 0 0 904 27 400 18
tanuki 5442 149 5169 120 0 0 57 0 216 29 940 21 905 21 0 0 26 0 9 0
vipper 12499 447 7837 269 891 8 3155 78 616 92 1581 51 780 24 131 3 562 17 108 7
wc2014 29649 1027 20545 787 1 0 8727 236 376 4 7503 244 5951 197 1 0 1422 43 129 4
wktk 16537 371 10083 228 0 0 6082 136 372 7 3839 87 2760 72 0 0 999 15 80 0
yomogi 41197 1125 29305 819 4 1 11505 298 383 7 12072 403 9684 341 4 1 2275 59 109 2
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
こんな感じ
-- Proc. time: 0.710482 sec.
0401Glass Cat ★
垢版 |
2016/03/04(金) 20:42:20.89ID:CAP_USER
$dataString = freeze $data
0407動け動けウゴウゴ２ちゃんねる
垢版 |
2016/03/05(土) 00:13:55.80ID:gSUJUeqa
6 以下、転載禁止でVIPがお送りします 2016/03/05(土) 00:00:00.000 ID:VEMMFIyq0000000.000
00:00:00.000なら桜守姫此芽様は俺の嫁
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況