【すずめ】stats.2ch.net指令所【からす・とんび・かもめ】★2©2ch.net
■ このスレッドは過去ログ倉庫に格納されています
http://stats.2ch.net/ は、2ちゃんねるのいろいろな情報を収集しています http://stats.2ch.net/suzume.cgi 当日の投稿数順位を板別に掲載。サーバ毎のもあります http://stats.2ch.net/ichiban.html 当日いちばん始めの投稿から10番目までを掲載中。キリ番も同時掲載 http://stats.2ch.net/ichiban/ 過去一覧 http://stats.2ch.net/tonbi.cgi 時間帯毎の投稿数順位を板別に掲載 http://stats.2ch.net/karasu.cgi サーバ毎の投稿数 http://stats.2ch.net/kamome.cgi とんびの上位互換?虹色ですw ーーーーーーーーーーーーーーーー さてこのstats.2ch.netもご老体になっています いろいろと不具合を抱えていますが 生暖かく末永く見守っていただければと (前スレ1より) ・前スレ 【すずめ】stats.2ch.net指令所【からす・とんび・かもめ】 http://carpenter.2ch.net/test/read.cgi/operatex/1447206078/ memcachedは速いらしい IPごとPV,UAごとPVとか別々にキーを変える こんなんあるよー PerlからMemcachedを使う(Cache::Memcached::Fast) http://d.hatena.ne.jp/koba04/20110212/1297446296 速度比較 memcached 19958.5 redis 19627.5 redis コンバートなし 20638.5 DB postgres 956.5 ハッシュ 3402237.3 Redisならこんなん http://qiita.com/akishin/items/9372a77dab0512880e18 >Hash に tie して使う >Redis::Hash を使うことで Hash に tie する事ができる。 >これにより通常の Hash にアクセスするのと同じコードで Redis 上にデータを保存できる。 ザル(KVS)で受けて水切りして盛りつけは綺麗にRDBみたいな カウント取るなら324でincrすればいいんじゃね? あとは決まった時間ごとにRDBMSへ突っ込む 漏れが起きないようにキーには時間を いろいろとありがとう いろいろと思案してみます IPaddress そう、これが無ければ何も問題は無いのですw (現状、難なく計れている) 頭の中でプログラムは組み上がった、あとは鯖に実装するだけだ rootくれw >>330 BinaryにしてIntかLongに突っ込む KVSなら余裕 2016/03/02 Total PV(read.cgi) count 26,306,418 latest: 28,225 PV/min. 2016/03/02 22:07:03 (Update every minute.) POST分も併せて3秒で終了 Integer IP address to Quad IPv4 address one liner or close to it? http://www.perlmonks.org/?node_id=786521 1456924662.068 1456924662.083463.Mozilla50.IPAddress.LIVE.1456916607.newsplus.daily.2ch.net 1456924662.072 1456924662.079918.Mozilla50.IPAddress.PAST.1452614993.liveanb.hayabusa7.2ch.net こんな感じのデータが毎分50kぐらいやってきます IPごとのハッシュ、UAごとのハッシュ、種類ごとのハッシュなどなど パイプにも流している でも今は不在w そういえばBINDって頑なにログをパイプ出力するのを拒んでるよなw 今はフォアグランドへ全メッセージ吐かせています https://twitter.com/cause_less/status/293038390130114560 unix socketでbindのログをリアルタイム集計できないかと思ったらbind9.8以降ではログ出力がisc_file_isplainfileで通常ファイルかチェックしている。パストラバーサル心配なら所有者とパーミッションでやってくれよ…… # memcached_enable (bool): Set it to "YES" to enable memcached. # Default is "NO". # memcached_flags (flags): Set extra flags here. More options in memcached(1) # Default is empty "". # memcached_user (user): Set user to run memcached. # Default is "nobody". # memcached_profiles (str): Set to "" by default. # Define your profiles here. # memcached_post_start (str): Set extra commands that should be executed after memcached was successfully # started here. # Default is empty "". .confが無いのか where is memcached.conf located in FreeBSD https://forums.freebsd.org/threads/38662/ /etc/rc.d/memcached の中から引用してましたw memcached.confを取り込む部分があるかなと思って とりあえず16GB充てたw メモリは十分に余ってるしon 64GB 旧SPARROWなんかぬっこわれてるなw 新しい方にリダイレクトした方がいいかな でも、どうせDNS割り当て直す(この表現でいいのか)んじゃなかったっけ? やっぱり30秒ぐらい掛かるんか hope.TOTAL 7171 hope.LIVE 3311 hope.POOL 0 hope.PAST 3693 hope.NONE 167 hope.LIVE.UA:Mozilla50 2648 hope.LIVE.IP:TOTAL 1175 maguro.TOTAL 0 maguro.LIVE 0 maguro.POOL 0 maguro.PAST 0 maguro.NONE 0 maguro.LIVE.UA:Mozilla50 0 maguro.LIVE.IP:TOTAL 0 echoとかも拾えてないな はて? maguro 1 maguro 1 carpenter 1 fox 8261 fox 8262 fox 8263 carpenter 1 maguro 1 fox 8264 maguro 1 fox 8265 carpenter 1 DBぬっこわれてるんかな? daemon再起動しても同じやね 今日はこのくらいにしといたろ weight => 2.5 ってのを取っ払ったらカウントしたw 偶にあるんだよなpodにあるサンプルコードで不具合が出るのってw 今のやり方で今の時間おおむね20秒かかる 引き続き試行錯誤 ハシュの条件呼び出しってないのか キーに「HOGE」が含まれているのを取りだしてこい ってのが出来ない? おかげで8倍ぐらい時間が掛かるw こっちのがわかりやすいか。見当違いならすまんな SELECT構文:WHEREで検索条件を設定する http://rfs.jp/sb/sql/s03/03_2-2.html いやあのmemcachedなんですがw daemon起動時はまあまあ軽い 5回目アクセス時にはもう固まっているような状態w 次はnamespaceを分散してみよう まさかのbandwidthか ロジックの方じゃなかったのねw こうなると断然MDなのかな /dev/md0 3.6G 16GBぐらいにしてみよう アルゴリズムは1からスタートで 共有ものはあまり好まないです MUSTなら致し方ないのですが Samsung SSD 850 EVO 250GB SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s) これよりも良いとは思うw>>/md ShMemって通信(TCP)しないmemcachedみたいに使えるから便利 Cache::SharedMemoryCache 改善点とか指摘したいけどソースも実際の鯖内部もないのであんまできないあてにならない なんか作業用ディレクトリ全部消えて🌿 あ [JP] QUERY:[58.188.170.45] (ワッチョイ) d3c1-6e0I HOST NAME: 58-188-170-45f1.hyg1.eonet.ne.jp. IP: 58.188.170.45 -- Results SPAMCOP: 58.188.170.45 NONE BBC: 58.188.170.45 NONE BBQ: 58.188.170.45 Burned BBQ (proxy60) Registered:20160303-212303 BBR-4 BBX: 58.188.170.45 Burned BBX BBR:4 MD5:0d00d75a2e740c90bee62198c7421462 -- End of job. >>377 さくらインターネット sakura.ne.jp 明日午前9時23分3秒ごろまでと思われる yomogi.TOTAL 2534 yomogi.TOTAL.UA.UNIQUE 56 yomogi.LIVE.UA.UNIQUE 34 yomogi.POOL.UA.UNIQUE 1 yomogi.PAST.UA.UNIQUE 15 yomogi.NONE.UA.UNIQUE 6 yomogi.TOTAL.IP.UNIQUE 6167 yomogi.LIVE.IP.UNIQUE 4876 yomogi.POOL.IP.UNIQUE 1 yomogi.PAST.IP.UNIQUE 1235 yomogi.NONE.IP.UNIQUE 55 Proc time: 58.925969 sec. /md を16GBに変更 そういえば.sockが使えるからと/mdに振ってみたけれど それほど良い感じにはならなかった -- yomogi -- yomogi:TOTAL 1769 yomogi:TOTAL:LIVE 1191 yomogi:TOTAL:POOL 0 yomogi:TOTAL:PAST 561 yomogi:TOTAL:NONE 0 yomogi:UNIQUE_IP:TOTAL 510 yomogi:UNIQUE_IP:LIVE 1191 yomogi:UNIQUE_IP:POOL 0 yomogi:UNIQUE_IP:PAST 561 yomogi:UNIQUE_IP:NONE 17 -- Proc. time: 6.983701 sec. 元のやり方を少し工夫してみた結果w memcachedもsqlもいらねーw ちなon Disk(非MD) アイテム数が多すぎるよ→よっしゃDBだ アイテムがでかすぎるよ→いいから削って小さくしろよ… こんなん -- yomogi -- yomogi:TOTAL 1943 yomogi:TOTAL:LIVE 1285 yomogi:TOTAL:POOL 0 yomogi:TOTAL:PAST 643 yomogi:TOTAL:NONE 0 yomogi:UNIQUE_IP:TOTAL 559 yomogi:UNIQUE_IP:LIVE 1285 yomogi:UNIQUE_IP:POOL 0 yomogi:UNIQUE_IP:PAST 643 yomogi:UNIQUE_IP:NONE 15 -- Proc. time: 5.892538 sec. on /md びっくりするほど変わらなかった yomogi:UNIQUE_IP:TOTAL 559 yomogi:UNIQUE_IP:LIVE 1285 何かおかしいけれども理にはかなってる シーケンシャルだとそんな変わらないよね > HDDとSSDとメモリ あれ?っとふと我に返る 別に/md使わなくてもいけるなこの方法だとw メモリは潤沢だ そこまで作業スペース大きいと、配管の「継ぎ目」だけだねディスク要るの -- yomogi -- yomogi:TOTAL 1493 yomogi:TOTAL:LIVE 947 yomogi:TOTAL:POOL 0 yomogi:TOTAL:PAST 529 yomogi:TOTAL:NONE 0 yomogi:UNIQUE_IP:TOTAL 660 yomogi:UNIQUE_IP:LIVE 532 yomogi:UNIQUE_IP:POOL 0 yomogi:UNIQUE_IP:PAST 156 yomogi:UNIQUE_IP:NONE 11 -- Proc. time: -0.156599 sec. マイナスってなんだようw >>388 そうですその通りでした やっぱり時代は変わった 見えてる壁は全て幻想ですw 多分あってる -- potato -- TOTAL 2870 (+ 255) TOTAL:LIVE 1493 (+ 141) TOTAL:POOL 0 (+ 0) TOTAL:PAST 807 (+ 80) TOTAL:NONE 570 (+ 34) UNIQUE_IP:TOTAL 386 (+ 17) UNIQUE_IP:LIVE 319 (+ 14) UNIQUE_IP:POOL 0 (+ 0) UNIQUE_IP:PAST 63 (+ 3) UNIQUE_IP:NONE 28 (+ 1) ↓ -- potato -- TOTAL 3875 (+ 1005) TOTAL:LIVE 2089 (+ 596) TOTAL:POOL 0 (+ 0) TOTAL:PAST 1053 (+ 246) TOTAL:NONE 733 (+ 163) UNIQUE_IP:TOTAL 545 (+ 159) UNIQUE_IP:LIVE 461 (+ 142) UNIQUE_IP:POOL 0 (+ 0) UNIQUE_IP:PAST 97 (+ 34) UNIQUE_IP:NONE 31 (+ 3) ↓ -- potato -- TOTAL 4697 (+ 822) TOTAL:LIVE 2592 (+ 503) TOTAL:POOL 0 (+ 0) TOTAL:PAST 1206 (+ 153) TOTAL:NONE 899 (+ 166) UNIQUE_IP:TOTAL 667 (+ 122) UNIQUE_IP:LIVE 558 (+ 97) UNIQUE_IP:POOL 0 (+ 0) UNIQUE_IP:PAST 122 (+ 25) UNIQUE_IP:NONE 37 (+ 6) やっぱりUNIQUE_IP:TOTALはdatコンディションの合計値にしようかな to SSD -- Proc. lines: 23242 -- Proc. time: 0.981332 sec. to /md -- Proc. lines: 23242 -- Proc. time: 0.631473 sec. やっぱりMDはえーなw >>395 $PV_works_part->{$Type}->{$Work_date}->{$Src_name}->{TOTAL}->{COND}->{$Dat_Condition}++; $PV_works->{$Type}->{$Work_date}->{$Src_name}->{TOTAL}->{COND}->{$Dat_Condition}++; 頭のおかしな人が書くとこうなりますの典型例w ハシュリファレンスをそのまま保存できるのはありがたい $self->{Cache}->{$self->->{Input}->{Info}->{Name}}->{SETTING} || loadSetting() -- The rank of read.cgi PV by servers. at 20160304 -- latest:2016/03/04 20:37:31 ALL PV LIVE PV POOL PV PAST PV NONE PV UQ ALL Uq LIVE UQ POOL UQ PAST UQ NONE server /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. TOTAL 476049 14063 342688 10502 1042 11 112016 2798 20303 752 119003 4175 95635 3455 180 6 19559 570 3629 144 ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ aoi 10686 305 6496 215 0 0 3787 78 403 12 2719 109 2154 96 0 0 474 10 91 3 carpenter 2058 71 1397 58 0 0 571 11 90 2 1007 45 775 38 0 0 219 5 13 2 daily 27204 690 16689 419 0 0 10164 265 351 6 8329 252 6833 219 0 0 1428 33 68 0 echo 21268 658 18573 604 0 0 649 8 2046 46 5732 228 5305 212 0 0 72 5 355 11 fox 14778 368 7046 154 0 0 7381 199 351 15 3218 87 1726 45 0 0 1347 38 145 4 hanabi 35820 1246 28843 939 0 0 4225 104 2752 203 9358 345 7559 280 0 0 1218 38 581 27 hayabusa6 26273 793 18815 565 1 0 6953 201 504 27 6688 220 5038 168 1 0 1546 49 103 3 hayabusa7 28348 885 20660 695 87 0 7423 183 178 7 3320 127 2432 99 9 0 856 28 23 0 hayabusa8 44663 1189 38652 1026 0 0 4591 134 1420 29 13352 430 12400 396 0 0 724 24 228 10 hope 16447 484 9951 313 0 0 6289 168 207 3 4797 176 3696 140 0 0 1021 33 80 3 maguro 3579 84 583 9 1 0 2289 64 706 11 883 17 147 3 1 0 519 12 216 2 mastiff 29413 985 19589 729 0 0 9450 250 374 6 7027 267 5694 239 0 0 1253 25 80 3 nasu 8934 217 5858 170 0 0 2315 36 761 11 2168 91 1756 78 0 0 261 6 151 7 nhk 12908 496 9219 404 57 2 3554 85 78 5 1957 107 1401 85 33 2 497 18 26 2 potato 47196 1279 36543 1030 0 0 6139 138 4514 111 12556 505 10800 418 0 0 1248 56 508 31 qb5 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 qb7 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 raptor 15488 418 10065 322 0 0 4033 63 1390 33 2364 89 1550 55 0 0 688 29 126 5 tamae 25662 776 20770 627 0 0 2677 63 2215 86 7593 274 6289 229 0 0 904 27 400 18 tanuki 5442 149 5169 120 0 0 57 0 216 29 940 21 905 21 0 0 26 0 9 0 vipper 12499 447 7837 269 891 8 3155 78 616 92 1581 51 780 24 131 3 562 17 108 7 wc2014 29649 1027 20545 787 1 0 8727 236 376 4 7503 244 5951 197 1 0 1422 43 129 4 wktk 16537 371 10083 228 0 0 6082 136 372 7 3839 87 2760 72 0 0 999 15 80 0 yomogi 41197 1125 29305 819 4 1 11505 298 383 7 12072 403 9684 341 4 1 2275 59 109 2 ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ こんな感じ -- Proc. time: 0.710482 sec. >>398 store $PV_works, $WORK_file; $dataString = freeze $data そういえばTOTAL PVでソートしてなかったw freezeは今のところ無し タッパーに入れて明日食べるみたいな用途ならこれで十分なんだよな そして本体に組み込んだ 2016/03/04 21:43:00 BBS_Fileter.pl is started.[self PID:67036] query log line: 3210 readcgi-query log line: 37011 -- Proc. lines: 37011 -- Proc. time: 4.359902 sec. しばらくは様子見 日付が変わって新しく計測分を観察 問題なければ今のと切り替え 6 以下、転載禁止でVIPがお送りします 2016/03/05(土) 00:00:00.000 ID:VEMMFIyq0000000.000 00:00:00.000なら桜守姫此芽様は俺の嫁 >>407 13 vipper news4vip 1457103561 1457103600.000 1457103600.176 13th.でした hashファイルも旨く切り替わった?みたいなので 今のところ大丈夫そう 旧ルーチンを取り除こう -- The rank of read.cgi PV by boards. at 20160305 -- latest:2016/03/05 00:34:01 ALL PV LIVE PV POOL PV PAST PV NONE PV UQ ALL Uq LIVE UQ POOL UQ PAST UQ NONE boards /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. TOTAL 877930 25249 651956 18779 86 4 186668 5436 39220 1030 180297 3695 137515 2814 54 1 36441 748 6287 132 ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ 119 49 3 48 3 0 0 1 0 0 0 26 1 25 1 0 0 1 0 0 0 21oversea 157 11 120 8 0 0 29 3 8 0 61 1 48 1 0 0 10 0 3 0 21oversea2 19 0 17 0 0 0 2 0 0 0 9 0 7 0 0 0 2 0 0 0 2chbook 507 37 373 12 0 0 42 2 92 23 147 3 104 1 0 0 30 1 13 1 2chse 26 2 24 2 0 0 1 0 1 0 19 2 17 2 0 0 1 0 1 0 -- The rank of read.cgi PV by servers. at 20160305 -- latest:2016/03/05 00:34:01 ALL PV LIVE PV POOL PV PAST PV NONE PV UQ ALL Uq LIVE UQ POOL UQ PAST UQ NONE servers /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. TOTAL 877930 25249 651956 18779 86 4 186668 5436 39220 1030 180297 3695 137515 2814 54 1 36441 748 6287 132 ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ aoi 22990 628 15388 407 0 0 7100 209 502 12 5506 131 4229 95 0 0 1122 34 155 2 carpenter 3015 78 2044 53 0 0 852 23 119 2 1319 22 970 13 0 0 333 8 16 1 daily 45729 1213 27960 739 0 0 15970 465 1799 9 12250 262 9717 213 0 0 2431 46 102 3 echo 42862 1084 38817 1019 0 0 449 9 3596 56 8020 144 7174 126 0 0 224 2 622 16 fox 26564 686 12597 272 0 0 13300 388 667 26 5092 117 2124 36 0 0 2732 76 236 5 誤字発見w>> 'Uq' 2016/03/05 00:42:00 BBS_Fileter.pl is started.[self PID:71222] query log line: 2537 readcgi-query log line: 31019 -- Proc. lines: 31019 -- Proc. time: 1.588444 sec. よしよし お手軽高性能ななんちゃってツリー構造だなー Cで組んだらmalloc未解放地獄が待ってるぜ… そのうちなんかで使おっと ハシュリファレンスをそのままファイル保存できるので重宝してます module自体はCで書かれているそうです http://search.cpan.org/ ~ams/Storable-2.51/Storable.pm#SPEED そういえば旧SPARROW えらい数字が少ないなと思ったら echoが抜けてたw 旧SPARROWの時点ではなかったもんなあ > echo -- Proc. time: 2.697749 sec. ファイル書き出しに時間が掛かり始めた 現状40MB これの5倍に増えるとして 200MB=1日量 さてどういう結果になるのか ある程度まとまった時点で統計してDBかテキストファイルに追記するか マージが面倒ではあるが50MBごとにstore先を変えるか やらずに済めば楽なんだが そりゃ単にdaemonにすりゃいいんだけどねw 起動時にファイル読み込み SIG飛んできて終了なら保存 現状 filesize: 70MB -- POST finish. Proc. time: 0.293446 sec. -- PV load finish. Proc. time: 2.435378 sec. -- PV calc finish. Proc. time: 3.104818 sec. -- PV write finish. Proc. time: 3.112759 sec. -- PV finish. Proc. time: 5.036915 sec. 30sec.超えたら考えるw 100MB突破 -- POST finish. Proc. time: 0.381326 sec. 起動から POST分の処理を終わるまでの時間 -- PV load finish. Proc. time: 3.319383 sec. 起動から hashファイルを読み込みまでの時間 -- PV calc finish. Proc. time: 4.016804 sec. 起動から PV計算が終わるまでの時間 -- PV write finish. Proc. time: 4.024915 sec. 起動から PV結果をファイルに書き出すまでの時間 -- PV finish. Proc. time: 6.666234 sec. 起動から hashファイルを書き出した後までの時間=全処理終了時間 なぜここで文字系列の話が… 1回あたりの読み書き容量とループ回数増加のオーバーヘッドくらいなら30秒まで行かずに済みそうな予感 ってのは死亡フラグか? 120MB超えたところ -- POST finish ALL Proc. time: 0.475003 sec. -- PV finish, RD hash finish. Proc. time: 4.094978 sec. -- PV finish, CLAC. Proc. time: 4.991534 sec. -- PV finish, WR list. Proc. time: 4.999739 sec. ここでSPARROW用のファイルが生成される -- PV finish, ALL Proc. time: 8.213063 sec. UNIQUE数なので時間経過と共に良の増え方が鈍るのが判るます 10日で1.2GB 100日で12GB なら毎日残してみるか ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 07.5.6 2024/07/15 Walang Kapalit ★ | Donguri System Team 5ちゃんねる