X

【すずめ】stats.2ch.net指令所【からす・とんび・かもめ】★2©2ch.net

■ このスレッドは過去ログ倉庫に格納されています
2016/01/26(火) 17:38:18.01ID:SRZeh7MY
http://stats.2ch.net/ は、２ちゃんねるのいろいろな情報を収集しています

http://stats.2ch.net/suzume.cgi　当日の投稿数順位を板別に掲載。サーバ毎のもあります
http://stats.2ch.net/ichiban.html　当日いちばん始めの投稿から10番目までを掲載中。キリ番も同時掲載
http://stats.2ch.net/ichiban/　過去一覧

http://stats.2ch.net/tonbi.cgi　時間帯毎の投稿数順位を板別に掲載

http://stats.2ch.net/karasu.cgi　サーバ毎の投稿数

http://stats.2ch.net/kamome.cgi　とんびの上位互換？虹色ですｗ

ーーーーーーーーーーーーーーーー
さてこのstats.2ch.netもご老体になっています
いろいろと不具合を抱えていますが
生暖かく末永く見守っていただければと
（前スレ1より）

・前スレ
【すずめ】stats.2ch.net指令所【からす・とんび・かもめ】
http://carpenter.2ch.net/test/read.cgi/operatex/1447206078/
2016/03/02(水) 21:53:07.74ID:CAP_USER
速度比較
memcached 19958.5
redis 19627.5
redis コンバートなし 20638.5
DB postgres 956.5
ハッシュ 3402237.3
2016/03/02(水) 21:56:46.10
Redisならこんなん
http://qiita.com/akishin/items/9372a77dab0512880e18
>Hash に tie して使う
>Redis::Hash を使うことで Hash に tie する事ができる。
>これにより通常の Hash にアクセスするのと同じコードで Redis 上にデータを保存できる。
2016/03/02(水) 22:00:54.52
ザル（KVS）で受けて水切りして盛りつけは綺麗にRDBみたいな
2016/03/02(水) 22:02:21.17ID:CAP_USER
カウント取るなら324でincrすればいいんじゃね?
あとは決まった時間ごとにRDBMSへ突っ込む
漏れが起きないようにキーには時間を
2016/03/02(水) 22:03:38.78ID:CAP_USER?S★(824723)

いろいろとありがとう
いろいろと思案してみます
2016/03/02(水) 22:04:49.10ID:CAP_USER?S★(824723)

IPaddress
そう、これが無ければ何も問題は無いのですw
（現状、難なく計れている）
2016/03/02(水) 22:04:57.18ID:aK+l5FVs
頭の中でプログラムは組み上がった、あとは鯖に実装するだけだ






rootくれｗ
2016/03/02(水) 22:05:47.79ID:CAP_USER
>>330
BinaryにしてIntかLongに突っ込む
ＫＶＳなら余裕
2016/03/02(水) 22:07:51.38ID:CAP_USER?S★(824723)

2016/03/02 Total PV(read.cgi) count 26,306,418
latest: 28,225 PV/min. 2016/03/02 22:07:03 (Update every minute.)

POST分も併せて3秒で終了
2016/03/02(水) 22:08:38.53
Integer IP address to Quad IPv4 address one liner or close to it?
http://www.perlmonks.org/?node_id=786521
2016/03/02(水) 22:13:56.41ID:CAP_USER?S★(824723)

そういえばsqliteってオンメモリにするとUNIQUEが強制されるのかしら？
なんでかそうなるw
ちなmemcachedが今のところ候補w
http://search.cpan.org/dist/Cache-Memcached-Fast/lib/Cache/Memcached/Fast.pm
2016/03/02(水) 22:14:46.40ID:CAP_USER
デーモン作ってハッシュ
2016/03/02(水) 22:19:35.79ID:CAP_USER?S★(824723)

1456924662.068 1456924662.083463.Mozilla50.IPAddress.LIVE.1456916607.newsplus.daily.2ch.net
1456924662.072 1456924662.079918.Mozilla50.IPAddress.PAST.1452614993.liveanb.hayabusa7.2ch.net
こんな感じのデータが毎分50kぐらいやってきます
2016/03/02(水) 22:20:48.96ID:CAP_USER
いまパイプに流れてるんでしょ？
ならハッシュだろ
2016/03/02(水) 22:25:33.60ID:CAP_USER
IPごとのハッシュ、UAごとのハッシュ、種類ごとのハッシュなどなど
2016/03/02(水) 22:28:52.11ID:CAP_USER?S★(824723)

パイプにも流している
でも今は不在w
2016/03/02(水) 22:31:50.39ID:CAP_USER
http://sdautovic.blogspot.jp/2015/05/bind9-logging-to-named-pipe-fifo.html
BIND9でFIFOにログ流すパッチ？
2016/03/02(水) 22:35:48.32ID:CAP_USER?S★(824723)

そういえばBINDって頑なにログをパイプ出力するのを拒んでるよなw
今はフォアグランドへ全メッセージ吐かせています
2016/03/02(水) 22:38:04.49ID:CAP_USER
https://twitter.com/cause_less/status/293038390130114560
unix socketでbindのログをリアルタイム集計できないかと思ったらbind9.8以降ではログ出力がisc_file_isplainfileで通常ファイルかチェックしている。パストラバーサル心配なら所有者とパーミッションでやってくれよ……
2016/03/02(水) 23:14:04.85ID:CAP_USER?S★(824723)

# memcached_enable (bool): Set it to "YES" to enable memcached.
# Default is "NO".
# memcached_flags (flags): Set extra flags here. More options in memcached(1)
# Default is empty "".
# memcached_user (user): Set user to run memcached.
# Default is "nobody".
# memcached_profiles (str): Set to "" by default.
# Define your profiles here.
# memcached_post_start (str): Set extra commands that should be executed after memcached was successfully
# started here.
# Default is empty "".

.confが無いのか
2016/03/02(水) 23:27:24.82
where is memcached.conf located in FreeBSD
https://forums.freebsd.org/threads/38662/
2016/03/02(水) 23:39:47.01ID:CAP_USER?S★(824723)

/etc/rc.d/memcached の中から引用してましたw
memcached.confを取り込む部分があるかなと思って
2016/03/02(水) 23:40:40.71ID:CAP_USER?S★(824723)

とりあえず16GB充てたw
メモリは十分に余ってるしon 64GB
2016/03/02(水) 23:43:45.87ID:CAP_USER
いいなぁ
2016/03/03(木) 00:12:52.88ID:CAP_USER?S★(824723)

旧SPARROWなんかぬっこわれてるなw
新しい方にリダイレクトした方がいいかな
2016/03/03(木) 00:15:02.20
微妙なことになってるね
2016/03/03(木) 00:34:58.07
でも、どうせDNS割り当て直す（この表現でいいのか）んじゃなかったっけ？
2016/03/03(木) 02:41:13.47ID:CAP_USER?S★(824723)

やっぱり30秒ぐらい掛かるんか
2016/03/03(木) 02:42:18.31ID:CAP_USER?S★(824723)

hope.TOTAL 7171
hope.LIVE 3311
hope.POOL 0
hope.PAST 3693
hope.NONE 167
hope.LIVE.UA:Mozilla50 2648
hope.LIVE.IP:TOTAL 1175

maguro.TOTAL 0
maguro.LIVE 0
maguro.POOL 0
maguro.PAST 0
maguro.NONE 0
maguro.LIVE.UA:Mozilla50 0
maguro.LIVE.IP:TOTAL 0

echoとかも拾えてないな
はて？
2016/03/03(木) 03:00:25.69ID:CAP_USER?S★(824723)

maguro 1
maguro 1
carpenter 1
fox 8261
fox 8262
fox 8263
carpenter 1
maguro 1
fox 8264
maguro 1
fox 8265
carpenter 1

DBぬっこわれてるんかな？
2016/03/03(木) 03:41:26.28ID:CAP_USER?S★(824723)

daemon再起動しても同じやね
今日はこのくらいにしといたろ
2016/03/03(木) 15:41:41.05ID:CAP_USER?S★(824723)

weight => 2.5
ってのを取っ払ったらカウントしたw
偶にあるんだよなpodにあるサンプルコードで不具合が出るのってw

今のやり方で今の時間おおむね20秒かかる
引き続き試行錯誤
2016/03/03(木) 17:52:01.18ID:CAP_USER?S★(824723)

ハシュの条件呼び出しってないのか
キーに「HOGE」が含まれているのを取りだしてこい
ってのが出来ない？

おかげで8倍ぐらい時間が掛かるw
2016/03/03(木) 18:15:20.04
SQLの基礎 「SELECT」文を覚えよう (1/2)
http://www.atmarkit.co.jp/ait/articles/0006/21/news001.html
2016/03/03(木) 18:17:05.21
こっちのがわかりやすいか。見当違いならすまんな
SELECT構文：WHEREで検索条件を設定する
http://rfs.jp/sb/sql/s03/03_2-2.html
2016/03/03(木) 18:35:56.39ID:CAP_USER
数数える　GROUP BY
探す　WHERE
2016/03/03(木) 18:37:32.54ID:6jNInv9P
mod_log_sql
2016/03/03(木) 20:07:43.46ID:CAP_USER?S★(824723)

いやあのmemcachedなんですがw

daemon起動時はまあまあ軽い
5回目アクセス時にはもう固まっているような状態w

次はnamespaceを分散してみよう
2016/03/03(木) 20:18:16.47ID:6jNInv9P
http://wadap.hatenablog.com/entry/20100125/1264435692
2016/03/03(木) 20:26:04.25
参考になるかも
Cache::Memcached::鉄板(てっぱん)
http://blog.nomadscafe.jp/2011/02/cachememcached.html
2016/03/03(木) 21:23:15.72ID:CAP_USER?S★(824723)

何時もいろいろとありがとう
原因わかった
帯域1GB/s超えてて🌿
参考図：
http://stat.2ch.net/LA/latest_graph/stat.graph_load.png?latest
2016/03/03(木) 21:27:41.18
まさかのbandwidthか
ロジックの方じゃなかったのねｗ
2016/03/03(木) 21:27:48.26ID:CAP_USER?S★(824723)

こうなると断然MDなのかな
2016/03/03(木) 21:29:14.61ID:CAP_USER
SharedMemoryとか
2016/03/03(木) 21:29:47.50ID:CAP_USER?S★(824723)

/dev/md0 3.6G
16GBぐらいにしてみよう
アルゴリズムは１からスタートで
2016/03/03(木) 21:30:22.30ID:CAP_USER?S★(824723)

共有ものはあまり好まないです
MUSTなら致し方ないのですが
2016/03/03(木) 21:31:31.09ID:CAP_USER?S★(824723)

Samsung SSD 850 EVO 250GB
SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)

これよりも良いとは思うw>>/md
2016/03/03(木) 21:32:13.73ID:CAP_USER
ShMemって通信(TCP)しないmemcachedみたいに使えるから便利
Cache::SharedMemoryCache
改善点とか指摘したいけどソースも実際の鯖内部もないのであんまできないあてにならない
2016/03/03(木) 21:32:22.14
ありものでできるなら、みんなにわかるしいいと思う
2016/03/03(木) 21:37:28.35
各種Cacheのご案内

Cache::Cache -- Cacheインターフェース
http://perldoc.jp/docs/modules/Cache-Cache-1.01/Cache.pod
2016/03/03(木) 21:53:36.72ID:CAP_USER?S★(824723)

なんか作業用ディレクトリ全部消えて🌿
2016/03/03(木) 21:54:26.13ID:6jNInv9P
rootほしいです
2016/03/03(木) 22:12:20.18ID:fzT+23Yw
あ
[JP]
QUERY:[58.188.170.45] (ﾜｯﾁｮｲ) d3c1-6e0I
HOST NAME: 58-188-170-45f1.hyg1.eonet.ne.jp.
IP: 58.188.170.45
-- Results
SPAMCOP: 58.188.170.45 NONE
BBC: 58.188.170.45 NONE
BBQ: 58.188.170.45 Burned BBQ (proxy60) Registered:20160303-212303 BBR-4
BBX: 58.188.170.45 Burned BBX BBR:4 MD5:0d00d75a2e740c90bee62198c7421462
-- End of job.
2016/03/03(木) 22:18:56.46ID:Z76mxQ1t
>>377
さくらインターネット sakura.ne.jp
明日午前9時23分3秒ごろまでと思われる
2016/03/03(木) 23:11:08.29ID:CAP_USER?S★(824723)

yomogi.TOTAL 2534
yomogi.TOTAL.UA.UNIQUE 56
yomogi.LIVE.UA.UNIQUE 34
yomogi.POOL.UA.UNIQUE 1
yomogi.PAST.UA.UNIQUE 15
yomogi.NONE.UA.UNIQUE 6
yomogi.TOTAL.IP.UNIQUE 6167
yomogi.LIVE.IP.UNIQUE 4876
yomogi.POOL.IP.UNIQUE 1
yomogi.PAST.IP.UNIQUE 1235
yomogi.NONE.IP.UNIQUE 55

Proc time: 58.925969 sec.

/md を16GBに変更
そういえば.sockが使えるからと/mdに振ってみたけれど
それほど良い感じにはならなかった
2016/03/03(木) 23:12:57.82ID:CAP_USER
どのようにまとめるかが大切
2016/03/04(金) 00:53:28.84ID:CAP_USER?S★(824723)

-- yomogi --
yomogi:TOTAL 1769
yomogi:TOTAL:LIVE 1191
yomogi:TOTAL:POOL 0
yomogi:TOTAL:PAST 561
yomogi:TOTAL:NONE 0
yomogi:UNIQUE_IP:TOTAL 510
yomogi:UNIQUE_IP:LIVE 1191
yomogi:UNIQUE_IP:POOL 0
yomogi:UNIQUE_IP:PAST 561
yomogi:UNIQUE_IP:NONE 17

-- Proc. time: 6.983701 sec.
元のやり方を少し工夫してみた結果w
memcachedもsqlもいらねーw
ちなon Disk(非MD)
2016/03/04(金) 00:54:37.58
ボトルネックが別のとこだったか
2016/03/04(金) 00:58:35.08
アイテム数が多すぎるよ→よっしゃDBだ
アイテムがでかすぎるよ→いいから削って小さくしろよ…
こんなん
2016/03/04(金) 01:00:50.71ID:CAP_USER?S★(824723)

-- yomogi --
yomogi:TOTAL 1943
yomogi:TOTAL:LIVE 1285
yomogi:TOTAL:POOL 0
yomogi:TOTAL:PAST 643
yomogi:TOTAL:NONE 0
yomogi:UNIQUE_IP:TOTAL 559
yomogi:UNIQUE_IP:LIVE 1285
yomogi:UNIQUE_IP:POOL 0
yomogi:UNIQUE_IP:PAST 643
yomogi:UNIQUE_IP:NONE 15

-- Proc. time: 5.892538 sec.

on /md
びっくりするほど変わらなかった
2016/03/04(金) 01:01:51.19ID:CAP_USER?S★(824723)

yomogi:UNIQUE_IP:TOTAL 559
yomogi:UNIQUE_IP:LIVE 1285

何かおかしいけれども理にはかなってる
2016/03/04(金) 01:02:14.73
シーケンシャルだとそんな変わらないよね　＞　HDDとSSDとメモリ
2016/03/04(金) 01:10:39.02ID:CAP_USER?S★(824723)

あれ？っとふと我に返る
別に/md使わなくてもいけるなこの方法だとw
メモリは潤沢だ
2016/03/04(金) 01:13:18.60
そこまで作業スペース大きいと、配管の「継ぎ目」だけだねディスク要るの
2016/03/04(金) 01:51:10.35ID:CAP_USER?S★(824723)

-- yomogi --
yomogi:TOTAL 1493
yomogi:TOTAL:LIVE 947
yomogi:TOTAL:POOL 0
yomogi:TOTAL:PAST 529
yomogi:TOTAL:NONE 0
yomogi:UNIQUE_IP:TOTAL 660
yomogi:UNIQUE_IP:LIVE 532
yomogi:UNIQUE_IP:POOL 0
yomogi:UNIQUE_IP:PAST 156
yomogi:UNIQUE_IP:NONE 11

-- Proc. time: -0.156599 sec.

マイナスってなんだようw

>>388
そうですその通りでした
やっぱり時代は変わった
2016/03/04(金) 01:51:51.22
マイナスﾜﾛﾀ
2016/03/04(金) 02:02:07.61
見えてる壁はこれで全部突破なのかな？
2016/03/04(金) 02:13:35.55ID:CAP_USER?S★(824723)

見えてる壁は全て幻想ですw
2016/03/04(金) 02:17:39.16
ｗ
2016/03/04(金) 04:06:23.14ID:CAP_USER?S★(824723)

多分あってる
-- potato --
TOTAL 2870 (+ 255)
TOTAL:LIVE 1493 (+ 141)
TOTAL:POOL 0 (+ 0)
TOTAL:PAST 807 (+ 80)
TOTAL:NONE 570 (+ 34)
UNIQUE_IP:TOTAL 386 (+ 17)
UNIQUE_IP:LIVE 319 (+ 14)
UNIQUE_IP:POOL 0 (+ 0)
UNIQUE_IP:PAST 63 (+ 3)
UNIQUE_IP:NONE 28 (+ 1)

↓

-- potato --
TOTAL 3875 (+ 1005)
TOTAL:LIVE 2089 (+ 596)
TOTAL:POOL 0 (+ 0)
TOTAL:PAST 1053 (+ 246)
TOTAL:NONE 733 (+ 163)
UNIQUE_IP:TOTAL 545 (+ 159)
UNIQUE_IP:LIVE 461 (+ 142)
UNIQUE_IP:POOL 0 (+ 0)
UNIQUE_IP:PAST 97 (+ 34)
UNIQUE_IP:NONE 31 (+ 3)

↓

-- potato --
TOTAL 4697 (+ 822)
TOTAL:LIVE 2592 (+ 503)
TOTAL:POOL 0 (+ 0)
TOTAL:PAST 1206 (+ 153)
TOTAL:NONE 899 (+ 166)
UNIQUE_IP:TOTAL 667 (+ 122)
UNIQUE_IP:LIVE 558 (+ 97)
UNIQUE_IP:POOL 0 (+ 0)
UNIQUE_IP:PAST 122 (+ 25)
UNIQUE_IP:NONE 37 (+ 6)

やっぱりUNIQUE＿IP:TOTALはdatコンディションの合計値にしようかな
2016/03/04(金) 07:16:11.15ID:CAP_USER
ふつうにハッシュになったか
2016/03/04(金) 11:14:19.16ID:CAP_USER?S★(824723)

to SSD
-- Proc. lines: 23242
-- Proc. time: 0.981332 sec.

to /md
-- Proc. lines: 23242
-- Proc. time: 0.631473 sec.

やっぱりMDはえーなw
2016/03/04(金) 11:15:40.87ID:CAP_USER?S★(824723)

>>395
$PV_works_part->{$Type}->{$Work_date}->{$Src_name}->{TOTAL}->{COND}->{$Dat_Condition}++;
$PV_works->{$Type}->{$Work_date}->{$Src_name}->{TOTAL}->{COND}->{$Dat_Condition}++;

頭のおかしな人が書くとこうなりますの典型例w
ハシュリファレンスをそのまま保存できるのはありがたい
2016/03/04(金) 16:05:01.44ID:CAP_USER
$self->{Cache}->{$self->->{Input}->{Info}->{Name}}->{SETTING} || loadSetting()
2016/03/04(金) 20:39:12.68ID:CAP_USER?S★(824723)

-- The rank of read.cgi PV by servers. at 20160304 -- latest:2016/03/04 20:37:31
ALL PV LIVE PV POOL PV PAST PV NONE PV UQ ALL Uq LIVE UQ POOL UQ PAST UQ NONE
server /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min.
TOTAL 476049 14063 342688 10502 1042 11 112016 2798 20303 752 119003 4175 95635 3455 180 6 19559 570 3629 144
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
aoi 10686 305 6496 215 0 0 3787 78 403 12 2719 109 2154 96 0 0 474 10 91 3
carpenter 2058 71 1397 58 0 0 571 11 90 2 1007 45 775 38 0 0 219 5 13 2
daily 27204 690 16689 419 0 0 10164 265 351 6 8329 252 6833 219 0 0 1428 33 68 0
echo 21268 658 18573 604 0 0 649 8 2046 46 5732 228 5305 212 0 0 72 5 355 11
fox 14778 368 7046 154 0 0 7381 199 351 15 3218 87 1726 45 0 0 1347 38 145 4
hanabi 35820 1246 28843 939 0 0 4225 104 2752 203 9358 345 7559 280 0 0 1218 38 581 27
hayabusa6 26273 793 18815 565 1 0 6953 201 504 27 6688 220 5038 168 1 0 1546 49 103 3
hayabusa7 28348 885 20660 695 87 0 7423 183 178 7 3320 127 2432 99 9 0 856 28 23 0
hayabusa8 44663 1189 38652 1026 0 0 4591 134 1420 29 13352 430 12400 396 0 0 724 24 228 10
hope 16447 484 9951 313 0 0 6289 168 207 3 4797 176 3696 140 0 0 1021 33 80 3
maguro 3579 84 583 9 1 0 2289 64 706 11 883 17 147 3 1 0 519 12 216 2
mastiff 29413 985 19589 729 0 0 9450 250 374 6 7027 267 5694 239 0 0 1253 25 80 3
nasu 8934 217 5858 170 0 0 2315 36 761 11 2168 91 1756 78 0 0 261 6 151 7
nhk 12908 496 9219 404 57 2 3554 85 78 5 1957 107 1401 85 33 2 497 18 26 2
potato 47196 1279 36543 1030 0 0 6139 138 4514 111 12556 505 10800 418 0 0 1248 56 508 31
qb5 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
qb7 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
raptor 15488 418 10065 322 0 0 4033 63 1390 33 2364 89 1550 55 0 0 688 29 126 5
tamae 25662 776 20770 627 0 0 2677 63 2215 86 7593 274 6289 229 0 0 904 27 400 18
tanuki 5442 149 5169 120 0 0 57 0 216 29 940 21 905 21 0 0 26 0 9 0
vipper 12499 447 7837 269 891 8 3155 78 616 92 1581 51 780 24 131 3 562 17 108 7
wc2014 29649 1027 20545 787 1 0 8727 236 376 4 7503 244 5951 197 1 0 1422 43 129 4
wktk 16537 371 10083 228 0 0 6082 136 372 7 3839 87 2760 72 0 0 999 15 80 0
yomogi 41197 1125 29305 819 4 1 11505 298 383 7 12072 403 9684 341 4 1 2275 59 109 2
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
こんな感じ
-- Proc. time: 0.710482 sec.
2016/03/04(金) 20:39:41.21ID:CAP_USER?S★(824723)

>>398
store $PV_works, $WORK_file;
2016/03/04(金) 20:42:20.89ID:CAP_USER
$dataString = freeze $data
2016/03/04(金) 20:45:12.27ID:CAP_USER?S★(824723)

そういえばTOTAL PVでソートしてなかったw
2016/03/04(金) 20:45:40.31ID:CAP_USER?S★(824723)

freezeは今のところ無し
2016/03/04(金) 20:49:22.26
タッパーに入れて明日食べるみたいな用途ならこれで十分なんだよな
2016/03/04(金) 21:43:45.86ID:CAP_USER?S★(824723)

そして本体に組み込んだ
2016/03/04 21:43:00 BBS_Fileter.pl is started.[self PID:67036]
query log line: 3210
readcgi-query log line: 37011
-- Proc. lines: 37011
-- Proc. time: 4.359902 sec.

しばらくは様子見
2016/03/05(土) 00:03:57.67ID:CAP_USER?S★(824723)

日付が変わって新しく計測分を観察
問題なければ今のと切り替え
2016/03/05(土) 00:13:55.80ID:gSUJUeqa
6 以下、転載禁止でVIPがお送りします 2016/03/05(土) 00:00:00.000 ID:VEMMFIyq0000000.000
00:00:00.000なら桜守姫此芽様は俺の嫁
2016/03/05(土) 00:16:38.70ID:CAP_USER?S★(824723)

>>407
13 vipper news4vip 1457103561 1457103600.000 1457103600.176

13th.でした
2016/03/05(土) 00:18:27.18ID:CAP_USER?S★(824723)

hashファイルも旨く切り替わった？みたいなので
今のところ大丈夫そう

旧ルーチンを取り除こう
2016/03/05(土) 00:19:29.03
やったぜ。
2016/03/05(土) 00:37:51.33ID:CAP_USER?S★(824723)

-- The rank of read.cgi PV by boards. at 20160305 -- latest:2016/03/05 00:34:01
ALL PV LIVE PV POOL PV PAST PV NONE PV UQ ALL Uq LIVE UQ POOL UQ PAST UQ NONE
boards /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min.
TOTAL 877930 25249 651956 18779 86 4 186668 5436 39220 1030 180297 3695 137515 2814 54 1 36441 748 6287 132
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
119 49 3 48 3 0 0 1 0 0 0 26 1 25 1 0 0 1 0 0 0
21oversea 157 11 120 8 0 0 29 3 8 0 61 1 48 1 0 0 10 0 3 0
21oversea2 19 0 17 0 0 0 2 0 0 0 9 0 7 0 0 0 2 0 0 0
2chbook 507 37 373 12 0 0 42 2 92 23 147 3 104 1 0 0 30 1 13 1
2chse 26 2 24 2 0 0 1 0 1 0 19 2 17 2 0 0 1 0 1 0

-- The rank of read.cgi PV by servers. at 20160305 -- latest:2016/03/05 00:34:01
ALL PV LIVE PV POOL PV PAST PV NONE PV UQ ALL Uq LIVE UQ POOL UQ PAST UQ NONE
servers /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min. /day /min.
TOTAL 877930 25249 651956 18779 86 4 186668 5436 39220 1030 180297 3695 137515 2814 54 1 36441 748 6287 132
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
aoi 22990 628 15388 407 0 0 7100 209 502 12 5506 131 4229 95 0 0 1122 34 155 2
carpenter 3015 78 2044 53 0 0 852 23 119 2 1319 22 970 13 0 0 333 8 16 1
daily 45729 1213 27960 739 0 0 15970 465 1799 9 12250 262 9717 213 0 0 2431 46 102 3
echo 42862 1084 38817 1019 0 0 449 9 3596 56 8020 144 7174 126 0 0 224 2 622 16
fox 26564 686 12597 272 0 0 13300 388 667 26 5092 117 2124 36 0 0 2732 76 236 5

誤字発見w>> 'Uq'
2016/03/05(土) 00:39:05.93
表記非統一はあかんなｗ
2016/03/05(土) 00:42:55.31ID:CAP_USER?S★(824723)

2016/03/05 00:42:00 BBS_Fileter.pl is started.[self PID:71222]
query log line: 2537
readcgi-query log line: 31019
-- Proc. lines: 31019
-- Proc. time: 1.588444 sec.

よしよし
2016/03/05(土) 00:48:38.61
お手軽高性能ななんちゃってツリー構造だなー
Cで組んだらmalloc未解放地獄が待ってるぜ…
そのうちなんかで使おっと
2016/03/05(土) 06:22:12.08ID:CAP_USER?S★(824723)

ハシュリファレンスをそのままファイル保存できるので重宝してます
module自体はCで書かれているそうです
http://search.cpan.org/~ams/Storable-2.51/Storable.pm#SPEED

そういえば旧SPARROW
えらい数字が少ないなと思ったら
echoが抜けてたw
2016/03/05(土) 06:25:46.96
旧SPARROWの時点ではなかったもんなあ　＞　echo
2016/03/05(土) 07:40:24.06ID:CAP_USER?S★(824723)

-- Proc. time: 2.697749 sec.
ファイル書き出しに時間が掛かり始めた
現状40MB
これの5倍に増えるとして
200MB＝1日量
さてどういう結果になるのか
2016/03/05(土) 13:23:28.40
ある程度まとまった時点で統計してDBかテキストファイルに追記するか
マージが面倒ではあるが50MBごとにstore先を変えるか
やらずに済めば楽なんだが
2016/03/05(土) 14:54:55.30ID:CAP_USER?S★(824723)

そりゃ単にdaemonにすりゃいいんだけどねw
起動時にファイル読み込み
SIG飛んできて終了なら保存

現状 filesize: 70MB
-- POST finish. Proc. time: 0.293446 sec.
-- PV load finish. Proc. time: 2.435378 sec.
-- PV calc finish. Proc. time: 3.104818 sec.
-- PV write finish. Proc. time: 3.112759 sec.
-- PV finish. Proc. time: 5.036915 sec.

30sec.超えたら考えるw
420動け動けウゴウゴ２ちゃんねる
垢版 |
2016/03/05(土) 19:35:18.35ID:iw0QIG50
文字系列がまったく解らないバカです(´・ω・`)
2016/03/05(土) 19:41:02.83ID:CAP_USER?S★(824723)

100MB突破
-- POST finish. Proc. time: 0.381326 sec.　起動から　POST分の処理を終わるまでの時間
-- PV load finish. Proc. time: 3.319383 sec.　起動から　hashファイルを読み込みまでの時間
-- PV calc finish. Proc. time: 4.016804 sec.　起動から　PV計算が終わるまでの時間
-- PV write finish. Proc. time: 4.024915 sec.　起動から　PV結果をファイルに書き出すまでの時間　
-- PV finish. Proc. time: 6.666234 sec.　起動から　hashファイルを書き出した後までの時間＝全処理終了時間
2016/03/05(土) 19:44:50.80
なぜここで文字系列の話が…
1回あたりの読み書き容量とループ回数増加のオーバーヘッドくらいなら30秒まで行かずに済みそうな予感
ってのは死亡フラグか？
2016/03/05(土) 23:30:26.14ID:CAP_USER?S★(824723)

120MB超えたところ
-- POST finish ALL Proc. time: 0.475003 sec.
-- PV finish, RD hash finish. Proc. time: 4.094978 sec.
-- PV finish, CLAC. Proc. time: 4.991534 sec.
-- PV finish, WR list. Proc. time: 4.999739 sec.　ここでSPARROW用のファイルが生成される
-- PV finish, ALL Proc. time: 8.213063 sec.

UNIQUE数なので時間経過と共に良の増え方が鈍るのが判るます
10日で1.2GB
100日で12GB
なら毎日残してみるか
2016/03/06(日) 00:31:54.20ID:CAP_USER?S★(824723)

バックアップ失敗w
/ に書こうとしてパーミッションが無かった
明日からは大丈夫？
2016/03/06(日) 02:26:20.95ID:CAP_USER?S★(824723)

ichibanファイル、lastpost分がやっぱりおかしかった
今日の分から修正w
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。