【すずめ】stats.2ch.net指令所【からす・とんび・かもめ】★2©2ch.net
■ このスレッドは過去ログ倉庫に格納されています
http://stats.2ch.net/ は、２ちゃんねるのいろいろな情報を収集しています
http://stats.2ch.net/suzume.cgi 当日の投稿数順位を板別に掲載。サーバ毎のもあります
http://stats.2ch.net/ichiban.html 当日いちばん始めの投稿から10番目までを掲載中。キリ番も同時掲載
http://stats.2ch.net/ichiban/ 過去一覧
http://stats.2ch.net/tonbi.cgi 時間帯毎の投稿数順位を板別に掲載
http://stats.2ch.net/karasu.cgi サーバ毎の投稿数
http://stats.2ch.net/kamome.cgi とんびの上位互換？虹色ですｗ
ーーーーーーーーーーーーーーーー
さてこのstats.2ch.netもご老体になっています
いろいろと不具合を抱えていますが
生暖かく末永く見守っていただければと
（前スレ1より）
・前スレ
【すずめ】stats.2ch.net指令所【からす・とんび・かもめ】
http://carpenter.2ch.net/test/read.cgi/operatex/1447206078/ >>247
や〜、専ブラで何も考えずにクリックしたらまた観測状況報告にとんだ〜ｗ
えぇちょろめで開きますよちょろめでｗ
ひどく重い感じはしなかったけど
あらほんと、PVが消えてる jsonのデータ数が138240もあるのでおんもいと思いますわー すけーらぶるな何かを使った方がいいのだろうか
なんとかなってるからいいか 
ふと板履歴なるものって存在するのだろうか？
news4vipだと
今vipper
前viper
そのもっと前・・・
とかって ないというかあっても全部メモ帳に人力でじゃないのか 常駐板のは10年以上前まで遡れるけど他板は無理(;´∀｀)
わははやっぱりあったのかw
というか何か見覚えがあるかもしれない
でもって過去ログ鯖をクローリングして最古スレを漁れば
稼働日が判明するのかと思って おおー、やっぱり画像にするべきだね。
わたすの作ったのはいらんなー
ところで_serviceのuptimeが記録されなくなってる鯖があるけど
みんなstatに移行されんのかな？ あ、それと新鯖の中でtanuki鯖だけnttec.comのNSに登録されてるけどなんでなの？
たぶん実験中の名残w
消しとけーよと伝えておきました
favicon.icoのこと？ >>262
それ？
ブックマークした時サイト名の頭に出るやつ〜
正式名とか知らないｗ
付けてみた
桶？
手前では表示せずw
おーよかった>>267
相変わらず当方では表示されずw@Safari >>268,269
http://raptor.2ch.net/livejupiter/
で確認
その「この板の順位」の囲みの「SPARROW」から
http://stat.2ch.net/SPARROW/
に飛べました
これも、favicon.icoも、IE11で確認しました
あーまだ全部入れてないアルヨ >>266
chromeとIEで確認
わーい出たーありがと＼(^o^)／
PVのUNIQUEも出せやっていわれたw
ぼちぼちといこう
まだねもい
え？
あw
echotr 鯖名無しw@SPARROW
投稿は出来た
readcgiを調整中
APIも
echo.2ch.net 分が有効になったかな
旧SPARROWはout of maintenanceでおながいします
新鯖へリダイレクトしてもいいかもしんないけれども
PVのユニーク取りだしたらえらいことになってきたw
オンメモリなDBが最適解なんだろうな（メモリーは余りまくってるw） こんな状況なんかな
Large file, multi dimensional hash - out of memory
http://www.perlmonks.org/?node_id=1033692
use DBI すれば大抵のDBに接続できるから
そんなに差違はないと思う
>>285
50 million lines long
えーw まあその辺の記事は、ハッシュで何とかなりませんかね？→いいからDB使えよ
がほとんどなので、DB使うんならあんま読む必要ないっす
tieすればそのままDB触れるんだからねw 組み込みとかで1台完結ならsqliteが速いみたいな検証読んだ覚えある
そこまでたいそうなのが必要なのか？
と言うのもある
しかも未インストールときたもんだw@sqlite
ちなみに今掃除機掛けているので反応悪いです@stat鯖
掃除終わった
容量が30GBぐらい増えたw
sqlite入れてみるか
FreeBSDでは初体験 何か入れるぐらいならありものでいいんじゃねーかな感もないわけではない
何を初期装備してるのかしらんけど
なぁーんも入ってないw
UserAgent毎のPV分布全鯖とか見ようと思うとやっぱりDBの方が有利だよな
今のうち全部書き換えるか
まだ傷は浅いw
いつまで【特別重大報道】にするつもりだったのか
my @array = @_;
これだけはありえないw MySQLでINDEX張ってするかSQLiteでするか
UAとかはMD5とかにしてソートした方がいいとおもふ
そんなことよりこれﾜﾛﾀ
# crontab -l
bash: crontab: コマンドが見つかりません
postfix を消した所為だったw
こんなもんに依存関係付けるなよw
SQLite version 3.9.2 2015-11-02 18:31:45
Enter ".help" for usage hints.
Connected to a transient in-memory database.
Use ".open FILENAME" to reopen on a persistent database.
sqlite> q
...> .help
...>
...> .exit
...>
なんかおかしいｗ
ぬー
IPアドレスってBLOBで通らんのか
これだからDB嫌いw
INSERT INTO "PV_READCGI" VALUES('raptor','livejupiter','LIVE','Mozilla50','126.78.81.74');
なるふぉどな
まんどくせｗ 決まりきったデータしか扱わないなら
いつもと似たようなインターフェイスで使えるサブルーチン作ってラップしちゃえばいいんじゃね
とか言ってるうちに普通にできたっぽいな 大量のデータをどれだけ処理できるのかという問題
MySQLおすすめ（布教です
10millionオーダーの処理って今まで無かったと思う
まずは1日でどれくらいの容量になるのか見てみたい
それで問題なさそうなら
いろいろと調理していこうかと思う
KVSでは1日で20GBずつSSD容量が減っていくのであったw
今の時間（繁忙期）単純にクエリー登録するのにondiskだと30秒掛かる
On memoryだと2秒w
.datの種類（生：過去：待避：無い）
UserAgent
IPaddress memcachedは速いらしい
IPごとPV,UAごとPVとか別々にキーを変える こんなんあるよー
PerlからMemcachedを使う(Cache::Memcached::Fast)
http://d.hatena.ne.jp/koba04/20110212/1297446296 速度比較
memcached 19958.5
redis 19627.5
redis コンバートなし 20638.5
DB postgres 956.5
ハッシュ 3402237.3 Redisならこんなん
http://qiita.com/akishin/items/9372a77dab0512880e18
>Hash に tie して使う
>Redis::Hash を使うことで Hash に tie する事ができる。
>これにより通常の Hash にアクセスするのと同じコードで Redis 上にデータを保存できる。 ザル（KVS）で受けて水切りして盛りつけは綺麗にRDBみたいな カウント取るなら324でincrすればいいんじゃね?
あとは決まった時間ごとにRDBMSへ突っ込む
漏れが起きないようにキーには時間を
いろいろとありがとう
いろいろと思案してみます
IPaddress
そう、これが無ければ何も問題は無いのですw
（現状、難なく計れている） 頭の中でプログラムは組み上がった、あとは鯖に実装するだけだ
rootくれｗ >>330
BinaryにしてIntかLongに突っ込む
ＫＶＳなら余裕
2016/03/02 Total PV(read.cgi) count 26,306,418
latest: 28,225 PV/min. 2016/03/02 22:07:03 (Update every minute.)
POST分も併せて3秒で終了 Integer IP address to Quad IPv4 address one liner or close to it?
http://www.perlmonks.org/?node_id=786521
1456924662.068 1456924662.083463.Mozilla50.IPAddress.LIVE.1456916607.newsplus.daily.2ch.net
1456924662.072 1456924662.079918.Mozilla50.IPAddress.PAST.1452614993.liveanb.hayabusa7.2ch.net
こんな感じのデータが毎分50kぐらいやってきます IPごとのハッシュ、UAごとのハッシュ、種類ごとのハッシュなどなど
パイプにも流している
でも今は不在w
そういえばBINDって頑なにログをパイプ出力するのを拒んでるよなw
今はフォアグランドへ全メッセージ吐かせています https://twitter.com/cause_less/status/293038390130114560
unix socketでbindのログをリアルタイム集計できないかと思ったらbind9.8以降ではログ出力がisc_file_isplainfileで通常ファイルかチェックしている。パストラバーサル心配なら所有者とパーミッションでやってくれよ……
# memcached_enable (bool): Set it to "YES" to enable memcached.
# Default is "NO".
# memcached_flags (flags): Set extra flags here. More options in memcached(1)
# Default is empty "".
# memcached_user (user): Set user to run memcached.
# Default is "nobody".
# memcached_profiles (str): Set to "" by default.
# Define your profiles here.
# memcached_post_start (str): Set extra commands that should be executed after memcached was successfully
# started here.
# Default is empty "".
.confが無いのか where is memcached.conf located in FreeBSD
https://forums.freebsd.org/threads/38662/
/etc/rc.d/memcached の中から引用してましたw
memcached.confを取り込む部分があるかなと思って
とりあえず16GB充てたw
メモリは十分に余ってるしon 64GB ■ このスレッドは過去ログ倉庫に格納されています
