X

【すずめ】stats.2ch.net指令所【からす・とんび・かもめ】★2©2ch.net

■ このスレッドは過去ログ倉庫に格納されています
2016/01/26(火) 17:38:18.01ID:SRZeh7MY
http://stats.2ch.net/ は、２ちゃんねるのいろいろな情報を収集しています

http://stats.2ch.net/suzume.cgi　当日の投稿数順位を板別に掲載。サーバ毎のもあります
http://stats.2ch.net/ichiban.html　当日いちばん始めの投稿から10番目までを掲載中。キリ番も同時掲載
http://stats.2ch.net/ichiban/　過去一覧

http://stats.2ch.net/tonbi.cgi　時間帯毎の投稿数順位を板別に掲載

http://stats.2ch.net/karasu.cgi　サーバ毎の投稿数

http://stats.2ch.net/kamome.cgi　とんびの上位互換？虹色ですｗ

ーーーーーーーーーーーーーーーー
さてこのstats.2ch.netもご老体になっています
いろいろと不具合を抱えていますが
生暖かく末永く見守っていただければと
（前スレ1より）

・前スレ
【すずめ】stats.2ch.net指令所【からす・とんび・かもめ】
http://carpenter.2ch.net/test/read.cgi/operatex/1447206078/
257trick
垢版 |
2016/02/27(土) 09:24:55.85ID:enEiZkau
おおー、やっぱり画像にするべきだね。
わたすの作ったのはいらんなー

ところで_serviceのuptimeが記録されなくなってる鯖があるけど
みんなstatに移行されんのかな？
258trick
垢版 |
2016/02/27(土) 10:09:44.40ID:enEiZkau
あ、それと新鯖の中でtanuki鯖だけnttec.comのNSに登録されてるけどなんでなの？
2016/02/27(土) 11:57:00.73ID:CAP_USER?S★(824723)

たぶん実験中の名残w
消しとけーよと伝えておきました
2016/02/27(土) 20:05:37.01ID:CAP_USER?S★(824723)

http://stat.2ch.net/SPARROW/20160227/POSTP/
posts/min. 順で表示
炎上中の板が判るかもしれません
2016/02/27(土) 20:28:34.88ID:x8JqUE5b
>>260
すずめアイコンが付いてないよぅ
2016/02/27(土) 21:04:56.35ID:CAP_USER?S★(824723)

favicon.icoのこと？
2016/02/27(土) 21:37:12.49ID:x8JqUE5b
>>262
それ？
ブックマークした時サイト名の頭に出るやつ〜
正式名とか知らないｗ
2016/02/27(土) 21:58:54.02
ファビコンだな
2016/02/27(土) 22:01:41.23ID:x8JqUE5b
ありがと、ひとつ覚えたｗ
2016/02/28(日) 08:14:43.34ID:CAP_USER?S★(824723)

付けてみた
桶？

手前では表示せずw
2016/02/28(日) 08:34:04.11ID:XgOg3T51
おぉ、すずめのfavicon.icoが表示された・・・
http://stat.2ch.net/SPARROW/20160228/POSTP/
で確認
2016/02/28(日) 08:41:57.24ID:CAP_USER?S★(824723)

http://i.imgur.com/huKA0g4.png
ものは試しでこんな物を貼り付けてみた
2016/02/28(日) 08:42:31.53ID:CAP_USER?S★(824723)

おーよかった>>267

相変わらず当方では表示されずw@Safari
2016/02/28(日) 08:51:36.77ID:aShNWcbT
>>268,269
http://raptor.2ch.net/livejupiter/
で確認
その「この板の順位」の囲みの「SPARROW」から
http://stat.2ch.net/SPARROW/
に飛べました

これも、favicon.icoも、IE11で確認しました
2016/02/28(日) 09:01:28.32ID:aShNWcbT
http://vipper.2ch.net/news4vip/
「この板の順位」の囲みを確認しました（IE11）
2016/02/28(日) 09:48:06.36ID:CAP_USER?S★(824723)

あーまだ全部入れてないアルヨ
2016/02/28(日) 12:38:35.69ID:9nAQrvwE
>>266
chromeとIEで確認
わーい出たーありがと＼(^o^)／
2016/02/29(月) 10:39:57.32ID:CAP_USER?S★(824723)

PVのUNIQUEも出せやっていわれたw
ぼちぼちといこう
まだねもい
2016/02/29(月) 11:28:57.11ID:rz9hbXxK
>>274
メ欄w
2016/02/29(月) 11:39:37.09ID:CAP_USER?S★(824723)

え？
あw
277動け動けウゴウゴ２ちゃんねる
垢版 |
2016/02/29(月) 11:47:19.43ID:zpqZnP5t
いろいろとまあ(´・ω・`)
2016/02/29(月) 13:49:30.95ID:0tb68dah
いつもメ欄手打ちなの？(´・ω・`)
2016/02/29(月) 18:33:56.14ID:CAP_USER?S★(824723)

echotr 鯖名無しw@SPARROW
投稿は出来た
readcgiを調整中
APIも
2016/03/01(火) 03:36:21.14ID:CAP_USER?S★(824723)

echo.2ch.net 分が有効になったかな
2016/03/01(火) 03:43:36.81ID:fa/aaI2Z
現在の状況

echoで検索　89件の一致
http://stats.2ch.net/suzume.cgi

echoで検索　1件の一致
http://stats.2ch.net/karasu.cgi

echoで検索　94件の一致
http://stat.2ch.net/SPARROW/20160301/

echoで検索　一致はありませんでした
http://stats.2ch.net/SPARROW/20160301/
2016/03/01(火) 03:54:04.35ID:CAP_USER?S★(824723)

旧SPARROWはout of maintenanceでおながいします
新鯖へリダイレクトしてもいいかもしんないけれども
2016/03/02(水) 00:44:13.47ID:CAP_USER?S★(824723)

PVのユニーク取りだしたらえらいことになってきたw
オンメモリなDBが最適解なんだろうな（メモリーは余りまくってるw）
2016/03/02(水) 00:45:30.39
Perlで使いやすいやつってえとsqlite？
2016/03/02(水) 00:59:39.34
こんな状況なんかな
Large file, multi dimensional hash - out of memory
http://www.perlmonks.org/?node_id=1033692
2016/03/02(水) 01:03:25.58
Store large hashes more efficiently
http://www.perlmonks.org/?node_id=1018287
Working with very large hashes
http://perl.goeszen.com/working-with-very-large-hashes.html
2016/03/02(水) 01:46:08.42ID:CAP_USER?S★(824723)

use DBI すれば大抵のDBに接続できるから
そんなに差違はないと思う
2016/03/02(水) 01:48:39.52
だな
2016/03/02(水) 01:49:35.07ID:CAP_USER?S★(824723)

>>285
50 million lines long
えーw
2016/03/02(水) 01:51:14.33
まあその辺の記事は、ハッシュで何とかなりませんかね？→いいからDB使えよ
がほとんどなので、DB使うんならあんま読む必要ないっす
2016/03/02(水) 01:59:18.94ID:CAP_USER?S★(824723)

tieすればそのままDB触れるんだからねw
292動け動けウゴウゴ２ちゃんねる
垢版 |
2016/03/02(水) 02:00:22.36ID:vkzIE1tW
組み込みとかで1台完結ならsqliteが速いみたいな検証読んだ覚えある
2016/03/02(水) 02:07:21.56
ファイルにもしやすいし、いいんじゃないかな
2016/03/02(水) 02:33:58.71ID:CAP_USER?S★(824723)

そこまでたいそうなのが必要なのか？
と言うのもある
しかも未インストールときたもんだw@sqlite
2016/03/02(水) 02:34:33.56ID:CAP_USER?S★(824723)

ちなみに今掃除機掛けているので反応悪いです@stat鯖
2016/03/02(水) 03:14:28.02ID:CAP_USER?S★(824723)

掃除終わった
容量が30GBぐらい増えたw
sqlite入れてみるか
FreeBSDでは初体験
297動け動けウゴウゴ２ちゃんねる
垢版 |
2016/03/02(水) 03:20:43.94ID:vkzIE1tW
何か入れるぐらいならありものでいいんじゃねーかな感もないわけではない
何を初期装備してるのかしらんけど
2016/03/02(水) 03:50:03.79ID:CAP_USER?S★(824723)

なぁーんも入ってないw
2016/03/02(水) 04:03:36.75ID:CAP_USER?S★(824723)

UserAgent毎のPV分布全鯖とか見ようと思うとやっぱりDBの方が有利だよな
今のうち全部書き換えるか
まだ傷は浅いw
2016/03/02(水) 04:04:28.05ID:CAP_USER?S★(824723)

いつまで【特別重大報道】にするつもりだったのか
2016/03/02(水) 07:22:30.90ID:CAP_USER
perl uniq 速度比較
http://ichirin2501.hatenablog.com/entry/20110716/1310804204
2016/03/02(水) 07:33:54.35ID:CAP_USER?S★(824723)

my @array = @_;
これだけはありえないw
2016/03/02(水) 07:45:27.40ID:CAP_USER
MySQLでINDEX張ってするかSQLiteでするか
UAとかはMD5とかにしてソートした方がいいとおもふ
2016/03/02(水) 07:58:48.22ID:CAP_USER?S★(824723)

そんなことよりこれﾜﾛﾀ
# crontab -l
bash: crontab: コマンドが見つかりません
2016/03/02(水) 08:01:33.99ID:CAP_USER?S★(824723)

postfix を消した所為だったw
こんなもんに依存関係付けるなよw
2016/03/02(水) 17:50:13.98ID:CAP_USER?S★(824723)

SQLite version 3.9.2 2015-11-02 18:31:45
Enter ".help" for usage hints.
Connected to a transient in-memory database.
Use ".open FILENAME" to reopen on a persistent database.
sqlite> q
...> .help
...>
...> .exit
...>

なんかおかしいｗ
2016/03/02(水) 17:52:28.97ID:2+Ims2ws
セミコロン付けないと
2016/03/02(水) 17:55:35.06ID:CAP_USER
MySQLおすすめ（布教
2016/03/02(水) 19:02:02.30ID:CAP_USER?S★(824723)

ぬー
IPアドレスってBLOBで通らんのか
これだからDB嫌いw
2016/03/02(水) 19:10:24.51ID:CAP_USER?S★(824723)

INSERT INTO "PV_READCGI" VALUES('raptor','livejupiter','LIVE','Mozilla50','126.78.81.74');
なるふぉどな
まんどくせｗ
2016/03/02(水) 19:13:05.07
決まりきったデータしか扱わないなら
いつもと似たようなインターフェイスで使えるサブルーチン作ってラップしちゃえばいいんじゃね
とか言ってるうちに普通にできたっぽいな
2016/03/02(水) 19:33:35.80ID:CAP_USER
大量のデータをどれだけ処理できるのかという問題

MySQLおすすめ（布教です
2016/03/02(水) 19:44:14.26ID:AvCsnoz3
ん？今までDB使ってなかったのか？
2016/03/02(水) 19:49:18.98
肝心の、分析に回す大量のデータがなかったからね…
2016/03/02(水) 19:56:32.99ID:CAP_USER?S★(824723)

10millionオーダーの処理って今まで無かったと思う
2016/03/02(水) 19:57:49.72ID:CAP_USER?S★(824723)

まずは1日でどれくらいの容量になるのか見てみたい
それで問題なさそうなら
いろいろと調理していこうかと思う
2016/03/02(水) 19:59:33.87ID:CAP_USER
数だけ数えるならKVSなんだけどなあ
2016/03/02(水) 20:05:25.35
今回、ハッシュの代わりだし、たし蟹
2016/03/02(水) 21:42:22.30ID:CAP_USER?S★(824723)

KVSでは1日で20GBずつSSD容量が減っていくのであったw
2016/03/02(水) 21:43:05.40ID:CAP_USER
どういうやり方で？
2016/03/02(水) 21:43:37.09ID:CAP_USER?S★(824723)

今の時間（繁忙期）単純にクエリー登録するのにondiskだと30秒掛かる
On memoryだと2秒w
2016/03/02(水) 21:45:33.22ID:CAP_USER?S★(824723)

.datの種類（生：過去：待避：無い）
UserAgent
IPaddress
2016/03/02(水) 21:48:46.99ID:CAP_USER
memcachedは速いらしい
IPごとPV,UAごとPVとか別々にキーを変える
2016/03/02(水) 21:50:32.30
こんなんあるよー
PerlからMemcachedを使う(Cache::Memcached::Fast)
http://d.hatena.ne.jp/koba04/20110212/1297446296
2016/03/02(水) 21:53:07.74ID:CAP_USER
速度比較
memcached 19958.5
redis 19627.5
redis コンバートなし 20638.5
DB postgres 956.5
ハッシュ 3402237.3
2016/03/02(水) 21:56:46.10
Redisならこんなん
http://qiita.com/akishin/items/9372a77dab0512880e18
>Hash に tie して使う
>Redis::Hash を使うことで Hash に tie する事ができる。
>これにより通常の Hash にアクセスするのと同じコードで Redis 上にデータを保存できる。
2016/03/02(水) 22:00:54.52
ザル（KVS）で受けて水切りして盛りつけは綺麗にRDBみたいな
2016/03/02(水) 22:02:21.17ID:CAP_USER
カウント取るなら324でincrすればいいんじゃね?
あとは決まった時間ごとにRDBMSへ突っ込む
漏れが起きないようにキーには時間を
2016/03/02(水) 22:03:38.78ID:CAP_USER?S★(824723)

いろいろとありがとう
いろいろと思案してみます
2016/03/02(水) 22:04:49.10ID:CAP_USER?S★(824723)

IPaddress
そう、これが無ければ何も問題は無いのですw
（現状、難なく計れている）
2016/03/02(水) 22:04:57.18ID:aK+l5FVs
頭の中でプログラムは組み上がった、あとは鯖に実装するだけだ






rootくれｗ
2016/03/02(水) 22:05:47.79ID:CAP_USER
>>330
BinaryにしてIntかLongに突っ込む
ＫＶＳなら余裕
2016/03/02(水) 22:07:51.38ID:CAP_USER?S★(824723)

2016/03/02 Total PV(read.cgi) count 26,306,418
latest: 28,225 PV/min. 2016/03/02 22:07:03 (Update every minute.)

POST分も併せて3秒で終了
2016/03/02(水) 22:08:38.53
Integer IP address to Quad IPv4 address one liner or close to it?
http://www.perlmonks.org/?node_id=786521
2016/03/02(水) 22:13:56.41ID:CAP_USER?S★(824723)

そういえばsqliteってオンメモリにするとUNIQUEが強制されるのかしら？
なんでかそうなるw
ちなmemcachedが今のところ候補w
http://search.cpan.org/dist/Cache-Memcached-Fast/lib/Cache/Memcached/Fast.pm
2016/03/02(水) 22:14:46.40ID:CAP_USER
デーモン作ってハッシュ
2016/03/02(水) 22:19:35.79ID:CAP_USER?S★(824723)

1456924662.068 1456924662.083463.Mozilla50.IPAddress.LIVE.1456916607.newsplus.daily.2ch.net
1456924662.072 1456924662.079918.Mozilla50.IPAddress.PAST.1452614993.liveanb.hayabusa7.2ch.net
こんな感じのデータが毎分50kぐらいやってきます
2016/03/02(水) 22:20:48.96ID:CAP_USER
いまパイプに流れてるんでしょ？
ならハッシュだろ
2016/03/02(水) 22:25:33.60ID:CAP_USER
IPごとのハッシュ、UAごとのハッシュ、種類ごとのハッシュなどなど
2016/03/02(水) 22:28:52.11ID:CAP_USER?S★(824723)

パイプにも流している
でも今は不在w
2016/03/02(水) 22:31:50.39ID:CAP_USER
http://sdautovic.blogspot.jp/2015/05/bind9-logging-to-named-pipe-fifo.html
BIND9でFIFOにログ流すパッチ？
2016/03/02(水) 22:35:48.32ID:CAP_USER?S★(824723)

そういえばBINDって頑なにログをパイプ出力するのを拒んでるよなw
今はフォアグランドへ全メッセージ吐かせています
2016/03/02(水) 22:38:04.49ID:CAP_USER
https://twitter.com/cause_less/status/293038390130114560
unix socketでbindのログをリアルタイム集計できないかと思ったらbind9.8以降ではログ出力がisc_file_isplainfileで通常ファイルかチェックしている。パストラバーサル心配なら所有者とパーミッションでやってくれよ……
2016/03/02(水) 23:14:04.85ID:CAP_USER?S★(824723)

# memcached_enable (bool): Set it to "YES" to enable memcached.
# Default is "NO".
# memcached_flags (flags): Set extra flags here. More options in memcached(1)
# Default is empty "".
# memcached_user (user): Set user to run memcached.
# Default is "nobody".
# memcached_profiles (str): Set to "" by default.
# Define your profiles here.
# memcached_post_start (str): Set extra commands that should be executed after memcached was successfully
# started here.
# Default is empty "".

.confが無いのか
2016/03/02(水) 23:27:24.82
where is memcached.conf located in FreeBSD
https://forums.freebsd.org/threads/38662/
2016/03/02(水) 23:39:47.01ID:CAP_USER?S★(824723)

/etc/rc.d/memcached の中から引用してましたw
memcached.confを取り込む部分があるかなと思って
2016/03/02(水) 23:40:40.71ID:CAP_USER?S★(824723)

とりあえず16GB充てたw
メモリは十分に余ってるしon 64GB
2016/03/02(水) 23:43:45.87ID:CAP_USER
いいなぁ
2016/03/03(木) 00:12:52.88ID:CAP_USER?S★(824723)

旧SPARROWなんかぬっこわれてるなw
新しい方にリダイレクトした方がいいかな
2016/03/03(木) 00:15:02.20
微妙なことになってるね
2016/03/03(木) 00:34:58.07
でも、どうせDNS割り当て直す（この表現でいいのか）んじゃなかったっけ？
2016/03/03(木) 02:41:13.47ID:CAP_USER?S★(824723)

やっぱり30秒ぐらい掛かるんか
2016/03/03(木) 02:42:18.31ID:CAP_USER?S★(824723)

hope.TOTAL 7171
hope.LIVE 3311
hope.POOL 0
hope.PAST 3693
hope.NONE 167
hope.LIVE.UA:Mozilla50 2648
hope.LIVE.IP:TOTAL 1175

maguro.TOTAL 0
maguro.LIVE 0
maguro.POOL 0
maguro.PAST 0
maguro.NONE 0
maguro.LIVE.UA:Mozilla50 0
maguro.LIVE.IP:TOTAL 0

echoとかも拾えてないな
はて？
2016/03/03(木) 03:00:25.69ID:CAP_USER?S★(824723)

maguro 1
maguro 1
carpenter 1
fox 8261
fox 8262
fox 8263
carpenter 1
maguro 1
fox 8264
maguro 1
fox 8265
carpenter 1

DBぬっこわれてるんかな？
2016/03/03(木) 03:41:26.28ID:CAP_USER?S★(824723)

daemon再起動しても同じやね
今日はこのくらいにしといたろ
2016/03/03(木) 15:41:41.05ID:CAP_USER?S★(824723)

weight => 2.5
ってのを取っ払ったらカウントしたw
偶にあるんだよなpodにあるサンプルコードで不具合が出るのってw

今のやり方で今の時間おおむね20秒かかる
引き続き試行錯誤
■ このスレッドは過去ログ倉庫に格納されています