【すずめ】stats.2ch.net指令所【からす・とんび・かもめ】★2©2ch.net

2016/01/26(火) 17:38:18.01

http://stats.2ch.net/ は、２ちゃんねるのいろいろな情報を収集しています

http://stats.2ch.net/suzume.cgi　当日の投稿数順位を板別に掲載。サーバ毎のもあります
http://stats.2ch.net/ichiban.html　当日いちばん始めの投稿から10番目までを掲載中。キリ番も同時掲載
http://stats.2ch.net/ichiban/　過去一覧

http://stats.2ch.net/tonbi.cgi　時間帯毎の投稿数順位を板別に掲載

http://stats.2ch.net/karasu.cgi　サーバ毎の投稿数

http://stats.2ch.net/kamome.cgi　とんびの上位互換？虹色ですｗ

ーーーーーーーーーーーーーーーー
さてこのstats.2ch.netもご老体になっています
いろいろと不具合を抱えていますが
生暖かく末永く見守っていただければと
（前スレ1より）

・前スレ
【すずめ】stats.2ch.net指令所【からす・とんび・かもめ】
http://carpenter.2ch.net/test/read.cgi/operatex/1447206078/

**キャップ見習い ★** · 2016/02/22(月) 19:46:05.89

>>230
わろたw

**動け動けウゴウゴ２ちゃんねる** · 2016/02/22(月) 19:46:30.10

p53インストールできねえよ問題とかもあるし
まあmaguroだから

>>230
それは事実だからしゃーない

**自称強キャップさん ★** · 2016/02/22(月) 19:49:16.95

どこが特殊なんだろ

**動け動けウゴウゴ２ちゃんねる** · 2016/02/22(月) 19:50:09.42

>>232
統計上は除外できるな
専ブラでは現行スレとして取得できてるっぽい

**trick** · 2016/02/23(火) 01:19:15.80

ほんとに詰まってたんだな、数時間止まっても一気にカウントするというか。
挙動がオモロイ、早くPV復活しますように。

?S★(824723) · 2016/02/24(水) 16:00:14.00

-- The rank of read.cgi PV by servers. -- latest:2016/02/24 15:57:02
ALL PV LIVE PV POOL PV PAST PV NONE PV
server /day /min. /day /min. /day /min. /day /min. /day /min.
TOTAL 17790836 21421 10933361 14434 3202 3 5854031 6074 1000242 910
--------------------------------------------------------------------------------
yomogi 1647762 1891 1014839 1363 61 0 615603 513 17259 15
potato 1594271 2007 1129042 1520 0 0 226871 317 238358 170
hayabusa8 1495623 2090 1280881 1756 0 0 117526 216 97216 118
hanabi 1250705 1793 929494 1406 1 0 191426 212 129784 175
peace 1210443 1698 776582 1178 12 0 411724 496 22125 24
daily 1194016 1356 704175 903 2 0 468106 446 21733 7
wc2014 1193907 1318 643527 814 136 0 527729 484 22515 20
mastiff 1055771 1197 525958 711 5 0 511423 473 18385 13
hayabusa7 1024671 909 495470 386 6 0 527325 522 1870 1
hayabusa6 866058 1070 552353 656 60 0 296682 405 16963 9
tamae 850742 1061 656380 753 4 0 108603 127 85755 181
hope 689046 885 330688 525 0 0 344308 354 14050 6
wktk 676105 960 317719 609 0 0 342048 330 16338 21
raptor 510260 506 287794 396 0 0 69068 75 153398 35
vipper 507533 504 235760 287 1498 0 233980 186 36295 31
fox 451831 428 202565 198 73 0 229766 216 19427 14
aoi 398953 473 239829 320 0 0 146115 137 13009 16
nhk 396596 455 189962 179 1336 3 202454 272 2844 1
nasu 361327 384 232718 245 0 0 99916 128 28693 11
maguro 188852 217 29769 52 8 0 128308 131 30767 34
tanuki 149157 138 110814 126 0 0 28757 4 9586 8
carpenter 77207 81 47042 51 0 0 26293 30 3872 0
--------------------------------------------------------------------------------

こんな感じ
やはり過去ログ系は重複があったりとかで
板別とは一致しないです
あと過去ログ鯖に移動したのはまだ計測していません

**動け動けウゴウゴ２ちゃんねる** · 2016/02/24(水) 16:10:44.53

maguroのNONE PVが穴実のそんなスレねえよかな？
数字としては使えそうだから良さそうな気がする

**動け動けウゴウゴ２ちゃんねる** · 2016/02/24(水) 16:24:03.42

なんか変更　→　大きくなった
なんか変更　→　小さくなった
みたいな変化を見るのには使えるかなと

?S★(824723) · 2016/02/24(水) 16:45:10.87

maguroは移転前の過去ログ満載ですし
maguroにある過去ログを過去ログ鯖に移動して
今あるmaguro鯖名を変更する（名前の付け替え）って云うのも出来るんかな

**動け動けウゴウゴ２ちゃんねる** · 2016/02/24(水) 16:52:58.09

使う側からすると移転と変わらないような…？　＞　改名・別名

**trick** · 2016/02/24(水) 18:12:36.41

postとnewthreadの方も仕様が変わったのね。

PVの方も分かりやすいな
http://stat.2ch.net/PV/servers/20160224.txt

**trick** · 2016/02/24(水) 18:52:35.02

たまーにこんな挙動をするね

2016/02/23 21:54:12 2043012 2877 31257 37
↑数分間このまま

2016/02/23 21:58:52 2055772 12760 31435 178
↑動いたと思ったらドバっと来る

2016/02/23 22:00:00 2059185 3413 31482 47
↑通常営業に戻る

通常であれば分更新してるし、まあ構築中のでーただしね。

**動け動けウゴウゴ２ちゃんねる** · 2016/02/24(水) 21:39:23.43

maguro鯖の名前変更後はnamori鯖でオナシャス

**trick** · 2016/02/25(木) 02:29:32.83

作ってる途中で、PVも入れるとスレ立て数とか絵画すんの見えなくて意味なくね？と思い始めた。
https://pbs.twimg.com/media/Cb_wnqTUUAA7efj.jpg

**trick** · 2016/02/26(金) 16:20:46.96

PVが見れなくなってるなぁ、えろえろ模索中なんだろか。

無理やり作ったサンプルグラフ（激重）↓
http://snowslide.s201.xrea.com/observation/stats_graph.html

**動け動けウゴウゴ２ちゃんねる** · 2016/02/26(金) 16:30:53.97

>>247
や～、専ブラで何も考えずにクリックしたらまた観測状況報告にとんだ～ｗ
えぇちょろめで開きますよちょろめでｗ

ひどく重い感じはしなかったけど
あらほんと、PVが消えてる

**trick** · 2016/02/26(金) 17:01:02.53

jsonのデータ数が138240もあるのでおんもいと思いますわー

**動け動けウゴウゴ２ちゃんねる** · 2016/02/26(金) 17:10:06.91

すけーらぶるな何かを使った方がいいのだろうか
なんとかなってるからいいか

?S★(824723) · 2016/02/26(金) 20:32:32.34

ふと板履歴なるものって存在するのだろうか？
news4vipだと
今vipper
前viper
そのもっと前・・・

とかって

**動け動けウゴウゴ２ちゃんねる** · 2016/02/26(金) 20:34:26.39

ないというかあっても全部メモ帳に人力でじゃないのか

**動け動けウゴウゴ２ちゃんねる** · 2016/02/26(金) 20:38:40.24

常駐板のは10年以上前まで遡れるけど他板は無理(;´∀｀)

**自称強キャップさん ★** · 2016/02/26(金) 20:46:11.21

>>251
http://www.geocities.co.jp/SiliconValley-PaloAlto/7515/iten.txt

?S★(824723) · 2016/02/26(金) 22:36:41.68

わははやっぱりあったのかw
というか何か見覚えがあるかもしれない

でもって過去ログ鯖をクローリングして最古スレを漁れば
稼働日が判明するのかと思って

?S★(824723) · 2016/02/27(土) 05:47:18.45

http://stat.2ch.net/graphs.html
こちらに移動してみた

**trick** · 2016/02/27(土) 09:24:55.85

おおー、やっぱり画像にするべきだね。
わたすの作ったのはいらんなー

ところで_serviceのuptimeが記録されなくなってる鯖があるけど
みんなstatに移行されんのかな？

**trick** · 2016/02/27(土) 10:09:44.40

あ、それと新鯖の中でtanuki鯖だけnttec.comのNSに登録されてるけどなんでなの？

?S★(824723) · 2016/02/27(土) 11:57:00.73

たぶん実験中の名残w
消しとけーよと伝えておきました

?S★(824723) · 2016/02/27(土) 20:05:37.01

http://stat.2ch.net/SPARROW/20160227/POSTP/
posts/min. 順で表示
炎上中の板が判るかもしれません

**動け動けウゴウゴ２ちゃんねる** · 2016/02/27(土) 20:28:34.88

>>260
すずめアイコンが付いてないよぅ

?S★(824723) · 2016/02/27(土) 21:04:56.35

favicon.icoのこと？

**動け動けウゴウゴ２ちゃんねる** · 2016/02/27(土) 21:37:12.49

>>262
それ？
ブックマークした時サイト名の頭に出るやつ～
正式名とか知らないｗ

**動け動けウゴウゴ２ちゃんねる** · 2016/02/27(土) 21:58:54.02

ファビコンだな

**動け動けウゴウゴ２ちゃんねる** · 2016/02/27(土) 22:01:41.23

ありがと、ひとつ覚えたｗ

?S★(824723) · 2016/02/28(日) 08:14:43.34

付けてみた
桶？

手前では表示せずw

**動け動けウゴウゴ２ちゃんねる** · 2016/02/28(日) 08:34:04.11

おぉ、すずめのfavicon.icoが表示された・・・
http://stat.2ch.net/SPARROW/20160228/POSTP/
で確認

?S★(824723) · 2016/02/28(日) 08:41:57.24

http://i.imgur.com/huKA0g4.png
ものは試しでこんな物を貼り付けてみた

?S★(824723) · 2016/02/28(日) 08:42:31.53

おーよかった>>267

相変わらず当方では表示されずw@Safari

**動け動けウゴウゴ２ちゃんねる** · 2016/02/28(日) 08:51:36.77

>>268,269
http://raptor.2ch.net/livejupiter/
で確認
その「この板の順位」の囲みの「SPARROW」から
http://stat.2ch.net/SPARROW/
に飛べました

これも、favicon.icoも、IE11で確認しました

**動け動けウゴウゴ２ちゃんねる** · 2016/02/28(日) 09:01:28.32

http://vipper.2ch.net/news4vip/
「この板の順位」の囲みを確認しました（IE11）

**Mango Mangüé ★ 転載ダメ©2ch.net** · 2016/02/28(日) 09:48:06.36

あーまだ全部入れてないアルヨ

**動け動けウゴウゴ２ちゃんねる** · 2016/02/28(日) 12:38:35.69

>>266
chromeとIEで確認
わーい出たーありがと＼(^o^)／

**Mango Mangüé ★ 転載ダメ©2ch.net** · 2016/02/29(月) 10:39:57.32

PVのUNIQUEも出せやっていわれたw
ぼちぼちといこう
まだねもい

**動け動けウゴウゴ２ちゃんねる** · 2016/02/29(月) 11:28:57.11

>>274
メ欄w

**Mango Mangüé ★ 【특별중대보도】©2ch.net** · 2016/02/29(月) 11:39:37.09

え？
あw

**動け動けウゴウゴ２ちゃんねる** · 2016/02/29(月) 11:47:19.43

いろいろとまあ(´・ω・`)

2016/02/29(月) 13:49:30.95

いつもメ欄手打ちなの？(´・ω・`)

**Mango Mangüé ★ 【특별중대보도】©2ch.net** · 2016/02/29(月) 18:33:56.14

echotr 鯖名無しw@SPARROW
投稿は出来た
readcgiを調整中
APIも

**Mango Mangüé ★ 【특별중대보도】©2ch.net** · 2016/03/01(火) 03:36:21.14

echo.2ch.net 分が有効になったかな

**動け動けウゴウゴ２ちゃんねる** · 2016/03/01(火) 03:43:36.81

現在の状況

echoで検索　89件の一致
http://stats.2ch.net/suzume.cgi

echoで検索　1件の一致
http://stats.2ch.net/karasu.cgi

echoで検索　94件の一致
http://stat.2ch.net/SPARROW/20160301/

echoで検索　一致はありませんでした
http://stats.2ch.net/SPARROW/20160301/

**Mango Mangüé ★ 【특별중대보도】©2ch.net** · 2016/03/01(火) 03:54:04.35

旧SPARROWはout of maintenanceでおながいします
新鯖へリダイレクトしてもいいかもしんないけれども

**Mango Mangüé ★ 【특별중대보도】©2ch.net** · 2016/03/02(水) 00:44:13.47

PVのユニーク取りだしたらえらいことになってきたw
オンメモリなDBが最適解なんだろうな（メモリーは余りまくってるw）

**動け動けウゴウゴ２ちゃんねる** · 2016/03/02(水) 00:45:30.39

Perlで使いやすいやつってえとsqlite？

**動け動けウゴウゴ２ちゃんねる** · 2016/03/02(水) 00:59:39.34

こんな状況なんかな
Large file, multi dimensional hash - out of memory
http://www.perlmonks.org/?node_id=1033692

**動け動けウゴウゴ２ちゃんねる** · 2016/03/02(水) 01:03:25.58

Store large hashes more efficiently
http://www.perlmonks.org/?node_id=1018287
Working with very large hashes
http://perl.goeszen.com/working-with-very-large-hashes.html

**Mango Mangüé ★ 【특별중대보도】©2ch.net** · 2016/03/02(水) 01:46:08.42

use DBI すれば大抵のDBに接続できるから
そんなに差違はないと思う

**動け動けウゴウゴ２ちゃんねる** · 2016/03/02(水) 01:48:39.52

だな

**Mango Mangüé ★ 【특별중대보도】©2ch.net** · 2016/03/02(水) 01:49:35.07

>>285
50 million lines long
えーw

**動け動けウゴウゴ２ちゃんねる** · 2016/03/02(水) 01:51:14.33

まあその辺の記事は、ハッシュで何とかなりませんかね？→いいからDB使えよ
がほとんどなので、DB使うんならあんま読む必要ないっす

**Mango Mangüé ★ 【특별중대보도】©2ch.net** · 2016/03/02(水) 01:59:18.94

tieすればそのままDB触れるんだからねw

**動け動けウゴウゴ２ちゃんねる** · 2016/03/02(水) 02:00:22.36

組み込みとかで1台完結ならsqliteが速いみたいな検証読んだ覚えある

**動け動けウゴウゴ２ちゃんねる** · 2016/03/02(水) 02:07:21.56

ファイルにもしやすいし、いいんじゃないかな

**Mango Mangüé ★ 【특별중대보도】©2ch.net** · 2016/03/02(水) 02:33:58.71

そこまでたいそうなのが必要なのか？
と言うのもある
しかも未インストールときたもんだw@sqlite

**Mango Mangüé ★ 【특별중대보도】©2ch.net** · 2016/03/02(水) 02:34:33.56

ちなみに今掃除機掛けているので反応悪いです@stat鯖

**Mango Mangüé ★ 【특별중대보도】©2ch.net** · 2016/03/02(水) 03:14:28.02

掃除終わった
容量が30GBぐらい増えたw
sqlite入れてみるか
FreeBSDでは初体験

**動け動けウゴウゴ２ちゃんねる** · 2016/03/02(水) 03:20:43.94

何か入れるぐらいならありものでいいんじゃねーかな感もないわけではない
何を初期装備してるのかしらんけど

**Mango Mangüé ★ 【특별중대보도】©2ch.net** · 2016/03/02(水) 03:50:03.79

なぁーんも入ってないw

**Mango Mangüé ★ 【특별중대보도】©2ch.net** · 2016/03/02(水) 04:03:36.75

UserAgent毎のPV分布全鯖とか見ようと思うとやっぱりDBの方が有利だよな
今のうち全部書き換えるか
まだ傷は浅いw

?S★(824723) · 2016/03/02(水) 04:04:28.05

いつまで【特別重大報道】にするつもりだったのか

**Glass Cat ★** · 2016/03/02(水) 07:22:30.90

perl uniq 速度比較
http://ichirin2501.hatenablog.com/entry/20110716/1310804204

?S★(824723) · 2016/03/02(水) 07:33:54.35

my @array = @_;
これだけはありえないw

**Glass Cat ★** · 2016/03/02(水) 07:45:27.40

MySQLでINDEX張ってするかSQLiteでするか
UAとかはMD5とかにしてソートした方がいいとおもふ

?S★(824723) · 2016/03/02(水) 07:58:48.22

そんなことよりこれﾜﾛﾀ
# crontab -l
bash: crontab: コマンドが見つかりません

?S★(824723) · 2016/03/02(水) 08:01:33.99

postfix を消した所為だったw
こんなもんに依存関係付けるなよw

?S★(824723) · 2016/03/02(水) 17:50:13.98

SQLite version 3.9.2 2015-11-02 18:31:45
Enter ".help" for usage hints.
Connected to a transient in-memory database.
Use ".open FILENAME" to reopen on a persistent database.
sqlite> q
...> .help
...>
...> .exit
...>

なんかおかしいｗ

**動け動けウゴウゴ２ちゃんねる** · 2016/03/02(水) 17:52:28.97

セミコロン付けないと

**Glass Cat ★** · 2016/03/02(水) 17:55:35.06

MySQLおすすめ（布教

?S★(824723) · 2016/03/02(水) 19:02:02.30

ぬー
IPアドレスってBLOBで通らんのか
これだからDB嫌いw

?S★(824723) · 2016/03/02(水) 19:10:24.51

INSERT INTO "PV_READCGI" VALUES('raptor','livejupiter','LIVE','Mozilla50','126.78.81.74');
なるふぉどな
まんどくせｗ

**動け動けウゴウゴ２ちゃんねる** · 2016/03/02(水) 19:13:05.07

決まりきったデータしか扱わないなら
いつもと似たようなインターフェイスで使えるサブルーチン作ってラップしちゃえばいいんじゃね
とか言ってるうちに普通にできたっぽいな

**Glass Cat ★** · 2016/03/02(水) 19:33:35.80

大量のデータをどれだけ処理できるのかという問題

MySQLおすすめ（布教です

**動け動けウゴウゴ２ちゃんねる** · 2016/03/02(水) 19:44:14.26

ん？今までDB使ってなかったのか？

**動け動けウゴウゴ２ちゃんねる** · 2016/03/02(水) 19:49:18.98

肝心の、分析に回す大量のデータがなかったからね…

?S★(824723) · 2016/03/02(水) 19:56:32.99

10millionオーダーの処理って今まで無かったと思う

?S★(824723) · 2016/03/02(水) 19:57:49.72

まずは1日でどれくらいの容量になるのか見てみたい
それで問題なさそうなら
いろいろと調理していこうかと思う

**Glass Cat ★** · 2016/03/02(水) 19:59:33.87

数だけ数えるならKVSなんだけどなあ

**動け動けウゴウゴ２ちゃんねる** · 2016/03/02(水) 20:05:25.35

今回、ハッシュの代わりだし、たし蟹

?S★(824723) · 2016/03/02(水) 21:42:22.30

KVSでは1日で20GBずつSSD容量が減っていくのであったw

**Glass Cat ★** · 2016/03/02(水) 21:43:05.40

どういうやり方で？

?S★(824723) · 2016/03/02(水) 21:43:37.09

今の時間（繁忙期）単純にクエリー登録するのにondiskだと30秒掛かる
On memoryだと2秒w

?S★(824723) · 2016/03/02(水) 21:45:33.22

.datの種類（生：過去：待避：無い）
UserAgent
IPaddress

**Glass Cat ★** · 2016/03/02(水) 21:48:46.99

memcachedは速いらしい
IPごとPV,UAごとPVとか別々にキーを変える

**動け動けウゴウゴ２ちゃんねる** · 2016/03/02(水) 21:50:32.30

こんなんあるよー
PerlからMemcachedを使う(Cache::Memcached::Fast)
http://d.hatena.ne.jp/koba04/20110212/1297446296

**Glass Cat ★** · 2016/03/02(水) 21:53:07.74

速度比較
memcached 19958.5
redis 19627.5
redis コンバートなし 20638.5
DB postgres 956.5
ハッシュ 3402237.3

**動け動けウゴウゴ２ちゃんねる** · 2016/03/02(水) 21:56:46.10

Redisならこんなん
http://qiita.com/akishin/items/9372a77dab0512880e18
>Hash に tie して使う
>Redis::Hash を使うことで Hash に tie する事ができる。
>これにより通常の Hash にアクセスするのと同じコードで Redis 上にデータを保存できる。

**動け動けウゴウゴ２ちゃんねる** · 2016/03/02(水) 22:00:54.52

ザル（KVS）で受けて水切りして盛りつけは綺麗にRDBみたいな

**Glass Cat ★** · 2016/03/02(水) 22:02:21.17

カウント取るなら324でincrすればいいんじゃね?
あとは決まった時間ごとにRDBMSへ突っ込む
漏れが起きないようにキーには時間を

?S★(824723) · 2016/03/02(水) 22:03:38.78

いろいろとありがとう
いろいろと思案してみます

?S★(824723) · 2016/03/02(水) 22:04:49.10

IPaddress
そう、これが無ければ何も問題は無いのですw
（現状、難なく計れている）

**動け動けウゴウゴ２ちゃんねる** · 2016/03/02(水) 22:04:57.18

頭の中でプログラムは組み上がった、あとは鯖に実装するだけだ

rootくれｗ

**Glass Cat ★** · 2016/03/02(水) 22:05:47.79

>>330
BinaryにしてIntかLongに突っ込む
ＫＶＳなら余裕