投稿者「effy」のアーカイブ
2009年12月27日(日)
2009年12月26日(土)
2009年12月25日(金)
仕事納め
- 本当は28日が仕事納めなのだけれど、休暇をとった。
- この数週間はなかなか面白い仕事ができた。うまくまとめて学会発表できるといいな。
2009年12月24日(木)
クリスマスイブ
- いつもと変わらず、いつも通りに会社へ行って仕事して帰った。
- 街に出かければイルミネーションとかがキレイでイイんだろうけれど。
- 帰宅すると、妻が調子が悪くて夕飯作っていないというので、じゃあファミレスでも行くか、ということに。
- いつもなら並んでる時間帯なのに、すっごく空いている。
- 席について料理を待っている間、何気なく外を見たら、サンタクロースの格好をしたピザの宅配屋さんが。
- あぁ、そうか、もうクリスマスだったよね、とか改めて思った。
- 日付が変わってから、枕元にプレゼントをこっそりと。
- 本当にこの一年間、おりこうにしてくれた。笑顔をいっぱいくれた。感謝。
2009年12月22日(火)
神保町へ
- お昼ごはん、レストラン七條
- 近くのIIJで場所をお借りして、色々と相談。
- なかなか面白い具合にストンと大枠が決まった。お互いにお互いの持つ価値を活用しあえたら良いなと。
忘年会
2009年12月21日(月)
2009年12月19日(土)
TwitterのStreaming APIで遊ぶ
- この前はphpでやってたけど、なんとなく今回はrubyでやってみる
- GardenHoseなアカウントで実験
今日の夕方に1時間ぐらい計測してみた結果
- Stream自体の帯域は、32.5KiB/sec程度。
- 16.6 tweets/sec取得できている。
- idの進み具合は、228.0 ids/secぐらい。
- created_at, text, id, in_reply_to_user_id, user.id, source, in_reply_to_status_idをjsonにしてzlibで圧縮
- json文字列は平均268bytes、圧縮後は平均181bytes。
結果から予想出来ること
- 上記の圧縮データをストリーミングさせると、181*16.6 = 2.93KiB/secぐらい。
- もし全idがつぶやきに使われていたとすると、
- GardenHoseはTwitter全体の16.6/228.0 = 7.28%程度のつぶやきを補足できている
- Twitter全体のデータがとれた(FireHose)場合、32.5 / 7.28% = 446.4KiB/secぐらいの生ストリームを受けて、181 * 228 = 40.3KiB/secぐらいのjson圧縮ストリームを吐くことになる
- 1ヶ月(30日)で
- GardenHoseの場合、16.6 * 2592000 = 約4300万件のつぶやき、16.6 * 2592000 * 181 = 7.25GiBたまる
- Twitter全体で、228 * 2592000 = 約5億9千万件のつぶやき、228 * 2592000 * 181 = 99.6GiBたまる
ただし
- 上記データはこの夕方の1時間程度の状態なので、1ヶ月ぐらいやってみないと実際のところはわからないかもしれない
- でも、大体の感覚をつかむにはいいかなと。