投稿者「effy」のアーカイブ
2009年12月25日(金)
仕事納め
- 本当は28日が仕事納めなのだけれど、休暇をとった。
- この数週間はなかなか面白い仕事ができた。うまくまとめて学会発表できるといいな。
2009年12月24日(木)
クリスマスイブ
- いつもと変わらず、いつも通りに会社へ行って仕事して帰った。
- 街に出かければイルミネーションとかがキレイでイイんだろうけれど。
- 帰宅すると、妻が調子が悪くて夕飯作っていないというので、じゃあファミレスでも行くか、ということに。
- いつもなら並んでる時間帯なのに、すっごく空いている。
- 席について料理を待っている間、何気なく外を見たら、サンタクロースの格好をしたピザの宅配屋さんが。
- あぁ、そうか、もうクリスマスだったよね、とか改めて思った。
- 日付が変わってから、枕元にプレゼントをこっそりと。
- 本当にこの一年間、おりこうにしてくれた。笑顔をいっぱいくれた。感謝。
2009年12月22日(火)
神保町へ
- お昼ごはん、レストラン七條
- 近くのIIJで場所をお借りして、色々と相談。
- なかなか面白い具合にストンと大枠が決まった。お互いにお互いの持つ価値を活用しあえたら良いなと。
忘年会
2009年12月21日(月)
2009年12月19日(土)
TwitterのStreaming APIで遊ぶ
- この前はphpでやってたけど、なんとなく今回はrubyでやってみる
- GardenHoseなアカウントで実験
今日の夕方に1時間ぐらい計測してみた結果
- Stream自体の帯域は、32.5KiB/sec程度。
- 16.6 tweets/sec取得できている。
- idの進み具合は、228.0 ids/secぐらい。
- created_at, text, id, in_reply_to_user_id, user.id, source, in_reply_to_status_idをjsonにしてzlibで圧縮
- json文字列は平均268bytes、圧縮後は平均181bytes。
結果から予想出来ること
- 上記の圧縮データをストリーミングさせると、181*16.6 = 2.93KiB/secぐらい。
- もし全idがつぶやきに使われていたとすると、
- GardenHoseはTwitter全体の16.6/228.0 = 7.28%程度のつぶやきを補足できている
- Twitter全体のデータがとれた(FireHose)場合、32.5 / 7.28% = 446.4KiB/secぐらいの生ストリームを受けて、181 * 228 = 40.3KiB/secぐらいのjson圧縮ストリームを吐くことになる
- 1ヶ月(30日)で
- GardenHoseの場合、16.6 * 2592000 = 約4300万件のつぶやき、16.6 * 2592000 * 181 = 7.25GiBたまる
- Twitter全体で、228 * 2592000 = 約5億9千万件のつぶやき、228 * 2592000 * 181 = 99.6GiBたまる
ただし
- 上記データはこの夕方の1時間程度の状態なので、1ヶ月ぐらいやってみないと実際のところはわからないかもしれない
- でも、大体の感覚をつかむにはいいかなと。
2009年12月17日(木)
2009年12月16日(水)
2009年12月15日(火)
合宿3日目。
おはようございます
作業
- 合宿最後の作業
- コーディングはほとんどせず。分散システム上でのrange queryに関係しそうな論文を漁っていた。
- Twitter経由で知った: フラクタルビスケット、ポアソンスパゲティ
- これは美しすぎる。数学ってすごいなぁと思った。
- 今回の合宿の総括、時間が足りなくて首藤さんお一人だけ話してた感じに。続きは昼ごはん食べながらしようということで宿を出る。
昼ごはん、うどんすき鍋
- 森瀧にて。
- うどんすき鍋を人数分注文。
- ダシは関西風。かんずりを混ぜると、新潟バージョン。やや辛味が増して食欲がわく。とても深い味がする。
- あっという間に食べてしまった。うどんでシメる。なかなかコシがあっていい。
- あれ、そういえば、総括は!?
帰路
2009年12月14日(月)
合宿2日目。
おはようございます
- 健康的な朝ごはん。外は快晴、真っ青な空。
- 昨日が遅すぎたのでしばらく寝て、少し作業。
- ubuntu enterprise cloud、感覚をつかむためにSun VirtualBoxで立ち上げたVMにインストール
- 3台立ち上げて、ClusterやNodeをインストールしていたが、4GBのメモリを積んでいてもかなり厳しい
- あまり深入りはせず、本来やろうと思っていたGAE Clone向けKVSみたいなのを作りはじめる
昼ごはん
- へぎそばという、布海苔をつなぎに使った蕎麦を食べに。
- 旅館とは駅を隔てて反対側にある、長野屋(http://umaisoba.com/)。
- 「へぎ」とは、片木という器のことらしい。4人前が1つの器。これを2枚頼む。
- 布海苔の色なのかな、普通の蕎麦よりちょっと青みがかかっているような気がする
- コシがあって、なめらか。まったくモソモソしてない。
- ついでに天ぷら盛り合わせも注文
- あっという間に完食。「残しちゃだめだよ!」と蕎麦の切れ端をつつくFじたさん
作業
- 主キーの順序に従って、データを複数のサーバに順序よく分散配置。近い値の範囲なら一つのサーバにアクセスするだけで良い
- という当たり前の実装からやってみる
- でも、サーバの台数がそんなに多くなければ、実は全サーバにクエリ出してもいいんじゃないかとか思って、それもやってみる
- 非同期にデータを返すようにすれば、レイテンシは犠牲になるけれどqpsで見たらかなりいい線まで行くっぽい
- クライアントライブラリをなんとなくRubyで開発。Rubyに慣れず、Webを何度も参照しながらすこしずつ実装
- ずっと座っていると、座布団がずれる。これをなんとか固定したいと、首藤さんが隣で浴衣の帯を足にひっかけてみたり頑張り始める