TwitterのStreaming APIで遊ぶ

• この前はphpでやってたけど、なんとなく今回はrubyでやってみる
• GardenHoseなアカウントで実験

今日の夕方に1時間ぐらい計測してみた結果

• Stream自体の帯域は、32.5KiB/sec程度。
• 16.6 tweets/sec取得できている。
• idの進み具合は、228.0 ids/secぐらい。
• created_at, text, id, in_reply_to_user_id, user.id, source, in_reply_to_status_idをjsonにしてzlibで圧縮
• json文字列は平均268bytes、圧縮後は平均181bytes。

結果から予想出来ること

• 上記の圧縮データをストリーミングさせると、181*16.6 = 2.93KiB/secぐらい。
• もし全idがつぶやきに使われていたとすると、
• GardenHoseはTwitter全体の16.6/228.0 = 7.28%程度のつぶやきを補足できている
• Twitter全体のデータがとれた(FireHose)場合、32.5 / 7.28% = 446.4KiB/secぐらいの生ストリームを受けて、181 * 228 = 40.3KiB/secぐらいのjson圧縮ストリームを吐くことになる
• 1ヶ月(30日)で
• GardenHoseの場合、16.6 * 2592000 = 約4300万件のつぶやき、16.6 * 2592000 * 181 = 7.25GiBたまる
• Twitter全体で、228 * 2592000 = 約5億9千万件のつぶやき、228 * 2592000 * 181 = 99.6GiBたまる

ただし

• 上記データはこの夕方の1時間程度の状態なので、1ヶ月ぐらいやってみないと実際のところはわからないかもしれない
• でも、大体の感覚をつかむにはいいかなと。

effy cloud始動！

• 以前、組み立てたAtom330マシンを、ようやく常時稼動させることに。
• 
• とりあえずTwitterのPublic Timelineをガンガン取って保存しつづけている
• 
• 夜はこんな感じで青色LEDが眩しい。

• 2日も休むと、久々に会社に出社した気分になる。
• かなり雑用が溜まっている
• 会社にいるよりも自宅や出張先の方がはかどるんだよなぁと今回も改めて感じ。

カニうまー

• 合宿中に届いた生きたカニを一部冷凍して取っておいてくれていた
• 
• 相方の仕事先の市場からとれたてを直送してくれたそうだ。
• 冷凍・解凍後でもこんなにうまいのか。届いた日に食べたかったなぁ。

合宿3日目。

おはようございます

• って、うぉぉぉすごい。一日で雪が積もって真っ白。
• 
• 朝ごはん、揚げ出し豆腐が美味しかった。

作業

• 合宿最後の作業
• コーディングはほとんどせず。分散システム上でのrange queryに関係しそうな論文を漁っていた。
• Twitter経由で知った: フラクタルビスケット、ポアソンスパゲティ
• これは美しすぎる。数学ってすごいなぁと思った。
• 今回の合宿の総括、時間が足りなくて首藤さんお一人だけ話してた感じに。続きは昼ごはん食べながらしようということで宿を出る。
• 

昼ごはん、うどんすき鍋

• 森瀧にて。
• 
• うどんすき鍋を人数分注文。
• 
• ダシは関西風。かんずりを混ぜると、新潟バージョン。やや辛味が増して食欲がわく。とても深い味がする。
• 
• あっという間に食べてしまった。うどんでシメる。なかなかコシがあっていい。
• あれ、そういえば、総括は！？

帰路

• おみやげを買わなきゃと思いながら駅へ向かって歩いていると、途中にこんなものが
• 
• かりんとう饅頭、ってなんだ？と思って試食すると、皮が本当にかりんとうのようにサクサクしていて、中にこし餡が。
• この食感はなかなか面白い。お土産にした。
• 
• 帰りは新幹線にしようかなと思っていたけれど、やっぱり鈍行にした。
• 電車っていろいろ考えることができて、自分にとっては最も価値的に時間を使える空間。
• 
• この水上行きに乗る。来た時とは打って変わって雪景色。
• 
• 電車内の路線図を見たら、ちゃんとループが書いてあった！ おもしろ。
• 水上から高崎へ。途中の駅で、SLが停っていた。カメラを持った人たちが沢山。
• 
• 高崎からはコレに乗って渋谷まで。
• 思えば今日は平日、帰宅ラッシュの時間。贅沢にグリーン車に乗ることにした。でも新幹線よりは安いし。
• 帰りも、行きと同じくノートと鉛筆を前にしてあっという間に時間が過ぎた。

合宿2日目。

おはようございます

• 
• 健康的な朝ごはん。外は快晴、真っ青な空。
• 昨日が遅すぎたのでしばらく寝て、少し作業。
• ubuntu enterprise cloud、感覚をつかむためにSun VirtualBoxで立ち上げたVMにインストール
• 3台立ち上げて、ClusterやNodeをインストールしていたが、4GBのメモリを積んでいてもかなり厳しい
• あまり深入りはせず、本来やろうと思っていたGAE Clone向けKVSみたいなのを作りはじめる

昼ごはん

• へぎそばという、布海苔をつなぎに使った蕎麦を食べに。
• 
• 旅館とは駅を隔てて反対側にある、長野屋(http://umaisoba.com/)。
• 
• 「へぎ」とは、片木という器のことらしい。4人前が1つの器。これを2枚頼む。
• 布海苔の色なのかな、普通の蕎麦よりちょっと青みがかかっているような気がする
• コシがあって、なめらか。まったくモソモソしてない。
• ついでに天ぷら盛り合わせも注文
• あっという間に完食。「残しちゃだめだよ！」と蕎麦の切れ端をつつくFじたさん

作業

• 主キーの順序に従って、データを複数のサーバに順序よく分散配置。近い値の範囲なら一つのサーバにアクセスするだけで良い
• という当たり前の実装からやってみる
• でも、サーバの台数がそんなに多くなければ、実は全サーバにクエリ出してもいいんじゃないかとか思って、それもやってみる
• 非同期にデータを返すようにすれば、レイテンシは犠牲になるけれどqpsで見たらかなりいい線まで行くっぽい
• クライアントライブラリをなんとなくRubyで開発。Rubyに慣れず、Webを何度も参照しながらすこしずつ実装
• ずっと座っていると、座布団がずれる。これをなんとか固定したいと、首藤さんが隣で浴衣の帯を足にひっかけてみたり頑張り始める
• 見てて面白くなってきたので、自分も参戦
• 
• こんな感じで、座布団を帯で固定、背もたれに寄りかかってもズレなくなった。この後数時間座っていたが、特に支障なし。
• あ、ただ、一回だけ立ち上がったときに、ピンと張った帯に足を引っ掛けて背もたれに膝をぶつけて痛かったという副作用が。
• 背もたれに寄りかかれるようになってちょっと楽になったけれど、やっぱり長時間やるなら座椅子が欲しいところ。

夕食

• お酒が部屋に結構余っているので、夕食は飲み物はお茶だけ。
• 

また作業

• 外が突然の大雪。朝は快晴だったのに。山の中にいるんだなぁ。
• 
• にごり酒飲みながら、プログラミング。
• Twitterのpublic timelineをStreaming APIで受けて、複数のサーバへ分散させて突っ込む。
• 20万件ぐらいのtweetをつっこんだところで、rangeクエリを投げてみる。うん、ちゃんと取得できた。けど、改良の余地はかなりあり。
• もっと楽にThriftとかMessagePackとかを使って実装したくなってきた。
• 4時前ぐらいまでやって就寝。

第二回合宿、一日目。

• 前回合宿(2009年10月9日(金))に続く第二回目合宿＠越後湯沢

現地までの道のり

• 越後湯沢までは新幹線を使わずに、ローカル線のみで行くことにした。
• 乗り換え3回で行ける。自宅-渋谷-(109分)-高崎-(66分)-水上-(36分)-越後湯沢
• 渋谷駅
• 切符は自動券売機では買えないっぽい。Suicaは水上駅まで。なので、切符をみどりの窓口で購入。
• 
• これに乗る。湘南新宿ライン。
• ちょっとホームが離れているので、やや急いで向かった。
• ここから1時間半近く、終点まで乗りっぱなし。
• この時間を使って、ノートに頭の中のゴチャゴチャを書いて整理。
• 分散KVSに対して複合条件を与えたrange queryをどうすれば効率的にできるのかとか。
• Consistent Hashingって実はやらなくてもいいのではないか、とか。
• 電車の旅のお供には、ヤッパリコレ。
• 熊谷駅で非常停止ボタン押され、直前の通過駅の行田駅でしばらく待ち。時刻表調べ直さなきゃ、とか焦る。
• 結構いろいろ考えられた。びっしりノートに4ページ。ここからふくらませれば30ページぐらいのPPTにはなるかな。
• 熊谷駅あたりから、乗客の雰囲気が変わる。服装、話し方、振る舞い…etc
• 高崎駅
• 5分ぐらい遅れて、高崎駅到着。
• 
• キティのだるま弁当、なんてあった。
• 
• ここからは、この電車で一時間ちょっと。
• 寒いので、扉は自動で開かず、手で開ける。ボタンで開けない扉は初体験。
• なんだか路線脇にカメラを抱えた人が沢山いるなと思ったら、岩本駅直前でSLとすれ違った！
• 4人がけの対面シートに一人。作業がはかどる。
• 水上駅
• 
• なかなかいい雰囲気の駅。ここまではSuicaで来れるようだ。
• 水上から越後湯沢まではほとんどトンネル。勾配がきついため、登る側の線路がループ状になっている(降りる側は直線)
• 越後湯沢駅
• 着いた！ 全行程乗り換え含めて4時間ちょっとだったけれど、紙と鉛筆を前にしているとあっという間。
• 
• 駅で、買出し中のみなさんと合流。
• 
• 宿に到着。デジャブ。
• すぐとなりのホテル双葉って、子供の頃に親と来たことがあるような。

夕食

• 
• 恒例により、写真を撮る皆々様
• 日曜日から、しかも一人ひとりバラバラに来るというので、宿の方は「本当にいらっしゃるんですか」と心配されていたらしい。

会議室にて作業開始

• 
• 会議室といわれてきたけれど、これは普通の部屋、のような。
• AppScale over Eucalyptus over Ubuntuに苦戦、など。
• Key-Value Store関連で久々にリサーチ。
• 横に首藤さんがいて、気になる論文、サービス等、色々と教えていただき。
• 気になりすぎてAM4時ぐらいまでやっていた。

ウェンディーズで朝食

• 今日の朝ごはんは、ウェンディーズでとることに
• 今月で全店舗閉店、とのこと
• 田園調布店。三丁目側の駅前というすごいロケーション、しかも1Fから3Fまで。
• 
• ベーコンチーズバーガー。おいしかった。
• その後、用事があってエイブルに行って、そこで噂のワインを頂いた
• 
• 2004年、この年は本当にいろいろなことがあった。博士号取得、娘の誕生、入社…etc
• 家に帰ってから、いろいろとやる気が起きず、だらだらピアノを弾いて過ごす
• 妻が豆大福を買ってきてくれた
• 
• この豆大福は本当に美味しい。ひとり一箱限定、すぐに売り切れる。
• 店の近くを通ると、いつも美味しそうな小豆の香りが漂っている。

幼稚園の学芸会

• 午前中。歌ったり、踊ったり、セリフを喋ったり。
• セリフ、他の子と比べてとびきり感情が込もっていて、びっくりした。ちょっとやりすぎなぐらい。
• 夜寝る前に毎日読み聞かせをしてあげているのだけれど、最近、カギ括弧の中だけ自分で読むことがある。
• これが功を奏しているのか？
• とにかく、一年一年の成長がすごい。こんなこともできるようになったんだ、と正直びっくりし続けた午前だった。
• すごく頑張ったから、お昼ごはんは何でも好きなの食べさせてあげるよと言った。そしたら「蕎麦が食べたい」「え？」
• 何度聞いてもそう言うので、二子玉川の一香庵へ。
• もう店に入るところから、だしのよい香りが。
• 
• 蕎麦湯も飲んで、ご満悦。娘だけじゃなくて両親も。

実家へ

• その後、実家へ。
• 夕食も、と思って聞いてみた。実家近くの焼肉屋がイイと言う。
• 
• すぐに分かった。焼肉が目当てではなく、これが目当てだ。
• 
• 自分で綿菓子を作れる。メッチャいい笑顔。
• コストコで買ったツリーの照明を実家の玄関におく。
• 
• もともとあった家と街路灯のオブジェと並べて。

iPhoneかと思ったら

• 自由が丘へ。首藤さんに誘われて、とある早稲田の学生さんとお会いした
• 小樽食堂花火で食事と飲み。なかなか雰囲気のいいところ。
• 
• えっなにこれ、Androidじゃないか
• 
• iPhoneの中身を抜き取ってムリヤリはめ込んでいる
• 今村さんの力作。よく見ると、アップルマークの中心がくりぬかれている
• そこにカメラがちょうど来るように、位置合わせのために本体を一生懸命削った跡が生々しい
• その後、場所を移動して飲み。魚ダイニング はなれ びんび家 駅前荘。
• 学部の時代からこんなにすごい人たちと会って話ができるってすごいことだと思う、正直、羨ましい
• 自分がこんな環境にいられたら、少し人生が変わっていたかもしれないなぁ
• 将来に期待。自分としても何か手伝えることがあったらしてあげたい