最近、趣味で検索エンジンみたいなの作ってるし、仕事でも大規模データを扱う話が増えてきた。初心者向け分散処理勉強会なんてのも有志で立ち上げて色々勉強中。さて、ちょっと前にClouderaがImpalaなるものを出した。Googleが2010年に発表したDremelという…

今まで基本的には個人で仕事してたんだけど、法人にすることにした。3月いっぱいは仕事とかで色々忙しいので、4月か5月に登記する予定。最初は知り合いの休眠会社を引き取る予定だったんだけど、色々検討した結果、新規で作ることに。本店は千葉県茂原市(実…

自宅サーバーに外からアクセスできるようにしたい カフェとかで仕事したいしー。考えた選択肢は以下の2つ。 固定IPを取得 IPv6で接続 以前OCNのIPv6サービスを使っていたけど、安定感とかその他で何となく使いづらかった記憶があったので、今回は固定IPを取…

誘われたいきさつ 見覚えのあるアイコン 仕事上で仲良くさせてもらっている人から「知り合いで面白い会社があるんですけど、今度遊びに行きません？」みたいに誘われた。こういう話は基本的に断らないので二つ返事でOKした。ちなみに会社名を聞いてみると「…

メモリが欲しい 過去何回か、「検索エンジンを作る（予定）」ってエントリーを書いている。詳しくはそっちを見て欲しいけど、Apache NutchとHBaseをベースとした検索エンジンみたいなのを作っている。直近の回でHBaseをスタンドアローンモードから分散モード…

give and take 最近、ココナラとかWishScopeみたいに自分の出来ることを登録して、安価に（あるいは無料で）簡単な仕事を受ける、みたいサービスがちょこちょこあって、自分もたまに使ってるんだけど、こっちのブログにも同じようなことを書いておこうと思っ…

過去の記事 第1回: Nutch + HBaseを動かすまで 第2回: Nutchの動作を解説 第3回: HBaseをスタンドアローンから分散モードに移行 NutchがHBaseのクラスターを使うようにする 前回、HBaseを分散モードに移行したので、NutchがそのHBaseのクラスターを使うよう…

過去の記事 第1回: Nutch + HBaseを動かすまで 第2回: Nutchの動作を解説 背景・前提 HBaseじゃなくてMySQLを使えば？ Nutch + HBaseのクローラーが動作するようになったが、正直1台で動かすならMySQLを使ったほうが色々楽だし、データの抽出も楽。HBaseを使…

第1回初心者向け分散処理勉強会は無事終わりました 11人が集まりました。飲み物無料の懇親会も！ 2/4（月）に分散処理勉強会を開催しました。当初は内輪2名で話をしていて、その後Twitterで声をかけたところ何人からか返信を頂いたので、まぁ4〜5人でやろう…