2013-01-01から1年間の記事一覧
その3はこちら。 概要 前回はNutch + HBaseでクローラーを動かすところまでを書いた。今回はNutchの動作の仕組み、起動オプション、設定項目をちょっと解説。(理解が浅い or 間違っている箇所も多いと思うので、何かあれば指摘して頂けると助かります) Nut…
その2はこちら。 目的 個人的に興味があって、ある領域に特化した検索エンジンみたいなのを作ろうとしている。当面の目的としては、以下のような事をやる。 対象のサイト(ある領域に関連するサイト)をクロールして保存 クロールしたページから必要なデータ…
Connecting to a Linux server from OS X Terminal gave me the following error: -bash: warning: setlocale: LC_CTYPE: cannot change locale (UTF-8)To fix this, comment out the following line in /etc/ssh_config SendEnv LANG LC_*This blog post ex…