[メモ] FreeBSD10にhadoopインストール
素の状態のFreeBSD 10にpkgngでhadoopをインストールしたときのメモ。 2014/7/4時点でのpkgにはhadoop-1.2....
hadoop
Hadoopフレンドリーなデータとは
ログは1行1イベントに 何を言っとるんだお前はという感じであるが、つまりこういう事である。 通常、ログは1行が1イベントである。 たとえばapac...
hadoopのsafemodeとfsck
Hadoopのnamenode兼datanodeが電源瞬断のせいで壊れてしもうた。 勉強用のHadoopなのでダメージはないのだが、せっかくな...
Hadoopのインプット指定にワイルドカードが使える件について
Hadoopへのインプットはふつう、ディレクトリかファイルの指定で行う。 しかし以下のような場合にどうするか。 複数のディレクトリの下にあるファ...
[Hadoop] 擬似分散モードから完全分散モードへ（データノードの追加）
Hadoopへのノードの追加 hadoopの長所は、処理量に応じて簡単にスケールできる点にある。 処理がおっつかなくなってきたら、データノードを...
[hadoop] hadoop streamingでファイルを分割させないためには。
※hadoop-1.0.0です。 hadoop streamingで困ること。 作業データ（たとえばログ）を与えると、Hadoopはまず分割をする。 分割され...
[Hadoop] $HADOOP_HOME is deprecatedの対処
“$HADOOP_HOME is deprecated"が鬱陶しい。 ※本記事ではhadoop 1.00を使ってます。 hadoopを実行すると”$HAD...
[Hadoop] Hadoop Streaming / mapperとreducerにPythonを使ってみる。
HadoopはJavaで作られている。 だからHadoopに何か操作をさせたい場合には、通常、Javaで記述する必要がある。 しかしHadoop...
[Hadoop]擬似分散モードで実験
擬似分散モードで実験してみる。 Hadoopには、単語を数えるデモが付いてくるのでこれを使う。 カウント対象テキストの準備 以下のようなファイルを...
[Hadoop]Hadoop 擬似分散（Psuedo-distributed）モードの設定
Standaloneモードでは、複数のホストを使った処理は行わない。デーモンも動かさない。 しかしHadoopは分散処理をしてナンボである。 分...
[FreeBSD] portsのHadoopで分散（x-distributed）モードを動かす準備
Hadoopを動かすには、いくつか環境変数の設定が必要である。 JAVA_HOMEとか、HADOOP_PREFIXとか。 また同時に、複数ノード...
[FreeBSD] Hadoopのportsからのインストール
Hadoopをインストールしたのでメモ。 野良HadoopとportsのHadoop Hadoopを野良で入れるか、portsから入れるか。 結局...