WebHDFSで詰まったこと
Posted on Sun 08 June 2014 in blog • Tagged with Hadoop, WebHDFS
困っていたこと
HDFSでwebhdfsを使うとき、基本的にnamenodeにリクエストを投げればよいが、実データにアクセスするにはdatanodeにアクセスする。
ただ、使うときにはあんまり気にしなくて良くて、リクエストを投げればリダイレクト先を指定してくれる、らしい。
しかし、実際にやっているとうまくいかないケースがあった。
% LANG=C; curl -i "http://namenode:50070/webhdfs/v1/tmp/client.retry?op=open"
HTTP/1.1 307 TEMPORARY_REDIRECT …
Continue reading