Google Pub/Sub を GoのSDK から使おうとしていました。 やっているといくつか詰まったので、メモしておきます。

1. サービスアカウントを利用するためにCredentials JSONを指定する
2. サブスクリプションの Pub/Sub サブスクライバー権限 を与えても Permission Denied になる

サービスアカウントを利用するためにCredentials JSONを指定する

権限の都合上、サービスアカウントのCredentials JSONを利用して認証したい、という要件がありました。 ドキュメントを見ていると、 ADC(Application Default Credentials) を利用して認証している場合が多いです。 これを使う場合、 GOOGLE_APPLICATION_CREDENTIALS という環境変数が設定されていれば、そのファイルを読んでくれるのですが、今回の要件では複数の Credentials を利用したかったので、Go プログラム中で指定する必要がありました。

これは、さくらインターネット Advent Calendar 2017 として書いた記事 です。

さくらインターネットでは、今年4月からIoTプラットフォームの sakura.io をサービス提供しています。 sakura.io は、さくらのクラウド上で本番・検証環境を構築しており、数百台のサーバーを利用しています。

• http://mesos.apache.org/documentation/latest/logging/#logrotatecontainerlogger
• LogrotateContainerLogger を使って、 module parameter を設定する

概要

Mesos + Marathon 環境でdockerを動かしている。 基本的にコンテナのログは fluentd で飛ばしているのだけど、日に日に mesos slave のディスク容量が圧迫されていた。 調べてみると、 /var/lib/mesos-slave/slaves/ 以下にあるフォルダのうち、sandbox のログが肥大化していた。 sandbox には stdout, stderr があって、それぞれコンテナのstdout, stderrを記録しているファイルで、mesosからファイルとして取得することができる。 長期的なものは fluentd で飛ばしているので問題ないため、障害時や直近の確認のために sandbox を使うことにして、 短期間でのログローテーションを行うことにした。

• https://docs.travis-ci.com/user/common-build-problems/#Git-Submodules-are-not-updated-correctly に書かれている通り、 .travis.yml に以下の行を付け加えれば良い。

git:
  submodule: false

• 個別に git submodule update --init hoge していくとき、ビルドのトップディレクトリに戻りたくなることがある。この場合には、 $TRAVIS_BUILD_DIR を使えば良い。

経緯

久しぶりにこのブログを書いたらビルドに失敗していた。 原因としては、このブログで利用している getpelican/pelican-plugins のsubmoduleの設定によって、 取得できないsubmoduleがあり、 git submodule update --init --recursive に失敗しているという感じだった。

ニフティでは、ニフティクラウドのIaaSを中心に仕事をしていました。 基本的にずっと @ysaotome さんの下で働いており、 チームメンバーも優秀だったので、とても面白い環境でした。