ひつまぶし食べたい

LLM時代のソフトウェア開発に必要な新しいスキルセットについて悩んでいる

Sat, 14 Jun 2025 22:00:00 +0900

書き出し

AIやらLLMがソフトウェアデリバリのサイクルにどんどん入ってきて、エンジニアに求められるスキルセットが大きく変化していくと思っている。本当に高度な専門性がない領域の単純なコーディング作業はLLMが担い、人間はより高度な判断と検証に注力する時代になっていくのは間違いないのかなというのが現状の所感。

このブログをPelicanからHugoに載せ替えた

Sun, 15 Dec 2024 19:33:28 +0900

なぜ変更したか?

Pelicanは2014年から使っていたようで、そこまで文句があったわけではないが、やはり速度が気になっていた。それに加えて、どうしてもたまにバージョンアップして互換性が壊れたりして、たまに時間を取られていた。今回少し修正したいことがあったのだが、これを機に載せ替えるか、と載せ替えることにした。

載せ替え先の候補としては色々あったが、そこまで時間を使いたいわけではないので、利用者が多く、かつ、何かあったら自分がクイックに調べられる言語のものということで、Hugoを選択した。

マネジメント1年目振り返り on 2024-12

Sat, 14 Dec 2024 02:00:00 +0900

この文章はもともとはローカルで自分向けに書いていたもので、dumpしているだけのもの。そのうちマネージャー業務のtopicごとに、自分なりにやっていることや、考えていることを書き起こしたい。

CloudFormation Stackを安全に削除する

Tue, 12 Oct 2021 02:00:00 +0900

以前、CloudFormation の不満点というのを書いたが、諦めて大半のCfnをterraformに移行した。その際、cfn リソースをきれいにするために、cfn stackを安全に削除する必要があり、その方法をメモしておく。

1Password CLIを使ってTOTPを取得する

Tue, 12 Oct 2021 01:00:00 +0900

2要素認証を必須にしたAWSのswitch roleで、temporary credentialsをCLIで取得したかった。 TOTPの数字を毎回調べるのが面倒で、簡単にできないか調べたところ、1Password CLIというのがあった。1Passwordユーザなので、これを利用する。ただし、当然のことだが、2要素認証のデバイスとして、1Passwordが利用されている状況とする。

Python でコメント付きYAMLを扱う時には ruamel.yaml が便利だった

Tue, 12 Feb 2019 16:30:00 +0900

資料

背景

とある yamlで書かれたconfigファイル群(数百ファイル)を一括で変更したいことがあった。 sedで変更するには少し難しかったので、パースしてから条件判定して、書き換えたい。

CloudFormation の不満点

Fri, 25 Jan 2019 14:54:00 +0900

以下では「手作業で」というのは、「CloudFormation管理外で」という意味で使う。

要点

CloudFormation は、リソースが何かの理由で手作業で変更されていた場合に安全に操作できない
Drift 検出は誤検出が多すぎて使いづらい
Change Set は動いている状態との差分を見ていないので、信用できない

経緯

CloudFormation で管理されているリソースすべてについて、新しいタグをつけたくなった。ただ、各サービスの担当者ごとにある程度自由にオペレーションできるため、手動で変更されていないか、一応調べておこうと思い、 2018-11 にリリースされたドリフト検出を使って、手作業で実施された変更点もCloudFormationに取り込みつつ、対応しようとした。

DebianでLuaJITTeXを使いたい

Wed, 31 Oct 2018 19:01:00 +0900

そろそろLuaTex使ってみたいなと思ったところ、LuaJITTeXの方が早い場合があるということで、試してみようと思った。

参考

luajittex のセットアップ
- そもそもこのサイトの情報が有用 TeX Live を使おう──主に Linux ユーザのために──

未解決の問題

/var/lib/texmf/fmtutil.cnf-TEXLIVEDIST が自動生成されている、とコメントされているが、元ファイルがわからない

### This file was automatically generated by update-fmtutil.
#
# Any local change will be overwritten. Please see the documentation
# of updmap on how to override things from here.
#
###

準備

パッケージインストール

Debian でログインシェルをzshにしている人が snappy を使う場合の注意

Wed, 11 Apr 2018 10:58:00 +0900

Snappy について

Canonical が主導しているパッケージシステムで、Universal Linux Package と銘打つように、ポータブルなパッケージングができそうな感じ。ポータビリティを上げるために、dockerみたいな感じで、依存ライブラリも全部パッケージに含めてしまうスタイルなので、多少debパッケージよりは大きくなる。その分、sidを使っているとよく起きる、共通ライブラリの依存バージョンの不整合がおきる、という問題は起きない。

PyPIへパッケージをアップロードする

Thu, 05 Apr 2018 14:20:00 +0900

資料

パッケージ構成については github.com/pypa/sampleproject
https://pypi.python.org/pypi/twine
https://packaging.python.org/tutorials/distributing-packages/

手順

PyPIへユーザー登録する

PyPI には普段使われている本番環境とは別に、テスト環境がある。アカウントがそれぞれ独立しているので、両方で作成する必要がある。

Google Cloud Pub/Sub をGolangから使おうとしてハマったことまとめ

Mon, 05 Feb 2018 20:09:00 +0900

概要

Google Pub/Sub を GoのSDK から使おうとしていました。やっているといくつか詰まったので、メモしておきます。

サービスアカウントを利用するためにCredentials JSONを指定する
サブスクリプションの Pub/Sub サブスクライバー権限 を与えても Permission Denied になる

サービスアカウントを利用するためにCredentials JSONを指定する

権限の都合上、サービスアカウントのCredentials JSONを利用して認証したい、という要件がありました。ドキュメントを見ていると、 ADC(Application Default Credentials) を利用して認証している場合が多いです。これを使う場合、 GOOGLE_APPLICATION_CREDENTIALS という環境変数が設定されていれば、そのファイルを読んでくれるのですが、今回の要件では複数の Credentials を利用したかったので、Go プログラム中で指定する必要がありました。

さくらのクラウドでN百台を管理するためにterraformとansibleを使っている話

Tue, 05 Dec 2017 17:48:00 +0900

これは、さくらインターネット Advent Calendar 2017 として書いた記事です。

さくらインターネットでは、今年4月からIoTプラットフォームの sakura.io をサービス提供しています。 sakura.io は、さくらのクラウド上で本番・検証環境を構築しており、数百台のサーバーを利用しています。

Mesos の sandbox のログローテーションをする

Fri, 01 Dec 2017 20:01:00 +0900

結論

http://mesos.apache.org/documentation/latest/logging/#logrotatecontainerlogger
LogrotateContainerLogger を使って、 module parameter を設定する

概要

Mesos + Marathon 環境でdockerを動かしている。基本的にコンテナのログは fluentd で飛ばしているのだけど、日に日に mesos slave のディスク容量が圧迫されていた。調べてみると、 /var/lib/mesos-slave/slaves/ 以下にあるフォルダのうち、sandbox のログが肥大化していた。 sandbox には stdout, stderr があって、それぞれコンテナのstdout, stderrを記録しているファイルで、mesosからファイルとして取得することができる。長期的なものは fluentd で飛ばしているので問題ないため、障害時や直近の確認のために sandbox を使うことにして、短期間でのログローテーションを行うことにした。

Ansible でバージョンチェックする

Fri, 10 Nov 2017 14:02:00 +0900

やりたいこと

サーバー管理には ansible を使っていますが、apt で入れているパッケージに対して、以下をやりたい状況がありました。

インストールされていなかったらインストール
あるバージョン未満だったらアップデート

pipやgemといった言語のパッケージマネージャと違って、apt ではバージョンの制約を書くことが面倒です。いい感じに playbook の中でバージョン比較をして、インストール/アップデートすべきかを判定したいと考えました。

Travis CIで git submodule update --init --recursive を止める

Tue, 17 Oct 2017 03:36:00 +0900

結論

https://docs.travis-ci.com/user/common-build-problems/#Git-Submodules-are-not-updated-correctly に書かれている通り、 .travis.yml に以下の行を付け加えれば良い。

git:
 submodule: false

個別に git submodule update --init hoge していくとき、ビルドのトップディレクトリに戻りたくなることがある。この場合には、 $TRAVIS_BUILD_DIR を使えば良い。

経緯

久しぶりにこのブログを書いたらビルドに失敗していた。原因としては、このブログで利用している getpelican/pelican-plugins のsubmoduleの設定によって、取得できないsubmoduleがあり、 git submodule update --init --recursive に失敗しているという感じだった。

Intel NUC 上に vSphere 6.5 のVSAN環境を作る

Fri, 13 Oct 2017 01:06:00 +0900

あまりVMwareを触らなくなってきて、何も見ずにvCenterの設定とかMaximum configurationsとか言えなくなってきたので、VMware周りのことをメモに残しておくことにする。ひとまず、自宅のVSAN環境の構築メモ。

さくらのクラウドを便利に使うためのツールメモ

Mon, 10 Jul 2017 16:00:00 +0900

1. CLIで操作したい

usacloud が今一番良い。非公式と書かれているが、サポートされている機能、更新頻度、使い勝手、導入のしやすさ、などどれをとっても usacloud を使うべき。

自宅 vSphere 上の CoreOS (Container Linux) のデプロイメモ

Wed, 08 Feb 2017 22:31:00 +0900

構成

Mesos などを立てるため、Master 3台, Slave 2台以上の予定で作る。

OSイメージ

VMware用のイメージを利用。 /usr/share/oem/cloud-config.yml に vmware tools周りの設定が入っているので便利。

Rust を始めるための設定

Tue, 07 Feb 2017 23:55:00 +0900

rust のインストール

公式からインストールのためのスクリプトが提供されている。これを使うと、rustup というrustのマネージャが使えるようになって、 rustc のバージョンアップや切替なんかができるらしい。

ニフティ株式会社を退職しました

Tue, 31 Jan 2017 19:36:00 +0900

本日最終出社日でした。

ニフティでやったこと

ニフティでは、ニフティクラウドのIaaSを中心に仕事をしていました。基本的にずっと @ysaotome さんの下で働いており、チームメンバーも優秀だったので、とても面白い環境でした。

チーム活動で失敗したことの振り返り

Thu, 15 Dec 2016 00:00:00 +0900

これは、 NIFTY Advent Calendar 2016 の15日目です。

@plan0213 さんの『ネットワーク機器へのコマンド入力自動化』でした。ネットワークインフラエンジニアが大好きな話でしたね。

はじめに

今日の記事ですが、私が社内でやっていたチーム活動について振り返りを書きます。特に、失敗した点に注目して共有することで役に立てばと思っています。大前提としては、私は一般社員であり、チームのマネジメント等を行う立場ではありません。あくまでボトムアップからの活動です。

git bisect でバグ/仕様変更のコミットを探す

Thu, 10 Nov 2016 03:52:00 +0900

まとめ

git bisect が便利
ansible 2.1.0 -> 2.1.1 で group名に / を入れるとうまく動かないケースが存在する
- ansible リポジトリでbisect すると対象のコミットは 7287effb5ce241ce645d61e55e981edc73fa382a
- group名には / を入れないように、 group_vars 以下はフラットな構成にしよう

遭遇した問題

ansible で構成/コンフィグ管理やプロビジョニングをしているのだけど、複数のリージョンやゾーンにまたがるシステムのため、うまく設定を見やすくするために、以下のように group_vars 配下にディレクトリ構造を作っていた。

DockerHub で docker build のオプションを設定したい

Tue, 27 Sep 2016 14:45:00 +0900

参考リポジトリ

https://github.com/hitsumabushi/docker-phpipam

目的

Dockerfile の中で、 ARGを使いたい。
- LABEL としてビルドした日付や、 VCSのリビジョンを入れたい
- ソフトウェアのバージョンをARGで指定したい

やること

Dockerfile と同じ場所に、 hook ディレクトリを作成する。
hook ディレクトリ以下に、 build というファイルを作成する。
- build には、 build時に実行したいシェルスクリプトを書くと、build 時に実行される。
- 自分で docker build … というコマンドを書く

TIPS

Dockerfileを別の場所に置く場合

https://github.com/hitsumabushi/docker-phpipam では、 Dockerfile を、/dockerimages/phpipam/ 以下に置いている。その場合であっても、 Dockerfileと同じディレクトリに、 hook ディレクトリを作成すれば良い。その上で、 DockerHub の Build Settings の Dockerfile Location にて、 /dockerimages/phpipam/Dockerfile とすれば良い。

GnuPGのメモ @ Debian Sid

Tue, 12 Jul 2016 07:42:00 +0900

Debain での GnuPG

GnuPG は OpenPGPの実装の一つで、GPGと呼ばれることもあります。 Debian では、2016/07/12現在、gpg コマンドは 1.4系で、 gpg2 パッケージで 2.1系を提供しています。普段使いでgpg 1.4系をわざわざ使う必要はないとは思うので、以下ではgpg2 を利用することにしています。以下では、gpg と gpg2 の違いに触れることはありませんが、例えば、RSAではなく楕円暗号を使おうと思ったら、gpg2 を使うしかありません。

もともとgitで管理されているアプリケーションをdebパッケージにしたいというメモ

Mon, 11 Jul 2016 04:28:00 +0900

はじめに

debパッケージを作る経験が少ないので、あまり良い方法ではないかもしれない。

サンプル

https://github.com/hitsumabushi/hub

手順

# install
sudo apt install fakeroot

# tag, release をきれいにする
git tag -l > tag_list
for x in $(cat tag_list); do git push origin :$x ; done

# 色々リポジトリを整理した後、空っぽの masterを作る
git checkout --orphan master

# 自前で control, copyright ファイルを書く
# アップストリームのものを持ってくる
# 参考: https://github.com/bcandrea/consul-deb/tree/debian/debian
fakeroot dpkg-deb --build pkg tmp

# 生成された deb ファイルの中身を確認し、install してみる
ar x <deb file>
# ... check files
sudo dpkg -i <deb file>
# ... check installation
# dpkg -s <package>
# dpkg -L <package>

# 問題がなければ
git commit -a
git push origin master

s3で自前 Debian Package リポジトリを作る

Sun, 10 Jul 2016 03:44:00 +0900

この記事でやること

aptly の初歩的な使い方
aptly を使ってs3へ自前リポジトリを公開する。

自前パッケージの作成については、書かないです。

自前 Debian Package リポジトリ

なぜ自前のリポジトリが欲しいかというと、個人的には以下の3つくらいかと思います。

VCP6-NV 取得した

Sat, 09 Jul 2016 12:32:00 +0900

VCP6-NV 受験シリーズ

結果

462 / 500 (合格点: 300)

試験の内容について

割と事前に学習した内容が出ていたと感じる。 VCP-DCV (といっても、VCP5-DCVしか受けたことはない。) と違って、トレーニングの内容と試験内容がきちんと一致しているので、トレーニングのテキストを読み返すだけでも、かなり点は取れる気がする。

VCP6-NV 試験勉強メモ 2日目

Thu, 07 Jul 2016 07:42:46 +0900

VCP6-NV 受験シリーズ

資料

NSX におけるVXLAN

関係する要素

論理スイッチ
分散論理ルータ
論理ルータコントロール VM
Edge

分散論理ルータ

カーネルモジュール内で動作するルーター。各ESXiに分散して存在していて、ヘアピントラフィックを防ぐことができる。

VCP6-NV 試験勉強メモ

Tue, 05 Jul 2016 21:21:00 +0900

VCP6-NV 受験シリーズ

資料

最も公式っぽい資料

VMware Certified Professional 6 – Network Virtualization Exam の “How to Prepare” に書いているもの。
Reference Design: VMware® NSX for vSphere (NSX) Network Virtualization Design Guide
VCP6-NV (2V0-641) Practice Exam

ブログ : シリーズものは一通り目を通した方が良い

NSXの configuration maximums

vSphere 製品のように公開されているわけではない。でも、以下のサイトのように、情報を公開している人はいる。

VMware VCP-NV (VCP6-NV) の試験を今週受けるので、試験について調べる

Tue, 05 Jul 2016 20:40:00 +0900

VCP6-NV 受験シリーズ

この記事について

書くこと
- VCP6-NV の試験要項
- VCP6-NV の受験方法
書かないこと
- 試験の勉強方法
- 試験内容

VCP6-NV について

VCP-NVは、VMwareのNSXを用いた仮想ネットワーク管理についての試験です。他のVCPと同様に、VCA-NV → VCP-NV → VCAP-NV {Design, Deploy} → VCIX-NV → VCDX-NV というような資格体系です。

会社にslack入ったので、色々やってた

Thu, 16 Jun 2016 14:45:00 +0900

勤務先の会社に今日(2016/06/16)から真面目にSlackが導入されたので、やった設定をメモしておく。

現在のチャンネル構成

定常系
- 分報用のチャンネル。個々人が作る
- 部署用
- チーム用
- プロジェクト用
雑多な情報共有用
- ニュース用
トラブル用
その他
- 臨時に必要になるとか
- テストとか

やったことメモ

RSS を Slack に移行

live dwango reader をずっと使っていたのだけど、更新頻度がそこそこで、重要度の高いRSSを Slack で追いかけることにした。

Anisble for Windows

Thu, 16 Jun 2016 06:02:00 +0900

久しぶりに ansible で windows を操作するので、メモ。実行側は Debian Sid でやっているので、apt-get しているところについては、適宜置き換えて欲しい。 ansibleは2.1.0を使っている。

YAMAHAのネットボランチDNSを使って、ニフティクラウドとVPN接続する

Tue, 03 May 2016 06:24:00 +0900

やりたいこと

いろいろあって、自宅のグローバルIPv4アドレスが変更される機会があった。ニフティクラウド上のルーターとVPN接続しているため、グローバルIPが変更されると、いちいち変更されたタイミングでVPN設定を変更する必要があり、非常に面倒くさい。そういうわけで、DDNSを使って設定することで、グローバルIPが変更された場合でも設定変更の必要がないようにしようと思う。

久しぶりにGitHub Pagesのjekyll触ったので、メモ

Fri, 25 Mar 2016 03:06:00 +0900

このブログは、pelicanを使っているのだけど、久しぶりにGitHub Pagesのjekyllを触ることがあって、昔とだいぶ状況も変わっていそうだったので、メモをしておく。

Travis コマンドでのエラー

Sat, 02 Jan 2016 15:13:00 +0900

Travis CIでCIする素振りをしていたら、最新版のtravisコマンドでエラーが出るようになった。

発生した問題

$ travis setup releases
Invalid scheme format: git@github.com
for a full error report, run travis report

問題の解析

こういう時には、

vSphere 6.0 でのHA機能のエンハンスの要点

Tue, 08 Dec 2015 05:51:00 +0900

まとめ

vSphere 6からは、ストレージパスが死んだ場合でもHAを設定できるようになった。
vCenterは watchdogs によりプロセス落下時には再起動される
vCenterの可用性をさらに高めるにはWindows版を利用し、MSCSクラスタを設定する必要がある

資料

vSphere 5.5 までの障害あるある(Part 1)

物理ホストのHBAが死んだり経路上の問題で、特定のホスト群のみストレージへのパスが切れた。 vSphere 5.5 までは、ストレージへのパスが死んだ場合、HAによる保護ができない障害パターンで、IOが止まっているが、管理者が別のホストに移してから再起動するまでアプリケーションは死んでいた。

最近の仕事の振り返り

Sat, 31 Oct 2015 13:50:00 +0900

最近、仕事のやり方について考えている(悩んでいるに近いかも)ことが多いので、頭の中を整理するために、文章にしてみようと思う。

なので、技術的な内容は一切ない。

Dockerの細々としたメモ

Tue, 15 Sep 2015 04:21:00 +0900

Debian で利用する際のメモを書いておく。

grub でのカーネルパラメータ

systemd を利用する設定
cgroups で、メモリに制限をかけるための設定

# quiet はあってもなくても良い
GRUB_CMDLINE_LINUX_DEFAULT="quiet init=/bin/systemd"
GRUB_CMDLINE_LINUX="cgroup_enable=memory swapaccount=1"

cgroups まわり

cgroups のディレクトリ配下に設定がある

VM Resource Allocation

Sun, 26 Jul 2015 20:30:00 +0900

資料

Twitterからメールアドレス拾えるんじゃね?的な攻撃について

Fri, 26 Jun 2015 12:50:00 +0900

任意のTwitterアカウントの登録メールアドレス（伏せ字含）を表示させる攻撃が急増中（対策設定有り）というエントリが盛り上がっていたらしい。(とてもシェアされている) ただ、自分には有用な攻撃シナリオには見えなかったので、考えを整理するために書いておきます。自分はセキュリティ素人なので、間違った考察かもしれません。

runCをDebianで実行する

Tue, 23 Jun 2015 20:47:00 +0900

opencontainers/runc を実行してみようとしたところ、コンパイルまではすぐできるのに、実行するとエラーが出て困ったので、対処方法を書いておく。

runCのインストール

golang的に普通の場所に置いてビルドすると良い。git clone の代わりに go getでも良い。

Windowsの勉強を始めた

Mon, 15 Jun 2015 00:04:00 +0900

人生で初めて、Windowsの勉強を始めた。進捗は以下のgithub pagesから確認できる。とりあえず、章立てを書いて、内容を徐々に埋めているところ。

VDI, DaaS市場を調べてみた

Sun, 07 Jun 2015 03:31:00 +0900

最近、vCloud AirがDaaSを出すというのを聞いて、にわかに自分の中でDaaSに興味が出てきた。 DaaSとかVDIは、必ずActive Directoryの話になるので、気後れしていたのだけど、会社ではWindows使っていることもあって、少しは抵抗もなくなってきたので、良いタイミングだったので、調べてみた。とは言っても、まずは世間にどんなものがあるかをしらべてみただけ。

WindowsをAnsibleで設定する

Thu, 28 May 2015 06:07:00 +0900

資料

Windows Support — Ansible Documentation

マシンの準備

ansibleコマンドを実行するマシン

ansibleがすでに実行できる状況であれば、

pip install http://github.com/diyan/pywinrm/archive/master.zip#egg=pywinrm
pip install kerberos # AD accountを使う場合

とすればOK。

Windowsマシン

要件

WinRM がインストール済み
PowerShell version > 3.0

自動的に、Windows 7SP1, Windows Server2008 SP1以降になる
Windows Server 2012ははじめからPowershell 4.0がインストールされている

セットアップ方法

Powershell 3.0にアップデートが必要な場合
WinRMのインストール
Configure-SMRemoting.exe -get で有効になっていることを確認
WinRM get WinRM/config でWinRMのポートを確認

ansibleの実行方法

Inventory

最小構成は以下の通り。以降は、hostsという名前で呼ぶ。

Ravelloが便利

Sat, 09 May 2015 18:22:00 +0900

VMware環境のテストをしたい

会社でVMware使っているのもあって、外でAPI叩いたりツールのテストしたいということがよくある。今までは自宅でESXiとvCenter立ててやっていたんですが、やっぱりリソース的にVM数を増やしたりできないので、とても困っている。あと、PackerとかでVMware用のイメージ作るときに使えるESXiも欲しかったので、どうにかできないかなー、というのもあって、探していたらRavelloというサービスが面白そうだったので、紹介がてら書いておく。

Xmonadの設定

Sun, 05 Apr 2015 01:38:00 +0900

資料

環境

Debian Sid & Xfce4

Install and Initial Configure

Package install

# basic packages
sudo apt-get install xmonad libghc-xmonad-dev libghc-xmonad-contrib-dev
# for adding launcher
sudo apt-get install dmenu
# for status bar
sudo apt-get install xmobar
# tools
sudo apt-get install suckless-tools scrot tilda trayer

Xsession

add /usr/share/xsessions/custom.desktop

Hatena Engineer Seminar

Mon, 09 Feb 2015 22:45:00 +0900

Intro

タイトルどおり、行ってきました。目当ては、mackerelの話だったんですが、思ったより他の話も面白かったです。今回は抽選だったし、参加できなかった人のためにも、メモと感想を書いておきます。序盤の話はTwitterでつぶやいているので、参考までに。(後半はPCの電源が死んだのでないです)

fioを使ったベンチマーク

Mon, 09 Feb 2015 22:27:00 +0900

Intro

ディスクベンチマークのツールとして、dbenchであるとか、もっと簡単にはhdparmなどがある。今回はfioという、単純なread/writeの計測には必要十分なツールを使おうと思う。ただ、ベンチマークツールはたいていオプションが多く、またアウトプットも複雑なので、一旦まとめてみる。

Easter Egg Collections

Sat, 07 Feb 2015 21:44:00 +0900

イースターエッグは、見つかるとよく話題に上がっているけど、実際にどんなものがあるのか、よく知らないなー、と思ったので集めようと思う。ただ、調べてみると、昔あったものがなくなってたりして、このリストも最新状態に保つ必要があるので、なくなってたら教えてほしいです。

Consistent Algorithm

Sun, 01 Feb 2015 00:33:00 +0900

Consistent Hash Algorithmという負荷分散などの目的で使えるアルゴリズムがある。たまたまarxivでシンプルで高速, 省メモリな実装についての論文を見つけたので、読んだ。

CROSS 2015のアンカンファレンスで話しました

Sat, 31 Jan 2015 03:20:00 +0900

CROSS 2015のアンカンファレンスで脆弱性の評価って困る、話をしました。スタッフやりつつ、当日資料作りもやったので、あまり資料としての完成度はないです。たぶんプレゼン作成時間30分くらい。

CROSS2015の運営をしたので、やったこととわかったことを書いておく

Fri, 30 Jan 2015 22:09:00 +0900

わかったことざっくり

大規模イベントは、全体を把握している人はいない、という気持ちを持つことが大事。(実際いない)
直前に言われたときほど、利害がはっきりしているので、お互いにメリットがありそうな道を出しやすいので、出す
実行委員長(山口さんという方)すげー。よくわからんけど、強力してくれる人を探してくる。

経緯

2015年の1/29に大さん橋ホールにて、CROSS2015 というイベントの運営をしてきました。当日は都心から離れているにも関わらず、たくさんの参加者に来ていただいたのですが、どうにか大きなトラブルはなく、無事に終えることができました。 1日中立ちっぱなしだったり、細かい備品調整の話があって、大変なのは大変でしたが、半年前くらいから準備をしていたこともあり、なんとかやりきった、という気持ちが強い状況です。

Dockerのプロキシ設定

Thu, 29 Jan 2015 07:54:00 +0900

自宅ではプロキシを立てていないので問題なかったが、会社でDockerをいじろうとするとプロキシに阻まれてうまくいかず困っていた。 bashの環境変数を設定するのはうまくいかなくて、しばらく手元ではdockerをやらず、作業用マシンをクラウドに立ててどうにかごまかしていたのだけど、あらためて考えると解決できた。

DNS サーバーの比較資料集め

Mon, 26 Jan 2015 03:12:00 +0900

自宅開発環境を一新するついでに、真面目にサーバー構成を見直すことにした。 DNSサーバーは今までbind+dnsmasqでやっていたが、改めてパフォーマンスの観点から選定したい。以下に、参考ページを列挙する。

vShere Beta Program の注意点

Sun, 25 Jan 2015 21:01:00 +0900

VMware のBetaプログラムの利用について、基本的なルールがあるので、忘れないようにまとめた。ここに書いてあることは、オレオレ要約なので、きちんと自分で確認してください。

VCP5-DCV取得した

Fri, 16 Jan 2015 23:48:00 +0900

最近のブログはVMwareの話ばかりだったのですが、やっとVCPを取得してきました。 VCP-DCVを取得している人はたくさんいるので、個人的に受験した所感を書いておきます。

vDSのポートバインドタイプ

Sat, 10 Jan 2015 23:49:00 +0900

資料

VMware KB: ESX/ESXi でのポートバインドタイプの選択

ポートバインドタイプとは

vNICをvDSに接続するとき、ポートグループのポートがどのようにVMに割り当てられるかを、ポートバインドタイプとして、設定できます。バインドのタイプは以下の3つから選択できました。(2つめの動的バインドは、ESXi5.0で廃止。)

vSphere 5.5環境でMSCSクラスタを組むときの制約

Wed, 07 Jan 2015 20:29:00 +0900

資料

MSCSのサポート状況

MSCSとは

http://www.atmarkit.co.jp/ait/articles/0812/03/news138_5.html

MSCS

Microsoft Cluster Serviceのこと。 MSFC(Microsoft Failover Cluster)と名称が変わっているけど、未だにMSCSと呼ばれる場合もある。

VMware VDP, VDPA

Wed, 07 Jan 2015 19:24:00 +0900

VMware Data Protection

資料

概要

VMware Data Recoveryの後継みたいなものっぽい。

VDRから発展した点としては、以下があある。

ESXiをkickstartでインストールする

Tue, 06 Jan 2015 23:38:00 +0900

ESXiをPXEブートして自動インストールする方法について、日本語での説明があまりなかったので、メモとして残しておく。

利用OS

ESXi 5.5
Debian 7.7 (DHCPサーバー, HTTPサーバーを兼務させる)

DHCP, TFTP, HTTPサーバーの準備

必要なソフトウェアのインストール

apt-get install tftpd-hpa isc-dhcp-server xinetd apache2

DHCPサーバーの設定

BOOTPでインストールするため、あまり自由度がない。

vCloud Airの価格感を調べる

Mon, 05 Jan 2015 17:35:00 +0900

資料

vCloud Airとは

VMwareが提供している、ハイブリッドクラウドのサービス。

特徴として、オンプレでVMware環境を稼働させている場合に、vCloud Connectorを利用することで、 vSphere Clientのプラグインと統合して操作ができることが挙げられる。

2014年のまとめをしておかねば

Wed, 31 Dec 2014 18:05:00 +0900

今年1年は反省の多い年だったので、きちんと書いて残しておく。

2014年面白かった技術、触りたかったソフトウェア

新たに導入したもの

Ansible
Ceph
Pelican(このブログを生成してるやつ)
Flask

ちょっとしか触れず…

VyOS
Consul
Fluentd
Golang
Docker
CoreOS
Hashicorpのツールその他
Hadoop

触りたかったけど、触らず

Strom
Rust

2014年のトピックス

思い返すと1月のこととかは何年も前に感じるが、今年は割と色々あった。自分の中でトピックとして大きい出来事を中心に書いてみる

VCPの学習中のメモ

Tue, 30 Dec 2014 05:48:00 +0900

項目分けするほどでもないが、知っておくとVCP受講時に役にたつことをメモしていきます。特に、あまり使われていない機能については、調べてないとわからないことが多いと思うので、参考になればと思います。

VMware環境でのNPIVについて

Tue, 30 Dec 2014 02:57:00 +0900

VCP-DCV取得のために勉強していたところ、NPIVという用語が出てきたので、調べてみたことを書いておきます。

資料

まとめ

NPIV = N_Port ID Virtualization
NPIVとは、1つのHBAに対して複数のID(WWPN)を割り当てることで、1つのHBAポートを複数のHBAポートに見せる ための技術
VMware的には、RDMのディスクを持つ仮想マシンについて、アクセス制御, QoSなどのために使われる
NPIVのしようとして、1ポートあたり255WWPNしか割り当てられない

NPIVとは

FC環境の基本

FC環境では、各ノードはWWN(World Wide Name)を用いて識別されています。 IPプロトコルで言うところの、IPアドレスと同様に、アクセス先を表したり、アクセス制限を行ったりする対象が、WWNになります。

VCP-DCVの概要 : VCP550

Tue, 30 Dec 2014 01:30:00 +0900

資料

VCP-Data Center Virtualization 受験を計画されている方は、Exam Blueprints というPDFを一読されることをお勧めします。

VCP-DCVの概要

バージョン

VCP-DCVという資格は、VMwareの製品バージョンに合わせて区別されています。例えば、現在のvSphereのバージョンは、5.5が最新バージョンであるため、VCP5-DCV呼ばれています。

fluentd-plugin-secure-forward のソースを読んでみる(Input プラグイン編)

Wed, 17 Dec 2014 23:45:00 +0900

本当は全部読もうと思っていたけど、想像以上に疲れたので、Inputだけにしました。ただ、整理されているコードなので、Ruby知らなくても読みやすいのは読みやすいと思います。

VMware 環境でのMACアドレス割当て

Wed, 17 Dec 2014 14:40:00 +0900

1. まとめ

vSphere環境上のMACアドレス割当の方式は、複数あります。自分のOUIを割当てたい!!、という場合には、

vCenter環境でプレフィックス指定
固定割当て

といった方法を使いましょう

ソースコードリーディングをするときにctagsを使いたい

Tue, 16 Dec 2014 20:00:00 +0900

きっかけ

とある事情によって、Fluentdプラグインを自作する or 世間の良い実装のプラグインを見つける必要がありました。でも、Fluentdを真面目に使ったことがないので、いまいち眺めていても難しいなー、と思っていました。そもそも、Rubyもまともに書いていないため、ソースを見ても、Rubyのものなのか、Fluentdで定義されているのかが、ぱっと見でわからず、いちいち時間がかかっていた感じです。

drone.ioを使って、pelicanをビルドする

Mon, 15 Dec 2014 23:00:00 +0900

動機

最近はWordpressでブログをやっていたけど、あくまで Wordpressを使う人の気持ちがわかりたかったので、使ってたのでした。そろそろ、Wordpressの便利さもわかってきたし、vimとかemacsから書きやすいものを使いたいなー、と思ってました。

Consul 使ってみる

Sat, 01 Nov 2014 02:39:20 +0900

Consul とは

特徴

Service Discovery
- Consulのクライアントは、"api"や"mysql"といった与えられた名前を持つサービスを提供
- 他のクライアントは、Consulを使ってサービスを検出
- アプリケーションはConsulが検出したサービスを、DNSやHTTP経由で検出
Health Check

vSphere API事始め

Thu, 14 Aug 2014 16:39:00 +0900

リファレンス

https://www.vmware.com/support/developer/vc-sdk/
https:// “vcenter_ip” /mob/

参考サイト

http://thinkit.co.jp/story/2010/06/23/1617

Overview

Types

4つのタイプがある。

vSphere APIの型	普通のプログラミングとの類推
managed object type	プリミティブ型、複合型
data object type	抽象データ型
enumerated type	定数
Fault type	例外型

1. Managed object types

Managed object typeとは

(サーバーサイドのオブジェクトモデルの基本的なデータを担っている。data objectも同じく。) managed objectには、大きく2つの種類がある。

IPv6のことを調べ始めた

Tue, 12 Aug 2014 16:38:00 +0900

IPv6 環境構築

ひとまず参照すべきRFC

RFC3315(DHCPv6) とそれをupdateしているやつ
RFC4861(Neighbor DiscoveryのIPv6バージョン)
RFC5942(IPv6のsubnet model)

IPv6 アドレス配布方式について

全体としては、下記の4パターンある。

DebianにOzをインストールする

Sun, 27 Jul 2014 16:37:00 +0900

ガウディ本読みはじめた。

困ったこと

この本で使われるOzという言語をDebian上で実行するのに、少し困った。 morzart2をダウンロードして、適当にインストールしただけだと、 emacs上でコンパイルはできるのに、実行結果が表示できない状況になった。正常な動作は、コンパイルできるとウィンドウが開いて、そこに結果が表示される。

論文 - Janus : Optimal Flash Provisioning for Cloud Storage Workloads

Thu, 17 Jul 2014 16:35:00 +0900

読んだもの

http://research.google.com/pubs/pub41179.html

主な内容

『2種類の異なるストレージ(フラッシュとディスク)を複数のワークロードで共用する』効率的な使い方を最適化問題への帰着使い方に2つの戦略があって、『FIFO or LRU』。
LRUの方がキャッシュヒットレート的には良いけど、メトリクスを取るのが複雑になりがちなので、FIFOで良いのでは。
実システムでの計測結果

使われているシステム, 技術要素

Clossus (GFSの改良版)
アルゴリズム: 貪欲法

大事なこと

最適化問題を特にあたって、ワークロード特性を表す関数を、convexで近似したことにすることがアイディアの1つ。
理論としては、piecewise-linearでなくても良いが、実測では有限個の点しか取れないので、piecewise-linearとしておくと計算が楽になる。
運用中もワークロード特性を測定してフィードバックすることで、特性の変化に対応することができる。

所感

よくまとまっているので、とても良い。

DebianでZNCを使って、快適なIRC生活を送る

Mon, 09 Jun 2014 16:34:00 +0900

やりたいこと

最近、自分の興味のあるソフトウェアのIRCによく引きこもっています。自宅のPCはつけっぱなしにしておけば、全部のログを見れるのですが、会社やスマホで見るときには、接続している間のことしか確認できず、若干もどかしいです。

WebHDFSで詰まったこと

Sun, 08 Jun 2014 16:33:00 +0900

困っていたこと

HDFSでwebhdfsを使うとき、基本的にnamenodeにリクエストを投げればよいが、実データにアクセスするにはdatanodeにアクセスする。ただ、使うときにはあんまり気にしなくて良くて、リクエストを投げればリダイレクト先を指定してくれる、らしい。しかし、実際にやっているとうまくいかないケースがあった。

LEDバックライトの調整

Mon, 02 Jun 2014 16:31:00 +0900

ディスプレイの輝度が高すぎて目が痛いので、輝度を下げたい。 GUIでやっても良いけど、CLIの方が簡単そうだったので、CLIでやってみることにした。

Perl の正規表現

Tue, 07 Jan 2014 02:39:20 +0900

マッチ演算子

評価の結果は真偽値としては、マッチすれば真、そうでなければ偽。 and, or, ! が役立つのは間違いない。

$_ にマッチさせる

/regex/
m:regex:

string にマッチさせる

string =~ /regex/
string =~ m:regex:

$_ の文字列置換

s/regex/new/
s:regex:new:

string の文字列置換

string =~ s/regex/new/
string =~ s:regex:new:

特殊なメタキャラクタ

^, $

行頭、末尾にマッチ

.

ニューライン以外の任意の文字にマッチ

[chars]

chars に含まれる任意の1文字にマッチ
chars 内のバックスラッシュ付き英数字以外のメタキャラクタは、リテラル扱い

[^ chars]

chars に含まれない任意の1文字にマッチ
メタキャラクタの扱いは [chars] と同様

[char1-char2]

char1 の char2 の間に入る任意の文字にマッチ
char1, char2 を含む。

$&

最後にマッチした内容を保持
'Foo' =~ /^[A-Z]/ なら $& は F

\

メタキャラクタに使ったり、エスケープに使う

\b

単語の区切りにマッチする
'abc def' にマッチさせたいときに、'Zabc def' にマッチしないよう、'babc def' と書いておく。
アルファベットは、単語構成文字クラスなので、スペースや!は、b にマッチするが、Zはマッチしない。

\n

ニューライン

\r

キャリッジリターン文字
カーソルを行頭に戻す

\t

タブ

\f

フォームフィード
改ページ

\e

エスケープ文字

\NNN

8進数が NNN となる文字
例えば、040 はスペース

::: note ::: title Note :::

Perlスクリプトメモ

Tue, 07 Jan 2014 02:38:20 +0900

参考文献

Perl基礎文法最速マスター
ミニマル perl

スクリプトを書く時

プラグマ
- perldoc.jp
推奨 : スクリプト先頭に書く

use strict;
use warnings;

1文字でも減らしたい
- print のデフォルト引数は、 $_
- print $_; したいだけなら書く必要ない。

用語

レコード

1つのまとまりとして読み書きされる文字の集合
入出力の際、ファイルはレコードの集まりと見ることができる。この時、デフォルトでは、1行がレコード。

入力レコードセパレータ

入力レコードの終端区切りを表す文字、または文字シーケンス（文字の並び）。
Linuxとかでは、デフォルトではラインフィード。
Perl ではOS固有の入力レコードセパレータを n として、参照できる。

ニューライン

n のこと。
OS固有の入力レコードセパレータ。

スイッチ引数

-s オプション
良い感じのコマンドラインオプションを取ることができる。
引数の与え方で2つの方法がある。

-foo='test' #=> $foo == 'test'
-foo #=> $foo == true : -debugで、デバッグ用、みたい使う。

スイッチ引数を任意にしているスクリプトでは、冒頭にour関数を使うのが良い。

our($foo);
our($foo, $bar, ...);

真偽値

偽になるのは、次の3パターンある。

VPLSについてのメモ

Mon, 06 Jan 2014 02:43:20 +0900

What is VPLS

Virtual Private LAN
MACフレームを、ルーターを含むネットワークを超えて、やり取りするための技術の1つ

MPLSはIPにラベルをつけるが、VPLSはMACにラベルをつけるというイメージ

: - ラベルを使う理由としては、元々、経路計算を高速にしたかったはずだけど、今はそんなに気にしなくて良いっぽい

Why VPLS

MPLSが便利なのと、同じ。

便利なツール

Thu, 02 Jan 2014 02:40:20 +0900

POD

Plain Old Documentation
man perldoc を参照

lwp-request

Webサーバーにリクエストを送って、適当な形式に変換してくれる
GET, POST, PUT も選べる。
出力形式としては、 text, ps, links, html, dump

lwp-request -o text www.example.com

Text::Autoformat

Text::Tabs

タブをスペースに変換

String::Approx

あいまいなマッチをする

Template-Toolkit

Lingua::En::Inflect 'PL_N'

単数形と複数形を変換してくれる

PXEブートでインストーラを起動する

Wed, 01 Jan 2014 02:44:20 +0900

最近、VMwareのESXiで仮想環境を作っています。触っていて気づいたのですが、空の仮想マシンを起動するとPXEブートを試みてくれます。この仕様をうまく使いたいなーと思って、PXEブートでインストールを自動化する方法を調べました。

実UID,実行UID

Wed, 01 Jan 2014 02:43:20 +0900

プロセスはいくつかのIDを持っている。あまり深く考えず、実UIDと実行UIDについて考える。

実UID(UID)

呼び出し元のプロセス(親プロセス)の実ユーザーID。
普通にログインして、何かプロセスをシェルから走らせる場合、ログインシェルのUIDがログインユーザーIDなので、ログインユーザーIDになる。

実効UID

呼び出し元のプロセス(親プロセス)の実効ユーザーID。
ファイルアクセスに影響。
普通にログインして、何かプロセスをシェルから走らせる場合、ログインシェルのUIDがログインユーザーIDなので、ログインユーザーIDになる。
ただし、SUID ビットがあるときは、それに従う。

SUID, SGID, スティッキービット

SUID, SGID

| それぞれ setuid, setgidのこと。 | まず、 SUID(SGID) ビットが立っているファイルについて見る。

DNS サーバー

Wed, 01 Jan 2014 02:41:20 +0900

ニフティクラウド上でサーバーを立てた。いろいろと設定していこうかと思っているが、まずはDNSから始める。

作業内容

1. /etc/bind/named.conf.options 以下のように書き換える:

// v6の設定： v6は応答しない
// listen-on-v6 { any; };
listen-on-v6 { none; };

// transfer を許すIPを制限
allow-transfer "192.168.100.1";

2. /etc/bind/named.conf.local ゾーンの設定:

Perl のコンパイラオプション

Wed, 01 Jan 2014 02:37:20 +0900

参考ページ

man perlrun
DebugIto's - Perl/コマンドライン

基本的なオプション

-e

ワンライナーを書くために必須。
複数並べられるので、それなりに色々書ける
直後にperlプログラムを書ける。

perl -e 'print 11/2'

-l[8進数]

行末に指定された8進数に変える。-l のみの場合、改行になる。

perl -e 'print 22' #=> 22
perl -l -e 'print 22' #=> 22\n
perl -l101 -e 'print 22' #=> 22A

-0[digits]

-l の入力セパレータバージョン

Mon, 01 Jan 0001 00:00:00 +0000

about me

東京でSRE Managerをやっています。仕事では最近はクラウド環境ばかりですが、物理インフラやら仮想インフラ、DCネットワークが好きです。

Mon, 01 Jan 0001 00:00:00 +0000