Kubernetes環境で動作するPod(コンテナ)を定期的に再起動するソリューションです。
このシステムは以下のような流れで動作します。
- コンテナ上で動作するcronでメインプロセスをkill
- dockerコンテナがメインプロセス終了とともに自動終了
- KubernetesのReplicaSetがPod数を維持するためdockerコンテナを起動
Google Container Engineなど、kubernetesが動作している環境であれば、crontab設定だけで動作します。
crontabの例
ここではSSL証明書更新を想定して、nginxコンテナを再起動する設定例を掲載します。
CRON_TZ=Asia/Tokyo
00 2 * * 1 kill -9 `pgrep -f "nginx: master"`
crontabの一般的な設定手順そのままですが、プロセスを特定してkillしている部分と、CRON_TZで動作時間のタイムゾーンを指定している点が特徴です。
pgrepに指定する文字列を確認するには、テスト環境で該当コンテナを起動して、
コンテナ内のシェル
でps auxを実行するのが手軽です。
dockerにcrontab設定
cronジョブは、Dockerfileでビルド時にcronをインストール&起動したうえで、crontabコマンドを実行しておくことで登録できます。
再起動のcrontabスクリプトをcrontab.txtとして保存した場合のDockerfile記述例です。
RUN apt-get update \
&& apt-get install -y cron
COPY crontab.txt /root/crontab.txt
RUN crontab /root/crontab.txt
RUN service cron start
イメージ更新
コンテナ再起動時には最新のdockerイメージを参照するため、あらかじめコンテナレジストリにdockerイメージをpushしておくことで、cronジョブ実行のタイミングでイメージも更新できます。
JenkinsなどのCIツールを活用するとビルドプロセスを自動化する余地もあります。
Let’s Encryptの証明書を更新するようなケースでは便利です。
なお、更新後のdockerイメージに問題がある場合、自動再起動のタイミングでコンテナが起動しなくなるため、このフローとは別にコンテナイメージの動作確認を完結しておくことも重要です。
コンテナが起動しない場合の対処法
dockerやk8sのコンテナ運用をしていると、諸般の事情でイメージ更新後にコンテナが起動しないケースに遭遇します。
原因を追求しようにも、コンテナが死んでしまうので追跡できない……という状況で、コマンドを差し替えてひとまず起動させる手があります。
dockerコンテナが起動しない場合
dockerは、ビルド時にCMDやENTRYPOINTで指定した起動コマンドのプロセスが終了するとコンテナも停止します。(CMDとENTRYPOINTの挙動の違いは、
Understanding Docker’s CMD and ENTRYPOINT Instructions
が参考になります)
実行時に起動コマンドをtail -f /dev/nullなどに置き換えることで、実行予定のコマンドの影響を受けずにコンテナを起動できます。
$ docker run -d --name testcontainer original_image tail -f /dev/null
コンテナを起動したあとは、 docker execでコンテナに接続 して調査できます。この状態では、起動したかったプロセスが異常停止した場合でもコンテナの動作は継続しているためログを取得するなど、一般的な原因調査の手順をとれます。
docker-composeのYAML設定ファイルにも、以下のようにcommandディレクティブを指定することで上書き可能です(抜粋)。
version: 2
services:
testcontainer:
image: original_image
command: "tail -f /dev/null"
なおコンテナ終了には、docker killなどの一般の手順を利用します。
kubernetesの起動コマンド指定方法
コンテナにdockerを活用しているkubernetesやGoogle Container Engineも同様にDeploymentの定義で起動コマンドを指定できます。
以下のように、コンテナのスペックテンプレートのcommandやargsディレクティブを利用します(抜粋)。
spec:
templagte:
spec:
containers:
- image: original_image
command: ["tail"]
args: ["-f", "/dev/null"]
kubernetesのdeployment起動オプションの詳細については 公式ドキュメント が参考になります。
マルチコンテナ構成で起動しないケース
kubernetesでは1つのpod内で複数のコンテナを動作させられますが、構成によっては起動しないケースがあります。
podは1つのホストであるため、たとえば同一ポートを用いるマルチコンテナは起動せず、後から起動したコンテナがCrashLoop状態になります。
1つのコンテナ内に複数のデーモンを起動させていると、ポートを占有していることに気づきにくくなるので注意が必要です。