k8sのJobを用いたバッチ処理

kubernetesには、podの稼働を制御するコントローラーの機能があり、DeploymentやDaemonsetといったコントローラーが主に知られています。Jobもコントローラーの一種で、バッチ処理用途の機能を持ちます。目的のジョブを実行するときだけpod起動する点が特徴で、失敗時のリトライやタイムアウトなどの設定を追加できます。

なお、CIのような複数のプロセスを組み合わせる複雑なジョブを作る際には、k8sネイティブなジョブ基盤 Tekton を利用した方が良いでしょう。

kubernetes Jobの実行方法

Jobの起動方法は、他のコントローラーと同様、kubectlで実行できます。

$ kubectl create -f some_job.yaml

Job削除

Jobは実行完了後にjobとpodが消えずに残ります。この挙動の意図は、実行状況のログを確認する目的です。状況を確認したら、deleteします。以下のように、manifest、Job名いずれの指定でも操作できます。

$ kubectl delete -f some_job.yaml
$ kubectl delete job/JOB_NAME

spec.ttlSecondsAfterFinished というオプションを設定に追加することで完了後に自動でクリーンアップする挙動がv1.12で導入される予定です。

手軽な運用は毎回何も考えずに kubectl delete → kubectl create の2コマンドを連続実行することでしょう。

前回のJobが存在しない場合にはkubectl deleteはエラーになりますが、存在しないリソースの削除失敗に実害はありません。CIツールがexit 1で停止するのを避けたい場合には、コマンドに|| trueを追加することで正常終了を強制できます。

また、ジョブ実行後のpodについては気にせず放置となりますが、開発環境などでは実害はないでしょう。まじめに対応するならジョブの終了判定処理を開発することになりますが、非同期処理であるためそれなりの手間がかかると思います。

Jobの設定ファイル

Jobの設定ファイルの記載例は以下のようなものになります(抜粋)。

apiVersion: batch/v1
kind: Job
metadata:
  name: ridgepole
spec:
  template:
    metadata:
      name: ridgepole
    spec:
      containers:
      - name: ridgepole
        image: uniqrn/rails:5.2
        imagePullPolicy: IfNotPresent
        command: ["ridgepole"]
        args: ["-c", "database.yml", "-f", "Schemafile", "-a", "-E", "development"]
      restartPolicy: Never

この例では、ridgepoleを利用してRDBMSのスキーマを更新する処理を実行します。いくつかJob特有のキーワードがありますが、Jobを利用する際の主題は、commandとargsです。

Jobでは、コンテナイメージ内のコマンドやスクリプトを実行することになりますが、commandとargsの組み合わせで対象を指定します。

manifestにスクリプトを記述する

k8sを利用すると任意のコンテナ環境を準備でき実行環境の選択肢は広がります。最終的に実行スクリプトの定義が課題になりますが、以下のようにmanifestにシェルスクリプトを記述できます。

    spec:
      containers:
        command: ["bash", "-c"]
        args:
        - cd workdir/;
          git clone some-repo .;
          make; make install

YAMLのブロックの挙動により、argsの行は1行にまとめられ、commandのbash -cに供給されます。以下の注意事項がありますが、他言語へのbashスクリプト組み込みと大きな違いはないでしょう。

  • インデントはYAMLの制約を受ける
  • 改行が除去されるため、行末のデリミタは必要。フローによっては&&などを利用する

ほかに、ConfigMapにスクリプトを定義する手もありますが、これはJob特有の手法ではないため割愛します。

埋め込みプログラム

CIツールから起動する場合、ヒアドキュメントを利用できればmanifestを埋め込んで起動できます。Jenkinsのpipelineでは以下のような定義が可能です。

manifest = """
apiVersion: batch/v1
kind: Job
spec:
  template:
...
"""

sh("""cat <<'EOF' | kubectl apply -f -
${manifest}
EOF
""")

sh()ステップ内のヒアドキュメントにmanifestを直接記述しても動作します。ただし、YAMLはインデントを死守しなくてはならないため、変数として分離した方が安全です。

ヒアドキュメントのデリミタは'EOF'のようにシングルクオート付きの指定が無難でしょう。YAMLにbashスクリプトを記述した場合、バッククオート等によるコマンド実行を抑止しないとsh()ステップのシェルが実行する挙動になります。コンテナ外のシェルに解釈させたいケースはほぼ無いでしょう。
コンテナに渡っているスクリプトは、kubectl describeコマンドの出力で確認・デバッグできます。

また、kubectl applyはジョブ起動とともに正常終了してしまいますが、以下のようにkubectl waitで完了待ちも可能です。ただし、conditionは1種類しか指定できないため、エラー時は常にタイムアウト待ちとなります。

sh("kubectl wait --for condition=complete job/job_name --timeout=180s")

また、ログはJob終了後に、kubectl logsで取り出す方法が手軽でしょう。

複数コンテナの連続実行

単機能のイメージを利用して、1つのジョブ中で複数のコンテナを動作させる構成も可能です。その場合、manifestのinitContainersにコンテナ定義を羅列します。manifestが長大になる点は宿命です。

また、コンテナ間でファイルを共有する必要がある場合には、emptyDirボリュームなどをコンテナ間で共有して読み書きします。

CronJob

CronJob は定時実行プログラムのcronと同様の機能を提供するJobです。
k8s標準機能であるため、マニフェスト定義だけで利用でき手軽です。

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: webhook
spec:
  # Exec at 23:30JST
  schedule: "30 14 * * *"
  concurrencyPolicy: Forbid
  startingDeadlineSeconds: 120
  suspend: false
  successfulJobsHistoryLimit: 2
  failedJobsHistoryLimit: 1
  jobTemplate:
    spec:
      template:
        spec:
          containers:
          - name: tekton-trigger
            image: curlimages/curl:latest
            command: ["bash"]
            args: ["-c", "curl -XPOST -H 'X-Tekton-Type:container-build' -H 'application/json' -d '{ \"name\": \"production\" }' http://el-tekton.default.svc.cluster.local:8080"]
          restartPolicy: Never

Deploymentなどのマニフェストとほぼ同様で、一部CronJob用の特徴があります。

  • apiVersionはk8s v1.21からbatch/v1、v1.20以前の環境ではbatch/v1beta1
  • spec.scheduleにcron書式のジョブスケジュールを指定
    • 時刻帯はk8sマスターに従う。GKEなど多くの環境でUTC(グリニッジ標準時)
    • JST(日本標準時)とは9時間差の時刻を指定する。世界時計のアプリでグリニッジ(GST+0)を参照すると間違いにくい
  • spec.jobTemplate.spec.template.spec.containersの定義は、Deploymentなどと同様
    • imageは必要なツールを同梱した任意のイメージを指定できる
    • 実行するコマンド類は、commandとargsで指定する方法が柔軟

なお、タイムゾーンについては、v1.22でCRON_TZをサポートする計画があるようです。cronのタイムゾーンは昔からあるトピックと言えます。
UTCで定義しておくとグローバル共通設定となり実行環境を選ばないため、現行方式にもメリットがあります。
上の例のようにYAMLのコメントを利用することで足りるケースもあるでしょう。

YAMLのヒアドキュメント

Jobの実行内容は、ワンライナーに収まらないものがあります。
YAMLのヒアドキュメントを利用すると、複数行のスクリプトも書けます。また、クオートを減らせるため、エスケープのトラブルも減らせます。

先ほどの例を書きかえると以下のような記述が可能です。

            command: ["bash"]
            args:
            - "-c"
            - |
              curl -XPOST -H 'X-Tekton-Type:container-build' -H 'application/json' -d '{ "name": "production" }' http://el-tekton.default.svc.cluster.local:8080

インデントは意味を持つので注意が必要です。
また、この例ではヒアドキュメントの行末は改行がつきますが、開始記号により挙動が異なります。

一般的なbashスクリプト同様、行末の改行を抑制するにはバックスラッシュでエスケープします。

CronJobの登録・確認

登録はDeploymentなどと同様、マニフェストのapplyで実行できます。
また、kubectl get cronjobでスケジュールを含むリストを表示できます。

$ kubectl apply -f webhook-job.yaml

# cronjobというリソースができる
$ kubectl get cronjob

NAME                   SCHEDULE      SUSPEND   ACTIVE   LAST SCHEDULE   AGE
webhook                30 14 * * *   False     0        13h             43h

手動実行で確認

create jobサブコマンドで即時実行できます。

$ kubetcl create job <temporal job name> --from=cj/<webhook>

登録済のCronJobリストから選択して任意のタイミングでジョブを実行する、 kubectl pick job プラグインを開発し、オープンソースで提供しています。

Tektonの定時実行

kubernetesに特化したCIツール Tekton Pipelines は、定時実行をCronJobから起動する想定になっています。

TriggerのEventListener をセットアップすると一般的なwebhookと同じ要領でコールできます。
上の例では、Tekton Triggersをコールする例を定義しています。

クラスタ内のリクエストであれば、Triggersを用いず 直接PipelineRunを起動する方法 も考えられます。

まとめ

Job/CronJobを利用することで、ビルドなどのバッチタスクが Infrastructure as Code となり、任意のソフトウェア・スタック上で実行できます。

manifestがプロセス定義に向いていない点など、使いにくい点は残っています。
CIツールに実装する場合、CIのプロセス定義・ジョブのmanifest・コンテナ上の実行スクリプトと3層のパラダイムが同居します。これは複雑ではあるものの冗長ではありません。1ファイルに集約できる点では、コンパクトでもあります。

また、もっともスパルタンな実装であり、CIツールのk8sインテグレーション機能と比べると圧倒的に動作が安定しているメリットがあります。

Jobコントローラーでは、起動時にコンテナ用のリソースが逼迫して確保できないというケースが起こり得ますが、この場合、稼働中のコンテナの安定性も犠牲になっているので、kubernetesのクラスタをギリギリのリソースで運用すること自体を避けるべきでしょう。

なお、本記事ではJobの基礎的な理解を優先してrestartPolicyなどサービスレベル設定について説明を割愛しました。公式ドキュメントの Job – Run to completion に利用例などを含め詳細な解説がまとまっており、参考になります。

⁋ 2019/07/18↻ 2026/10/08