rcloneを用いてFTPによるファイルのアップロードとダウンロードをGitHub Actions上で行う

• FTPサーバから最新の内容を取得し、mainブランチにコミット
• mainブランチへのプルリクエストが作成されたときに開始
• 手動で実行が可能

• あるWebサイトがあり、そのサイトはサイト内のコンテンツをWebページにする
• コンテンツは、サイト上で編集できる
• サイト外でも編集できるように、複製したサイト内コンテンツをGitHubリポジトリで管理した
• Webサイト上で行った変更をGitリポジトリに反映する必要があった

                name: sync

                on:
                  # (1)
                  pull_request:
                    branches: ["main"]
                    types: [opened, reopened]
                  # (2)
                  workflow_dispatch:

                # (3)
                concurrency:
                  ${{ github.workflow }}

                jobs:
                  sync-from-site:
                    name: Fetch the latest document from the site
                    runs-on: ubuntu-latest
                    env:
                      RCLONE_CONFIG_FTP_TYPE: ftp
                      RCLONE_CONFIG_FTP_HOST: ${{ secrets.FTP_SERVER }}
                      RCLONE_CONFIG_FTP_USER: ${{ secrets.FTP_USERNAME }}
                      RCLONE_CONFIG_FTP_PASS: ${{ secrets.FTP_PASSWORD }}
                      RCLONE_CONFIG_FTP_TLS: false
                      RCLONE_CONFIG_FTP_EXPLICIT_TLS: true
                      FTP_SERVER_DIR: ${{ secrets.FTP_SERVER_DIR }}
                    steps:
                    - name: Fetch main branch
                      uses: actions/checkout@v3
                      with:
                        ref: 'main'
                    - name: Fetch the latest document
                      run: |
                        # rcloneのインストール
                        sudo -v ; curl https://rclone.org/install.sh | sudo bash

                        # (4)
                        rclone sync ftp:${FTP_SERVER_DIR} ./ --exclude="/.git**" -v
                    - name: Push the changes to the main branch
                      run: |
                        # (5)
                        git remote set-url origin https://github-actions:${GITHUB_TOKEN}@github.com/${GITHUB_REPOSITORY}
                        git config --global user.name "${GITHUB_ACTOR}"
                        git config --global user.email "${GITHUB_ACTOR}@users.noreply.github.com"
                        git add . # (6)
                        git diff --cached --exit-code || { # (7)
                          # (8)
                          git commit -m "Sync from site"
                          git push origin main
                        }

(1)

mainブランチへのプルリクエストが新規または再オープンされたときに開始。

(2)

手動でワークフローを起動できるように設定。

GitHub Actions/ワークフローをトリガーするイベント/workflow_dispatch

(3)

このワークフローが重複で起動しないようにします。複数のジョブが一つのFTPサーバに接続して、サーバに負荷がかかることを防ぎます。

(4)

FTPサーバからファイルを同期します。

--exclude="/.git**"オプションで、ルート直下の.gitから始まるファイルまたはフォルダは同期の対象外にします。git関連のファイルは、Webサイト側では関係がないので、不要なファイルを意味もなく同期して、トラブルになるのを防ぎます。

-vオプションで、同期中の進捗状況を標準出力に表示します。

(5)

GitHub Actionsから、リモートリポジトリにプッシュするための設定です。

(6)

変更をコミットの前段階であるステージ状態にします。仮にコミットする変更がない場合でも、コマンド自体は失敗しません。

(7)

コミットできる変更があるかどうかを確認します。

--cachedオプションは、ステージされている変更を見るときに使います。

--exit-codeオプションを指定すると、変更があるときコマンドはコード1(異常)で終了し、変更がないときコード0(正常)で終了します。

(8)

変更があった場合、mainブランチにコミットし、リモートにプッシュします。

• プルリクエストでmainブランチにマージされたときに開始する
• 差分のみFTPサーバへ転送

• FTPサーバにアップロードするときに、サーバ上のすべてのファイルが上書きされてしまう
• ファイルの内容は変わっていないのに、更新日時がアップロード日時に書き変わってしまう
• Webサイトでは、ファイルの更新日時を見て変更があったファイルを一覧で表示している
• ファイルの内容が変わっていないのに、更新一覧に表示されてしまう

                name: publish

                on:
                  # (1)
                  pull_request:
                    branches: ["main"]
                    types: [closed]

                jobs:
                  publish-to-site:
                    name: Publish the document to the site
                    runs-on: ubuntu-latest
                    # (2)
                    if: github.event.pull_request.merged == true
                    env:
                      RCLONE_CONFIG_FTP_TYPE: ftp
                      RCLONE_CONFIG_FTP_HOST: ${{ secrets.FTP_SERVER }}
                      RCLONE_CONFIG_FTP_USER: ${{ secrets.FTP_USERNAME }}
                      RCLONE_CONFIG_FTP_PASS: ${{ secrets.FTP_PASSWORD }}
                      RCLONE_CONFIG_FTP_TLS: false
                      RCLONE_CONFIG_FTP_EXPLICIT_TLS: true
                      FTP_SERVER_DIR: ${{ secrets.FTP_SERVER_DIR }}
                    steps:
                      # (3)
                      - name: Checkout merge-commit
                        uses: actions/checkout@v3
                        with:
                          ref: ${{ github.event.pull_request.merge_commit_sha }}
                          fetch-depth: 2
                      - name: Upload files to the site
                        run: |
                          # rcloneのインストール
                          sudo -v ; curl https://rclone.org/install.sh | sudo bash

                          options='-v'

                          # (4)
                          git diff ${{ github.event.pull_request.merge_commit_sha }}^ --name-status | {
                            while read line; do # (5)
                              set $line # (6)
                              case $1 in
                                R*)
                                  # (7)
                                  echo "[RENAME] $2 -> $3"
                                  echo "> deletefile ftp:${FTP_SERVER_DIR}$2"
                                  rclone deletefile ftp:${FTP_SERVER_DIR}$2 $options

                                  echo "> copyto ./$3 ftp:${FTP_SERVER_DIR}$3"
                                  rclone copyto ./$3 ftp:${FTP_SERVER_DIR}$3 $options

                                  echo "> rmdir ftp:${FTP_SERVER_DIR}${2%/*}"
                                  rclone rmdir ftp:${FTP_SERVER_DIR}${2%/*} $options
                                  ;;
                                M)
                                  # (8)
                                  echo "[MODIFY] $2"
                                  echo "> copyto ./$2 ftp:${FTP_SERVER_DIR}$2"
                                  rclone copyto ./$2 ftp:${FTP_SERVER_DIR}$2 $options
                                  ;;
                                D)
                                  # (9)
                                  echo "[DELETE] $2"
                                  echo "> deletefile ftp:${FTP_SERVER_DIR}$2"
                                  rclone deletefile ftp:${FTP_SERVER_DIR}$2 $options

                                  echo "> rmdir ftp:${FTP_SERVER_DIR}${2%/*}"
                                  rclone rmdir ftp:${FTP_SERVER_DIR}${2%/*} $options
                                  ;;
                                A)
                                  # (10)
                                  echo "[ADD]    $2"
                                  echo "> copyto ./$2 ftp:${FTP_SERVER_DIR}$2"
                                  rclone copyto ./$2 ftp:${FTP_SERVER_DIR}$2 $options
                                  ;;
                              esac
                            done
                          }

(1)

mainブランチへのプルリクエストが閉じられたときに開始します。

(2)

このプルリクエストがマージされたときに、ジョブを開始します。(1)の指定と合わせて、mainブランチにマージされ、プルリクエストが閉じられたときに、ジョブが開始することになります。

(3)

マージコミットをチェックアウトします。のちに、git diffコマンドで前回コミットとの差分を見るため、fetch-depthを2に設定します。

(4)

マージコミットとその直前コミットとの差分を出力します。

--name-statusオプションで、変更されたファイル名と変更要因(追加、変更、名前変更、削除など)を出力します。たとえば、次のように出力されます。コメント部分は追記したものです。

                    A       file-a           # file-aが追加された(Added)
                    M       file-b           # file-bを変更(Modified)
                    R100    file-c   file-d  # file-cをfile-dに移動(Renamed). 内容は100%一致.
                    D       file-e           # file-eを削除(Deleted)

この標準出力を、パイプで後のシェルグループ{}につなげています。

(5)

標準入力から一行読み込み、line変数に格納します。

(6)

読み込んだ一行の文字列lineを空白文字で分割し、位置パラメータに格納します。具体例は以下の通りです。

                    line="R100    file-c   file-d"
                    set $line
                    echo $1
                    # R100
                    echo $2
                    # file-c
                    echo $3
                    # file-d

(7)

変更要因が名前変更(Rename)の場合、まずリモート側の変更前ファイルを削除し、次に変更後のファイルをリモートにアップロードします。

最後に、削除したファイルの親ディレクトリが空の場合は、削除します。

(8)

変更要因が内容変更(Modify)の場合、最新のファイルをリモートにアップロードします。

(9)

変更要因が削除(Delete)の場合、リモート側のファイルを削除します。

(10)

変更要因が追加(Add)の場合、追加されたファイルをリモートにアップロードします。