レコード数の多いアプリケーションの場合、データベースの一部を切り出して取得したいケースがあります。
このような場合、一度バックアップ用のミニテーブルを作成する手順が手軽です。
PostgreSQLのバックアップ手順
- 件数を制限したミニテーブルを作成
- $
psql -Usome_user some_original_db
- some_original_db=#
CREATE TABLE some_table_tmp AS SELECT * FROM some_table_orig LIMIT 300;
- some_original_db=# \q
- ミニテーブルをバックアップ
- $
pg_dump -t some_table_tmp -Usome_user some_original_db > some_dump_file.sql
- テーブル名をオリジナルと同名に置換(必要に応じて)
- $
sed -i -e 's/some_table_tmp/some_table_orig/g' some_dump_file.sql
- 不要になったミニテーブルを削除
- $
psql -Usome_user some_original_db
- some_original_db=#
DROP TABLE some_table_tmp;
MySQLのバックアップ手順
- 件数を制限したミニテーブルを作成
- $
mysql -usome_user -p some_original_db
- mysql>
CREATE TABLE some_table_tmp AS SELECT * FROM some_table_orig LIMIT 300;
- mysql> quit
- ミニテーブルをバックアップ
- $
mysqldump -usome_user -p some_original_db some_table_tmp > some_dump_file.sql
- テーブル名をオリジナルと同名に置換(必要に応じて)
- $
sed -i -e 's/some_table_tmp/some_table_orig/g' some_dump_file.sql
- 不要になったミニテーブルを削除
- $
mysql -usome_user -p some_original_db
- mysql>
DROP TABLE some_table_tmp;
取得したバックアップファイルを用いて、通常のリストア手順で再構築できます。
冒頭のテーブルレプリケーションの際のSELECTは必要に応じてカスタマイズできるため、たとえば ORDER BY による新着順などのサンプリングが可能です。
また、pg_dump / mysqldumpを実行する際にテーブル名を明示的に指定することが重要です。デフォルトではDB内の全テーブルをdumpする挙動となるため、大規模なバックアップが走ってしまいます。
⁋ 2016/11/05↻ 2023/10/09
sqldef は RDBMS のスキーマを config に沿って更新する CLI ツールです。
先行実装 ridgepole の Go クローンと言えます。
Web フレームワークで標準的なマイグ …
PostgreSQLの COPY コマンドは、テーブルデータをCSVファイルなどの形式でインポート/エクスポートする機能です。
COPYと\copyがあり、COPYはサーバー側、\copyはpsqlク …
PostgreSQLはリファレンスが非常に充実していますが、サポートする機能が多彩であるため個別のケースの挙動が自明ではないことがあります。
ストアド関数は複雑なケースを扱うことが多く、挙動の観察が重 …
PostgreSQLのパーティショニングはバージョンアップごとに強化されてきています。
アプリケーションに合わせてデータアクセスを局所化できれば、データが成長しても性能を維持しやすくなります。
パーテ …
複数行を一括でINSERTする際、配列を利用できます。配列型のカラムではなく、複数行を投入する方法です。
PostgreSQLにはunnest()という関数があり、配列を行に変換できます。
たとえば、 …
DBMSにはユニークインデックスがあり、重複レコードをINSERTしようとするとエラーで保護する機能があります。
そして最低限、主キーはユニークです。
テストなどの場合、主キーも含めて同じデータをセッ …
ネストしたテーブル設計では、1:Nの構造になるレコードが頻発します。
その場合の素朴なSQLは以下のような記述になるでしょう。
SELECT categories.name, …
ストアドプロシージャ、ストアドファンクションは、DBに登録(stored)する関数で、PostgreSQLの標準機能を利用する場合、PL/pgSQLで書きます。
ストアドプロシージャの使いどころ スト …
特定のセットアップデータに依存するテストを実行したい場合、テストランナーから直接データベースを操作する構成が手軽です。
JestなどJavascriptプロジェクトでは、node-postgres を …
RustでDB接続するcrate(Rustパッケージ)にはいくつかのプロダクトがありますが、非同期処理を重視した非ORマッパーのcrateとしては、tokio-postgresを使えます。
接続 …
PostgreSQlのロジカルレプリケーションは、ALTER PUBLICATION / ALTER SUBSCRIPTIONを利用して、運用開始後にテーブル追加などの変更を行えます。
(セットアップ …
PostgreSQLのアップグレードには、公式ツール pg_upgrade を利用できます。
ただし、pg_upgradeを実行する前提に以下の条件があり、 公式コンテナイメージ では実行できません。 …
ロジカルレプリケーション機能を利用すると、テーブル単位でレプリケーション構成をとれます。
一般的なRead/Writeスプリット構成のほか、アプリケーションフレームワークから見て単一DB内に外部マスタ …
PostgreSQLやMySQLなどのデータベースのバックアップ&リストアにはいくつか方法がありますが、SQL形式の論理バックアップを取得する方法が一般的です。
とくに、DBMSを別のサーバーに構築し …
kubernetesでシステム構築する際に、意外に難しいのがデータベースの構築やバックアップ&リストアです。
DBインスタンスのコンテナを立てることじたいは簡単なのですが、論理バックアップでデータを移 …
EN contents
sqldef is a CLI tool to maintain RDBMS schema along with corresponding configs.
It is a ridgepole …
While PL/pgSQL has LOOP flow for recursive operations, SQL or psql doesn’t have one.
If you want to …
DBMS has the unique index feature that protects against INSERTing duplicate records, and at a …