postgresql - 适用于 Postgres 的 GCP Cloud SQL 查询日志记录

标签 postgresql google-cloud-platform google-cloud-sql

几周来,我一直在努力尝试获取一个 Cloud SQL Postgres 实例来执行任何类型的查询日志记录,但我只是没有得到任何结果。我意识到这应该是一个 super 简单的练习,但我没有更多的解释可以给出,因为它似乎不起作用。

我试过设置以下标志:

log_min_duration_statement 值为 0、100、500 和 1000。

log_statement,值为“ddl”、“mod”和“all”。

log_statement_stats 设置为“开启”。

我还尝试了这里列出的许多其他“可能的嫌疑人”:https://cloud.google.com/sql/docs/postgres/flags无济于事。

我什至尝试启用 pgaudit 日志,但似乎没有任何作用。

鉴于此,总是有可能记录这些数据,但我只是没有找到它,所以在 stackdriver 中,我的过滤器是:

resource.type="cloudsql_database"
resource.labels.database_id="<<project-name>>:<<instance-name>>"

它向我显示了数据库上发生的任何错误,例如查询不存在的表,或尝试比较两种不同的数据类型,但没有任何类型的查询。

我什至用以下方法扫描了我们所有的日志:

textPayload:"select"

这也没有出现任何东西。

任何建议、提示或技巧将不胜感激!

编辑:附加信息。

此图中描述了我正在测试的实例: Instance specs

我能够在我的所有模式上创建 pgaudit 扩展,而不会出现任何错误。 psql 客户端简单地回显“CREATE EXTENSION”。

我正在使用私有(private) IP 从 GKE 环境连接到实例,我的应用程序同时运行 DDL 和 DML 语句。

这是我在云控制台的访问部分为云 SQL 启用的“审计日志”的图像: Audit logs enabled

这是我用于负载测试的全新实例,所以每天早上我都会使用 Terraform 脚本创建一个新实例,这里是相关资源:

resource "google_sql_database_instance" "loadtesting_postgres_master" {
   database_version = "POSTGRES_12"
   name             = "loadtesting-test-instance-12"
   project          = "${var.projectId}"
   region           = "${var.region}"

   depends_on = ["google_service_networking_connection.private_vpc_connection"]
   deletion_protection = false

   settings {

activation_policy = "ALWAYS"
availability_type = "ZONAL"

backup_configuration {
  binary_log_enabled             = "false"
  enabled                        = "true"
  location                       = "eu"
  point_in_time_recovery_enabled = "true"
  start_time                     = "03:00"
}

disk_autoresize        = "false"
disk_size              = "1000"
disk_type              = "PD_SSD"

ip_configuration {
  ipv4_enabled    = "true"
  private_network = "projects/my-project-name/global/networks/loadtesting-vpc"
  require_ssl     = "false"
}

location_preference {
  zone = "${var.region}"
}

maintenance_window {
  day  = "7"
  hour = "0"
}

pricing_plan     = "PER_USE"
tier             = "db-custom-8-15360"
  }
}

实例启动后,我手动添加您推荐的两个标志,一次一个。

在我的每个模式上手动创建 pg 审计扩展,并开始运行我的测试。

stackdriver 上仍然没有任何记录。

最佳答案

所以看起来您需要启用 pgaudit flags . (目前处于测试阶段)

总结链接:

INSTANCE_NAME=sql-playground
gcloud sql instances patch $INSTANCE_NAME --database-flags cloudsql.enable_pgaudit=on`
gcloud sql connect $INSTANCE_NAME

一旦进入数据库,运行这个:

> CREATE EXTENSION pgaudit;

然后回到 gcloud land:

gcloud sql instances patch $INSTANCE_NAME --database-flags \
  cloudsql.enable_pgaudit=on,pgaudit.log=all

它需要重新启动一两次,中间需要一些时间,但我确实让它记录了语句:

enter image description here

当然,在生产环境和 PII 数据等方面要小心。

关于postgresql - 适用于 Postgres 的 GCP Cloud SQL 查询日志记录,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65291896/

相关文章:

postgresql - pip 安装失败,/usr/bin/clang : No such file or directory

java - org.hibernate.exception.SQLGrammarException 不正确的 postgresql sql 查询

python-3.x - 将变量传递给 Google Cloud Functions

mysql - 停止 cloud_sql_proxy

csv - 将 CSV 文件从 Google Cloud Storage 导入到 Google Cloud SQL

postgresql - 无法从 BigQuery 作业连接到 Cloud SQL Postgres

postgresql - 按模式分隔 Postgres WAL?

firebase - 是否可以使用 firebase 或 gcp CLI 将我的项目从 Spark 升级到 blaze?

python - 服务不可用 : 503 failed to connect to all addresses during attempt to recognize audio

postgresql - 从另一个表中选择随机 ID....对 LATERAL JOIN 感到困惑