MySQL 执行 "No impact"临时 INSERT 并避免复制锁定

标签 mysql locking replication temporary read-committed

所以,我们正在尝试运行一个屏幕报告,这不会更改任何存储的数据。 但是,它很复杂,因此需要遍历几个(TEMPORARY*)表。

它从已复制的事件表中提取数据。

从 中获取“合格”记录时令人讨厌的一点

temp_PreCalc

并从实时数据填充它们以创建下一个(TEMPORARY*)表输出

有效地产生:

插入 temp_PostCalc (...) 选择 ... 来自 temp_PreCalc 加入 live_Tab1 ON ... 加入 live_Tab2 ON ... 加入 live_Tab3 ON ...

该报告不是“最终”答案,预计这只是一个“快照”报告,一旦出现在屏幕上就会过时。

不存在顺序或再现性问题。

所以理想情况下,我会将事务隔离级别降低为已提交读... 但是,我不能,因为 live_Tab1,2,3 是用 BIN_LOG STATEMENT 类型复制的...

该语句非常可爱且快速 - 几乎不需要任何时间来运行,因此资源负载现在比以前少了(它做了单独的选择和插入),但它等待(据我所知),因为SELECT 等待 live_Tab 上的可重复/可同步锁定,以便可以安全地复制任何结果。 事实上,由于等待,现在需要更多时间。

我希望看到响应时间的性能优势!

除非数据被写入(TEMPORARY*)表,然后被丢弃。

没有 live_ 表目标 - 只有源...

    • 这些表实际上不是临时表,而是动态创建并丢弃的 InnoDB 表,因为报表计算需要自连接和删除...但它们是临时

我现在似乎在兜圈子寻找答案。

<小时/>

我没有 super 权限,也不想要它...... 因此不能为此连接 session 设置 BIN_LOG=0(为什么这是一个要求?)

所以...

如果我有一个临时数据库或表通配符,它​​将我的所有 temp_“临时”表从复制中排除... (我正在等待我的托管中心完成此更改)

MySQL 允许我吗

设置 session 事务隔离级别已提交读;

插入 temp_PostCalc (...) 选择 ... 来自 temp_PreCalc 加入 live_Tab1 ON ... 加入 live_Tab2 ON ... 加入 live_Tab3 ON ... ;

或者我仍然会得到我的

"Cannot Execute statement: impossible to write to binary log since BINLOG_FORMAT = STATEMENT and at least one table uses a storage engine limited to row-based logging..."

尽管这在技术上并不正确? 我期待它,因为我认为复制将启动只是因为它看到“INSERT”语句,并且将对涉及复制资格的任何表进行简单检查,即使没有一个目标实际上是复制符合资格....

或者它会给我带来惊喜吗?

我真的无法面对使用像这样令人不快的解决方案

选择概要文件 加载数据INFILE

事实上,我认为我什至不能使用它 - 我如何获得唯一的文件名?我该如何清理它们? 这些报告由最终用户直接按需运行,而我只有 MySQL 接口(interface)访问服务器。

或者通过 PHP 客户端流式传输,只是为了将 INSERT 与 SELECT 分开,这样 MySQL 就不会因为哪些表符合复制条件而感到不安......

最佳答案

所以,看起来唯一的方法是:

我们创建第二个架构“ScratchTemp”... 设置可怕的复制 --replicate-ignore-db=ScratchTemp

我的“本地”查询代码打开一个新的 mysql 连接,并执行 USE ScratchTemp; 因为我选择了“忽略”数据库的默认数据库 - 我的任何查询都不会被复制。

所以我需要非常小心,不要在这里执行任何真正的查询

通过在我的查询中使用架构限定名作为前缀来引用我的 scrap_ 表和实际数据表...

例如 INSERT INTO LiveSchema.temp_PostCalc (...) SELECT ... FROM LiveSchema.temp_PreCalc JOIN LiveSchema.live_Tab1 等,如上所述。

然后尽快关闭此连接,因为坦率地说,打开非复制连接是很危险的......

叹息...?

关于MySQL 执行 "No impact"临时 INSERT 并避免复制锁定,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34038540/

相关文章:

mysql - 按原始顺序显示列名?

php - 从数据库中获取随机数据,无需刷新页面

c# - 锁内锁

sql-server - SQL Server 2005/08 中的对等复制

c++ - Cpp self 复制访问被拒绝

mysql - 如何根据本地服务器时间获取每个州的基于时间的数据?

mysql - 防止多个 session 获取相同数据的正确方法是什么?

与对象锁混淆的java同步

mysql - 如何创建命名数据库主机

mysql - mysql -u root -p 有什么作用?