mysql - 如何使用nifi CaptureChangeMySQL?

标签 mysql hadoop apache-nifi

介绍
我有一个可以定期更新的mysql数据库。我想定期检查此mysql数据库是否有Nifi更改。
为此,CaptureChangeMySQL处理器似乎很完美。
但是,我无法使其工作。
我遵循了this tutorial,但是在从数据库中插入/删除行时,处理器没有捕获任何内容。

建立

  • 本地有一个MySQL,可在localhost:3306上访问
  • 同一台计算机上有一个nifi。

  • MySQL配置
    它有一个名为test的数据库,其中有一个device表,其中包含2万多行。
    我的my.cnf文件中的/etc/mysql/文件如下:
    #
    # The MySQL database server configuration file.
    #
    # You can copy this to one of:
    # - "/etc/mysql/my.cnf" to set global options,
    # - "~/.my.cnf" to set user-specific options.
    # 
    # One can use all long options that the program supports.
    # Run program with --help to get a list of available options and with
    # --print-defaults to see which it would actually understand and use.
    #
    # For explanations see
    # http://dev.mysql.com/doc/mysql/en/server-system-variables.html
    
    #
    # * IMPORTANT: Additional settings that can override those from this file!
    #   The files must end with '.cnf', otherwise they'll be ignored.
    #
    
    !includedir /etc/mysql/conf.d/
    !includedir /etc/mysql/mysql.conf.d/
    [mysqld]
    server_id = 1
    log_bin = delta
    binlog_format=row
    binlog_do_db = source
    

    Nifi CaptureChangeMySQL配置
    config CCMySQL

    Nifi CDC MapCache配置(分布式 map 缓存客户端服务)
    DMCCS config

    Nifi分布式 map 缓存服务器配置
    enter image description here
    使用这种配置,我的CaptureChange处理器什么也不做(至少看不到任何东西)。我在做什么错而无法使用它?

    最佳答案

    my.cnf文件中,您已设置binlog_do_db = sourcebinlog-do-db使主数据库仅将指定数据库的语句写入其二进制日志中。在您的情况下,应将其设置为测试。
    请参阅MySQL 5.7 binlog-do-db=db_name

    关于mysql - 如何使用nifi CaptureChangeMySQL?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59394974/

    相关文章:

    php - 我可以在 PHP 中混合使用 MySQL API 吗?

    mysql - 如何从 SQL 中的两列中查找唯一对?

    php - 在 MySQL 中以特定方式透视表

    postgresql - 无法加载 jdbc 驱动程序类 PostgreSQL + NIFI

    apache-nifi - HandleHTTPRequest 处理器在 nifi 中创建重复的输出流文件

    apache-nifi - 如何配置 NiFi 的 DBCPConnectionPool 不保持空闲连接打开?

    php - 从另一个具有最新条目的表中选择值

    python - 无法使用impyla/dbapi.py使用python连接到配置单元

    hadoop - hive 壳在我的 hive 3.1.2中显示了许多日志/警告

    hadoop - 在 PIG 中连接带有时间戳的文件