使用 pyspark:
from pyspark.sql import SparkSession
spark = SparkSession\
.builder\
.appName("spark play")\
.getOrCreate()
df = spark.read\
.format("jdbc")\
.option("url", "jdbc:mysql://localhost:port")\
.option("dbtable", "schema.tablename")\
.option("user", "username")\
.option("password", "password")\
.load()
与其获取“schema.tablename”，不如获取查询的结果集。
最佳答案
Same as in 1.x您可以将有效的子查询作为 dbtable 参数传递，例如:
...
.option("dbtable", "(SELECT foo, bar FROM schema.tablename) AS tmp")
...
关于mysql - 在 Apache Spark 2.0.0 中，是否可以从外部数据库获取查询(而不是获取整个表)？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/38729436/