sql - Spark SQL语句广播

标签 sql apache-spark

有没有一种方法可以在Spark SQL语句中使用广播?

例如:

SELECT
    Column
FROM
    broadcast (Table 1)
JOIN
    Table 2
ON
    Table1.key = Table2.key

在我的情况下,表1也是一个子查询。

最佳答案

在Spark 2.2或更高版本中,您可以使用计划程序提示:

SELECT  /*+ MAPJOIN(Table1) */ COLUMN
FROM Table1 JOIN Table2
ON Table1.key = Table2.key

关于sql - Spark SQL语句广播,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45502457/

相关文章:

sql - 如何使用约束对话框向 SQL Server 2008 添加约束?

python - 将标准 python 键值字典列表转换为 pyspark 数据框

apache-spark - 为什么Spark JavaRDD flatmap函数返回一个迭代器

apache-spark - pyspark:稀疏向量到 scipy 稀疏矩阵

sql - 将列中的列与 sqlite 中的串联值进行匹配

sql - SQL Server 中主键和唯一聚集索引的性能差异

scala - Spark缓存的RDD计算n次

apache-spark - 创建一个包含不使用 UDF 的数字范围的 Df 列

php - 违反完整性约束 : 1052

MySQL 从多条记录中仅选择具有第一个和最后一个日期的记录