scala - SKEW 连接提示的 Spark Scala 等价物

Question

Spark SQL 有一个可用的倾斜提示(请参阅 here)。是否有适用于 Spark Scala 的等效提示？

例子 这是事实表倾斜 ProductId 列的 Spark SQL 代码:

SELECT /*+ SKEW('viewFact', 'ProductId') */
    RevSumDivisionName, RevSumCategoryName, CloudAddOnFlag,
    SUM(ActualRevenueAmt) AS RevenueUSD, COUNT(*) AS Cnt
FROM viewFact
INNER JOIN viewPMST ON viewFact.ProductId = viewPMST.ProductId
INNER JOIN viewRsDf ON viewPMST.ProductFamilyId = viewRsDf.ProductFamilyId
INNER JOIN viewRevH ON viewRsDf.RevSumCategoryId = viewRevH.RevSumCategoryId
GROUP BY RevSumDivisionName, RevSumCategoryName, CloudAddOnFlag

Scala 中的相同连接:

inFact
   .join(inPMst, Seq("ProductId"))
   .join(inRsDf, Seq("ProductFamilyId"))
   .join(inRevH, Seq("RevSumCategoryId"))
.groupBy($"RevSumDivisionName", $"RevSumCategoryName", $"CloudAddOnFlag")
.agg(sum($"ActualRevenueAmt") as "RevenueUSD", count($"*") as "Cnt")

我只是找不到倾斜提示的语法。

Answer 1

Spark SQL has a skew hint available

事实并非如此。 Databricks 平台有，但它是专有扩展(与索引相同)，在 Spark 中不可用。

I'm just unable finding syntax for the skew hint.

在一般情况下，查询计划提示是使用 hint 方法传递的，可以像这样使用

val hint: String = ???
inFact.join(inPMst.hint(hint),  Seq("ProductId")))