DataFrame连接优化-广播哈希连接

Question

我正在尝试有效地连接两个DataFrame，其中一个较大，而第二个较小。

有办法避免所有这些改组吗？我无法设置autoBroadCastJoinThreshold，因为它仅支持Integers-并且我要广播的表略大于整数字节。

有没有办法强制广播忽略此变量？

Answer 1

您可以通过以下方式暗示要广播的数据帧 left.join(broadcast(right), ...)