高效的字符串后缀检测

Question

我正在使用 PySpark 处理一个巨大的数据集，我想根据另一个数据框中的字符串过滤数据框。例如，

dd = spark.createDataFrame(["something.google.com","something.google.com.somethingelse.ac.uk","something.good.com.cy", "something.good.com.cy.mal.org"], StringType()).toDF('domains')

+----------------------------------------+

|domains                                 |

+----------------------------------------+

|something.google.com                    |

|something.google.com.somethingelse.ac.uk|

|something.good.com.cy                   |

|something.good.com.cy.mal.org           |

+----------------------------------------+  

dd1 =  spark.createDataFrame(["google.com", "good.com.cy"], StringType()).toDF('gooddomains')

+-----------+

|gooddomains|

+-----------+

|google.com |

|good.com.cy|

+-----------+

我假设domains和gooddomains是有效的域名。

我想要做的是过滤掉dd不以dd1. 所以在上面的例子中，我想过滤掉第 1 行和第 3 行，最后得到

+----------------------------------------+

|domains                                 |

+----------------------------------------+

|something.google.com.somethingelse.ac.uk|

|something.good.com.cy.mal.org           |

+----------------------------------------+  

我当前的解决方案（如下所示）最多只能考虑 3 个“单词”的域。如果我verygood.co.ac.uk在dd1（即白名单）中添加 say ，那么它将失败。

def split_filter(x, whitelist):

    splitted1 = x.select(F.split(x['domains'], '\.').alias('splitted_domains'))

    last_two = splitted1.select(F.concat(splitted1.splitted_domains[F.size(splitted1.splitted_domains)-2], \

       F.lit('.'), \

       splitted1.splitted_domains[F.size(splitted1.splitted_domains)-1]).alias('last_two'))

    last_three = splitted1.select(F.concat(splitted1.splitted_domains[F.size(splitted1.splitted_domains)-3], \

       F.lit('.'), \

       splitted1.splitted_domains[F.size(splitted1.splitted_domains)-2], \

       F.lit('.'), \

       splitted1.splitted_domains[F.size(splitted1.splitted_domains)-1]).alias('last_three'))

我在 Python 2.7.5 中使用 Spark 2.3.0。