Spark：如何使用Scala或Java用户定义函数映射Python？

Question

例如，假设我们的团队选择了Python作为使用Spark开发的参考语言。但是稍后出于性能原因，我们希望开发特定于Scala或Java的库，以便将它们与我们的Python代码进行映射（类似于具有Scala或Java框架的Python存根）。

您是否不认为可以将新的自定义Python方法与某些Scala或Java用户定义函数进行接口？

Answer 1

我缺少有关如何registerJavaFunction知道在哪里可以找到UDF的信息...您能在这里详细说明目录结构吗？您是否sbt clean assembly在其他目录中找到了scalaVersion :=...（build.sbt??）和package com.example.spark.udfs...（src/main/scala??）文件？