Databricks 与 Azure 事件中心连接

Question

我在尝试使用databricks-connect并依赖于 Maven 安装的扩展在 Databricks 上运行一些 Python 代码时遇到问题（在本例中com.microsoft.azure:azure-eventhubs-spark_2.11:2.3.17可以在 Databricks 官方文档中找到有关与 Azure EventHub 集成的信息）

关于与 的连接databricks-connect，一切都已设置良好（通过 获得“所有测试已通过” databricks-connect test）。Maven 包com.microsoft.azure:azure-eventhubs-spark_2.11:2.3.17似乎已“安装”在我的集群的“库”部分中）。

有问题的代码是这样一个简单的代码：

encrypted_string = sc._jvm.org.apache.spark.eventhubs.EventHubsUtils.encrypt(to_be_encrypted_string)

我是否遗漏了一些关于 Maven 包安装的明显内容？将其与 Python 一起使用是否需要额外的步骤？感谢您的帮助 ！

Answer 1

功能有一些限制：不支持以下 Databricks 功能和第三方平台：以下 Databricks 实用程序：凭据、库、笔记本工作流程和小部件。结构化流（包括 Azure 事件中心）在远程集群上运行不属于 Spark 作业一部分的任意代码。用于 Delta 表操作的本机 Scala、Python 和 R API（例如 DeltaTable.forPath）。但是，支持 Delta Lake 操作的 SQL API (spark.sql(...)) 和 Delta 表上的常规 Spark API（例如，spark.read.load）。此外，使用 Databricks Connect，您还必须将所有库都放在本地类路径中。典型场景是所有非 Spark 依赖项都打包到 jar-with-dependencies 中。