未在 AWS EMR 中导入的蟒蛇包

Question

我正在尝试通过 Livy 将作业提交到 EMR 群集。我的Python脚本（提交作业）需要导入一些包。我已经在EMR的主节点上安装了所有这些软件包。主脚本驻留在 S3 上，该脚本正在调用该脚本以将作业从 EC2 提交到 Livy。每次我尝试在远程计算机（EC2）上运行作业时，它都会死机，指出导入错误（没有名为[mod name]的模块）

我已经坚持了一个多星期，无法找到可能的解决方案。任何帮助将不胜感激。谢谢。

Answer 1

您尝试导入的这些包。它们是定制包吗？如果是这样，你是如何包装它们的。您是否创建了一个轮文件或zip文件，并在通过livy提交的火花中将它们指定为--py-文件？可能的问题。您仅在主节点上安装了软件包。你将需要登录到工作线程节点并在那里安装包。否则，当您配置 emr 时，请使用引导操作安装软件包您应该能够通过 - py-files 选项添加库，但更安全的做法是下载轮文件并使用它们，而不是自己压缩任何内容。