如何在luigi中将模型pickle文件输出到s3？

Question

我有一个训练模型的任务，例如：

class ModelTrain(luigi.Task):

    def output(self):

        client = S3Client(os.getenv("CONFIG_AWS_ACCESS_KEY"),

                          os.getenv("CONFIG_AWS_SECRET_KEY"))

        model_output = os.path.join(

            "s3://", _BUCKET, exp.version + '_model.joblib')

        return S3Target(model_output, client) 

    def run(self):

        joblib.dump(model, '/tmp/model.joblib')

    with open(self.output().path, 'wb') as out_file:

        out_file.write(joblib.load('/tmp/model.joblib'))        

FileNotFoundError: [Errno 2] 没有这样的文件或目录：'s3://bucket/version_model.joblib'

在这方面的任何指示都会有所帮助

Answer 1

您能否尝试在 open 语句中删除 .path 。  def run(self):     joblib.dump(model, '/tmp/model.joblib')             with open(self.output(), 'wb') as out_file:         out_file.write(joblib.load('/tmp/model.joblib'))