使用 Python 通过流将数据从 S3 传输到 FTP 服务器

Question

使用 Python，我想将匹配模式的文件sample1从 AWS S3 直接复制到 FTP 服务器，而无需下载到本地临时位置。我尝试了以下操作：

import s3fs

from ftplib import FTP_TLS

s3 = s3fs.S3FileSystem(anon=False)

pattern = 'sample1'

rest = [i for i in list if pattern in i]

rest

ftp = FTP_TLS("ftp.test.com")

ftp.login(user ='myUser', passwd = 'PassWrd')

ftp.cwd("box_dest")

for f in rest:

    print(f)

    with open(f, 'r') as fu:

        ftp.storbinary('STOR ' + f, fu)

我越来越：

[u'test-bucket/abc/test/sample1.csv']

test-bucket/abc/test/sample1.csv

Traceback (most recent call last):

  File "<stdin>", line 3, in <module>

IOError: [Errno 2] No such file or directory: u'test-bucket/abc/test/sample1.csv'

关于如何实现这一目标的任何建议？谢谢！

Answer 1

要从 S3 读取文件，您需要使用S3FileSystem.open，而不是os.open.在指定目标 FTP 路径时，您只需要从原始 S3 路径中提取一个文件名。posixpath.basename应该做。for f in rest:&nbsp; &nbsp; print(f)&nbsp; &nbsp; with s3.open(f, 'r') as fu:&nbsp; &nbsp; &nbsp; &nbsp; ftp.storbinary('STOR ' + posixpath.basename(f), fu)