猿问

使用 boto3 从 S3 存储桶中读取多个 csv 文件

我需要使用 python 中的 boto3 从 S3 存储桶中读取多个 csv 文件,最后将这些文件合并到 Pandas 的单个数据帧中。


我能够从 python 中的以下脚本读取单个文件


 s3 = boto3.resource('s3')

 bucket = s3.Bucket('test-bucket')

 for obj in bucket.objects.all():

    key = obj.key

    body = obj.get()['Body'].read()

以下是我的路径


 files/splittedfiles/Code-345678

在Code-345678我有多个csv文件,我必须读取它们并将其组合到熊猫中的单个数据帧


另外,如何将选定Codes的列表作为列表传递,以便它仅读取这些文件夹。例如


files/splittedfiles/Code-345678

files/splittedfiles/Code-345679

files/splittedfiles/Code-345680

files/splittedfiles/Code-345681

files/splittedfiles/Code-345682

从上面我只需要读取以下代码下的文件。


345678,345679,345682

我怎样才能在python中做到这一点?


婷婷同学_
浏览 356回答 3
3回答
随时随地看视频慕课网APP

相关分类

Python
我要回答