Dataflow/apache beam - 传入模式时如何访问当前文件名？

Question

我在堆栈溢出之前看到过这个问题的回答（https://stackoverflow.com/questions/29983621/how-to-get-filename-when-using-file-pattern-match-in-google-cloud-dataflow），但不是因为 apache beam 为 python 添加了可拆分的 dofn 功能。将文件模式传递给 gcs 存储桶时，如何访问正在处理的当前文件的文件名？

我想将文件名传递到我的转换函数中：

with beam.Pipeline(options=pipeline_options) as p:                              

    lines = p | ReadFromText('gs://url to file')                                        

    data = (                                                                    

        lines                                                                   

        | 'Jsonify' >> beam.Map(jsonify)                                        

        | 'Unnest' >> beam.FlatMap(unnest)                                      

        | 'Write to BQ' >> beam.io.Write(beam.io.BigQuerySink(                  

            'project_id:dataset_id.table_name', schema=schema,                     

            create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED,    

            write_disposition=beam.io.BigQueryDisposition.WRITE_APPEND)       

        )                                                   

最终，我想要做的是在转换 json 的每一行时将文件名传递到我的转换函数中（请参阅此内容，然后使用文件名在不同的 BQ 表中进行查找以获取值）。我想一旦我设法知道如何获取文件名，我将能够找出侧面输入部分，以便在 bq 表中进行查找并获得唯一值。