我有代码:
from functools import reduce
public_ids = [1,2,3,4,5]
filepath = '/path/to/file/'
rdd = sc.textFile(
filepath
)
new_rdd = reduce(
lambda a, b: a.filter(
lambda x: b not in x
),
public_ids,
rdd
)
此代码假设根据 id 列表过滤 rdd 中的行。rdd 是使用 spark 上下文 sc 的 textFile 方法从位于 filepath 中的文件创建的。
此代码工作正常,但 pylint 引发错误:
E: 未定义变量 'b'(未定义变量)
我相信我编码它的方式不是正确的方式。如何更改它以便 pylint 不会再次引发错误?或者它只是一个pylint不能正确识别的结构?
慕无忌1623718
相关分类