python内存、flush、csv大小问题

Question

在解决了数据集的排序后，我的代码在这一点上遇到了问题。

with open(fns_land[xx]) as infile:

    lines = infile.readlines()

    for line in lines:

        result_station.append(line.split(',')[0])

        result_date.append(line.split(',')[1])

        result_metar.append(line.split(',')[-1])

我的线路有问题。在这一行中，数据有时很大，我得到一个终止错误。

有没有一种简短/不错的方法来重写这一点？

Answer 1

使用readline它，一次读取一行，而不将整个文件加载到内存中。with open(fns_land[xx]) as infile:    while True:        line = infile.readline()        if not line:            break        result_station.append(line.split(',')[0])        result_date.append(line.split(',')[1])        result_metar.append(line.split(',')[-1])