Python 中的生成器趣味实践

1. 遍历文本文件中的单词

假设存在文本文件 test.txt，内容如下：

The Zen of Python

Beautiful is better than ugly

Simple is better than complex

注意文件包含有空行，要求完成如下任务：

统计文件有多少个单词
统计文件中每个单词出现的频率

2. 直接遍历的方法

请参考词条 “Python 中的迭代器趣味实践” 的第 2 小节，通过直接遍历文件中单词的方式实现 “统计单词的个数” 和 “统计单词的出现频率”。

2.1 优点

直接遍历的方式的优点在于代码简单，框架代码如下：

file = open('test.txt')

while True:
    line = file.readline()
    if not line:
        break

    words = line.split() 
    for word in words:
        处理 word

在第 4 行，读取文件的每一行
在第 8 行，将文件的一行分割为多个单词
在第 10 行，对当前正在遍历的单词进行处理

2.2 缺点

直接遍历的方式的缺点在于代码重复，实现 “统计单词个数” 和 “统计单词出现频率” 这两个功能需求时，遍历单词的框架代码是重复的。

3. 基于迭代器的方法

请参考词条 “Python 中的迭代器趣味实践” 的第 3 小节和第 4 小节，通过基于迭代器的方式实现 “统计单词的个数” 和 “统计单词的出现频率”。

3.1 优点

使用迭代器的方式的优点在于遍历单词的代码简单，使用如下代码：

for word in IterateWord(file):
    处理 word

即可对文件中所有的单词进行遍历。

3.2 缺点

使用迭代器的方式的缺点在于迭代器的实现较为复杂，相比之下，直接遍历的框架代码则非常简单直观。在下面的小节中，我们基于生成器简化迭代器的实现。

4. 基于生成器的方法

4.1 实现生成器

本小节使用生成器实现遍历文件中所有的单词，代码如下：

def generateWord(file):
    while True:
        line = file.readline()
        if not line:
            break

        words = line.split() 
        for word in words:
            yield word

在第 1 行，定义生成器函数 generateWord，遍历文件 file 中的单词
在第 3 行，读取文件的一行
- 在第 4 行，如果 not line 为真，则表示读取文件结束，使用 break 退出
在第 7 行，把 line 切割为多个单词
在第 8 行，遍历列表 words
- 在第 9 行，使用 yield 关键字返回当前正在遍历的单词

4.2 统计单词的个数

file = open('test.txt')

count = 0
for word in generateWord(file):
    print(word)
    count = count + 1

在第 1 行，打开文件 test.txt
在第 2 行，变量 count 用于记录文件中单词的个数
在第 4 行，遍历文件中的每一个单词
- 在第 5 行，打印当前遍历的单词
- 在第 6 行，统计单词个数

程序运行输出结果如下：

The
Zen
of
Python
Beautiful
is
better
than
ugly
Simple
is
better
than
complex
count = 14

4.3 统计单词的出现频率

file = open('test.txt')
dict = {}

for word in generateWord(file):
    if word in dict:
        dict[word] += 1
    else:
        dict[word] = 1

for word,count in dict.items():
    print('%s: %d' % (word, count))

在第 1 行，打开文件 test.txt，变量 file 标识已经打开的文件
在第 4 行，遍历每一行文本的单词
- 在第 5 行，如果 word 已经存在于 dict 中
  - 则在第 5 行，该单词出现的次数加 1
- 在第 7 行，如果 word 不存在于 dict 中
  - 则在第 8 行，该单词出现的次数初始化为 1
在第 10 行，打印 dict 的键和值

程序运行输出结果如下：

The: 1
Zen: 1
of: 1
Python: 1
Beautiful: 1
is: 2
better: 2
than: 2
ugly: 1
Simple: 1
complex: 1

结果表明：

单词 is better than 出现了 2 次
其它单词出现了 1 次

4.4 总结

与 “直接遍历” 和 “通过迭代器遍历” 这两种方式相比，基于生成器的方法由如下优点：

4.4.1 实现生成器简单

实现生成器的函数 generateWord 的逻辑简单直观，代码如下：

def generateWord(file):
    while True:
        line = file.readline()
        if not line:
            break

        words = line.split() 
        for word in words:
            yield word

首先，函数依次读取文件的每一行
然后，再把读取的行切割成单词
最后，遍历单词

4.4.2 使用生成器简单

通过 for 循环即可遍历文件中的单词，generateWord 隐藏了各种实现细节，代码如下：

for word in generateWord(file):
    处理 word