语音识别无处不在，siri，google，讯飞输入法，讯飞语记，智能家居，车，etc。
每天都在用的，很好奇它是怎么实现的，今天来看看这么便利的东东到底是什么样子呢。
进化史
最开始的 speech recognizer 只能识别 0-9 这几个数字，说别的单词是识别不了滴。
后来有一个叫做 DARPA 的梦想家 team 孜孜不倦地研究。
他们用 15000 个节点代表可能的发音，然后用暴力搜索 brute force search 算法来找到节点对应的文字。
后来 IBM 用 Hidden Markov Model 来预测每个点最大概率可能表示的文字。
再后来人们尝试用 NN 神经网络来做这个任务，但是很长时间没太大进展，直到 深度学习之父 Geoffrey Hinton 研究出个 Deep Learning 模型，语音识别的效果显著提高。
Yours ~~
像 Siri，Google 一样，现在我们来看看怎样用 TensorFlow 创建自己的 Speech Recognizer ，来识别数字吧。
Steps:
导入库
定义参数
导入数据
建立模型
训练模型并预测
1. 导入库
需要用到 tflearn，这是建立在 TensorFlow 上的高级的库，可以很方便地建立网络。
还会用到辅助的类 speech_data，用来下载数据并且做一些预处理。
from __future__ import division, print_function, absolute_importimport tflearnimport speech_dataimport tensorflow as tf
2. 定义参数
learning rate 是在更新权重的时候用，太高可以很快，但是loss大，太低较准但是很慢。
learning_rate = 0.0001training_iters = 300000 # stepsbatch_size = 64width = 20 # mfcc featuresheight = 80 # (max) length of utteranceclasses = 10 # digits
3. 导入数据
用 speech_data.mfcc_batch_generator 获取语音数据并处理成批次，然后创建 training 和 testing 数据。
batch = word_batch = speech_data.mfcc_batch_generator(batch_size) X, Y = next(batch) trainX, trainY = X, Y testX, testY = X, Y #overfit for now
4. 建立模型
接下来，用什么模型呢？
speech recognition 是个 many to many 的问题。
eg，speech recognition
eg，image classification
eg，image caption
eg，sentiment analysis
所以我们用 Recurrent NN 。
通常的 RNN ，它的输出结果是受整个网络的影响的。
而 LSTM 比 RNN 好的地方是，它能记住并且控制影响的点。所以这里我们用 LSTM。
每一层到底需要多少个神经元是没有规定的，太少了的话预测效果不好，太多了会 overfitting，这里我们取普遍的 128.
为了减轻过拟合的影响，我们用 dropout，它可以随机地关闭一些神经元，这样网络就被迫选择其他路径，进而生成想对 generalized 模型。
接下来建立一个 fully connected 的层，它可以使前一层的所有节点都连接过来，输出 10 类，因为数字是 0-9，激活函数用 softmax，它可以把数字变换成概率。
最后用个 regression 层来输出唯一的类别，用 adam 优化器来使 cross entropy 损失达到最小。
# Network buildingnet = tflearn.input_data([None, width, height]) net = tflearn.lstm(net, 128, dropout=0.8) net = tflearn.fully_connected(net, classes, activation='softmax') net = tflearn.regression(net, optimizer='adam', learning_rate=learning_rate, loss='categorical_crossentropy')
5. 训练模型并预测
然后用 tflearn.DNN 函数来初始化一下模型，接下来就可以训练并预测，最后再保存训练好的模型。
# Training### add this "fix" for tensorflow version errorscol = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES)for x in col:
tf.add_to_collection(tf.GraphKeys.VARIABLES, x )
model = tflearn.DNN(net, tensorboard_verbose=0)while 1: #training_iters
model.fit(trainX, trainY, n_epoch=10, validation_set=(testX, testY), show_metric=True,
batch_size=batch_size)
_y=model.predict(X)
model.save("tflearn.lstm.model")print (_y)print (y)模型训练需要一段时间，一边碎觉一边等着模型出炉吧。
蜗牛的笔记