深度学习算法哪些适用于文本处理？

Question

深度学习算法哪些适用于文本处理

Answer 1

作者：梅洪源来源：知乎现在实践证明，对supervised-learning而言，效果较好的应该算是Recurrent Neural Network （RNN）吧，目前比较火的一类RNN是LSTM -- Long Short Term Memory。对于这个model而言，最初的发明见于论文--Long Short Term Memory by Hochreiter and Schmidhuber，而之后较好的归纳和实现可以参考Frame Phoneme Classification with Bidirectional LSTM by Alex Graves，后者有比较清晰的back propagation的公式。最近两年这个model在speech，language以及multimodal with vision等方面可谓是大展宏图，一再的刷新实验结果，重要工作可以参考：Speech recognition with Deep Recurrent Neural Networks by GravesSequence to Sequence Learning with Neural Networks by SutskeverShow Attend and Tell by Kelvin Xu至于具体的实现，希望避免造轮子的可以参考这个非常famous的github：karpathy (Andrej) · GitHub，Andrej Karpathy最近发了很多很有趣的RNN的fun project，可以borrow一些代码。希望自己造轮子的，可以选择用Theano或者Torch，用画data flow的方法来code整个structure，很简洁实用，我个人一直用Theano，给个好评。：）当然啦，至于你要研究什么问题，还是具体问题具体分析的好。可以去搜搜有没有研究类似问题的paper，看看目前的最好的技术是什么。Deep Learning不一定是万能的啦。