python菜鸟 想做一个简单的爬虫 求教程

Question

python菜鸟 想做一个简单的爬虫 求教程 ps:一般公司做爬虫采集的话常用什么语言

Answer 1

爬内容，通常来说就是HTTP请求，requests +1 爬下来的网页就是做一些字符串处理，获取你要的信息。beautifulsoup、正则表达式、str.find()都可以 一般网页以上两点就可以了，对于ajax请求的网站，你可能爬不到想要内容，去找他的Api可能更方便。

Answer 2

以前学习的时候整理的一份教程： Python 爬虫教程

Answer 3

简单的，不用框架的，可以看看requests和beautifulsoup这两个库，如果熟悉python语法，看完这两个，差不多能写个简单的爬虫了。 一般公司搞爬虫，我见过的，多用java或者python。

Answer 4

简单的爬虫，其实用框架最简单了，看看网上的入门贴 推荐scrapy

Answer 5

网终上确实有许多的关于Python如何写一个简单爬虫的文章，但这些文章大多只能算是一个例子，能真正应用的还是挺少的。爬虫我认为就是获取内容、分析内容、再存储就OK了，如果只是才接触的话，可以直接Google之就行了。如果是深入的研究的话，可以在Github上找找代码来看下。 我自己对于Python也只是一知半解，希望有所帮助。

Answer 6

scrapy 节约你大量时间github上有很多例子

Answer 7

Scrapy是比较好的选择，相对比较简单，这里有入门教程

Answer 8

可以先用一个爬虫框架实现业务逻辑，如scrapy，然后根据自己的需求，慢慢的替换掉框架。最后，你就会发现， 你自己实现了一个爬虫框架

Answer 9

抓取内容可以使用 urllib/urllib2/requests，推荐requests。 分析内容可以使用 BeautifulSoup，也可以使用正则或者暴力的字符串解析。

Answer 10

http://cuiqingcai.com/1052.html 最近在学习Python爬虫，感觉非常有意思，真的让生活可以方便很多。学习过程中我把一些学习的笔记总结下来，还记录了一些自己实际写的一些小爬虫，在这里跟大家一同分享，希望对Python爬虫感兴趣的童鞋有帮助，如果有机会期待与大家的交流。 一、Python入门 Python爬虫入门一之综述 Python爬虫入门二之爬虫基础了解 Python爬虫入门三之Urllib库的基本使用 Python爬虫入门四之Urllib库的高级用法 Python爬虫入门五之URLError异常处理 Python爬虫入门六之Cookie的使用 Python爬虫入门七之正则表达式 二、Python实战 Python爬虫实战一之爬取糗事百科段子 Python爬虫实战二之爬取百度贴吧帖子 Python爬虫实战三之计算大学本学期绩点 Python爬虫实战四之抓取淘宝MM照片 Python爬虫实战五之模拟登录淘宝并获取所有订单 三、Python进阶 Python爬虫进阶一之爬虫框架Scrapy安装配置 目前暂时是这些文章，随着学习的进行，会不断更新哒，敬请期待~ 希望对大家有所帮助，谢谢！ 转载请注明：静觅 » Python爬虫学习系列教程