目标：
抓取煎蛋美女图片，通过实践熟悉python相关模块及字典的应用。
声明：
本程序仅用于交流学习研究，请勿频繁抓取数据对相关网站造成影响.
CueRoutineReward，触发机制、模式、激励，这是促成习惯的三个要素，这个结论来自《习惯的力量》，这个说法在提升自己的动机、改变拖延上是非常有帮助的。
不依赖毅力，导入促进自己不断学习的机制。
找到动机（奖励：美女图片）
让学习快乐的机制
我们将通过抓取美女图片来学习如何抓取网页（吊丝的最爱_）。
动机，在心理学上一般被认为涉及行为的发端、方向、强度和持续性。动机为名词，在作为动词时则多称作激励。在组织行为学中，激励主要是指激发人的动机的心理过程。通过激发和鼓励，使人们产生一种内在驱动力，使之朝着所期望的目标前进的过程；又在此过程中，动机通常不会是一成不变的，相反地，动机可能会增加或降低。然而，不管动机水准的高低为何，人们若能维持一定的动机水准，则不但能维持追求该目标的行为，也能维持心理上对该目标的渴望，直到人们知觉到该目标达成为止，因此动机时常被视为是行为的前导驱力，若能掌握人们的动机，则往往可以协助预测其行为的方向性与模式。 ...
[http://zh.wikipedia.org/zh-cn/动机]
流程：
建立下载目录:jiandanxxoo20160612
创建随机的user-agent
获取图表url
下载保存图片
核心知识要点：
requests
bs4
time
random
os , path
with...open 保存文件
for , 字典
函数
[code]：
#/usr/bin/env python3.5# -*- coding: utf-8 -*-__author__ = 'zenway33'from bs4 import BeautifulSoupimport requestsimport timeimport randomimport os# 建立一个目录用于存储下载的文件:img_dir = 'jiandanxxoo20160612'if not os.path.isdir(img_dir):
os.mkdir(img_dir)# 获取一个随机的headerdef random_header():
#def LoadUserAgents(uafile="user_agents.txt"):
def load_useragents(uafile="user_agents.txt"):
"""
uafile : string
path to text file of user agents, one per line
"""
uas = [] with open(uafile, 'rb') as uaf: for ua in uaf.readlines(): if ua:
uas.append(ua.strip()[1:-1-1])
random.shuffle(uas) return uas # load the user agents, in random order
uas = load_useragents(uafile="user_agents.txt") # load user agents and set headers
ua = random.choice(uas) # select a random user agent
headers = { "Connection" : "close", # another way to cover tracks
"User-Agent" : ua} return headers# proxy = {"http": "http://username:p3ssw0rd@10.10.1.10:3128"}'''
headers = {
'User-Agent': 'Mozilla/5.8 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
'Accept-Encoding': 'none',
'Accept-Language': 'en-US,en;q=0.8',
'Connection': 'keep-alive'
}
'''# 单个页面的内容抓取分析'''
url = 'http://jandan.net/ooxx/page-2007'
wb_data = requests.get(url,headers=headers)
soup = BeautifulSoup(wb_data.text,'lxml')
imgs = soup.select('p > img')
for img_url in imgs:
url = img_url.get('src')
print(url)
'''# 下载文件,保存本地def download(image_url, image_name):
headers = random_header()
r = requests.get(image_url, stream = True,headers=headers) #with open(path + '/' + '{}.jpg'.format(index), "wb") as fs:
with open(os.path.join(img_dir, image_name), 'wb') as fs:
fs.write(r.content)
fs.close
print("filename: %s , image_url: %s... is download" % (image_name, image_url))# 获取图片urldef get_image_info():
for page_num in range(2000,2015):
headers = random_header()
wb_data =requests.get('http://jandan.net/ooxx/page-{}'.format(page_num), headers=headers)
time.sleep(5)
soup = BeautifulSoup(wb_data.text,'lxml')
image_urls = soup.select('p > img')
print("page_num: %s" % page_num) try: for index,image_url in enumerate(image_urls):
image_url = image_url.get('src')
data = { 'image_url' :image_url, #'image_name' :image_url.split('/')[-1]
'image_name' :'{}.jpg'.format(index)
} #print(data)
image_url = data['image_url']
image_name = str(page_num) + '_' + data['image_name'] #download images
download(image_url, image_name) except: passif __name__ == "__main__":
start_time = time.time()
get_image_info()
print("--- %s seconds ---" % (time.time() - start_time))美女效果图：
参考：
https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/
作者：zenway33
链接：https://www.jianshu.com/p/21a0b76e8e4a