python遇见数据采集_技术笔记

慕容7012403 2019-03-10

post（异步加载的应用）：表单的内容记一下和有两个请求头（来源和头）

1赞 · 0采集
慕容7012403 2019-03-10

post是应用在响应对象中（即要求你下指令之后网页响应的信息）
谷歌内可以使用postman进行查看你想要响应的对象内容是什么

0赞 · 0采集
慕容7012403 2019-03-10

反爬虫还有一个：origin

0赞 · 0采集

千夜一梦 2018-06-25

# 爬出台湾高铁网站
from urllib.request import urlopen
from urllib.request import Request
from urllib import parse

req = Request('http://www.thsrc.com.tw/tw/TimeTable/SearchResult')
postData = parse.urlencode([
    ('StartStation', '2f940836-cedc-41ef-8e28-c2336ac8fe68'),
    ('EndStation', '977abb69-413a-4ccf-a109-0272c24fd490'),
    ('SearchDate', '2018/06/25'),
    ('SearchTime', '23:30'),
    ('SearchWay', 'DepartureInMandarin')
])

req.add_header('Origin', 'http://www.thsrc.com.tw')
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')

response = urlopen(req, data=postData.encode('utf-8'))
print(response.read().decode('utf-8'))

0赞 · 1采集

慕斯3387234 2018-06-22

origin和user-Agent是两个最重要的信息，让网站不认为我们是爬虫

0赞 · 0采集
慕设计8526992 2018-02-22

用urllib发送post请求；访问有的网站需要添加 origins、user agent 来表明自己不是爬虫否则会报错

截图
0赞 · 0采集
UP九万里 2018-01-23

from urllib.request import urlopen from urllib.request import Request from urllib import parse req = Request("http://www.thsrc.com.tw/tw/TimeTable/SearchResult") postData = parse.urlencode([ ("StartStation","2f940836-cedc-41ef-8e28-c2336ac8fe68"), ("EndStation","977abb69-413a-4ccf-a109-0272c24fd490"), ("SearchDate","2018/01/23"), ("SearchTime","12:00"), ("SearchWay","DepartureInMandarin") ]) req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36') req.add_header('Origin','http://www.thsrc.com.tw') resp = urlopen(req,data=postData.encode('utf-8')) print(resp.read().decode('utf-8'))

0赞 · 0采集
TenFoff 2017-11-21

postman fiddler wireshark httpwatcher httpanalyzer

截图
0赞 · 0采集
醉客 2017-10-08

爬虫伪装成浏览器

截图
0赞 · 0采集
weibo_fate自身难保_0 2017-08-10

urllib.parse.urlencode()的参数可以是dict也可以是两个元素的元组列表

截图
0赞 · 0采集
weibo_fate自身难保_0 2017-08-10

import urllib.parse import urllib.request from bs4 import BeautifulSoup import sys import io __author__ = 'yearEamab' sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') headers={ 'Origin':'https://www.thsrc.com.tw', 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36' } data=urllib.parse.urlencode({ 'StartStation':'2f940836-cedc-41ef-8e28-c2336ac8fe68', 'EndStation':'e6e26e66-7dc1-458f-b2f3-71ce65fdc95f', 'SearchDate':'2017/08/10', 'SearchTime':'15:00', 'SearchWay':'DepartureInMandarin' }) data_by=bytes(data,encoding='utf-8') request=urllib.request.Request('https://www.thsrc.com.tw/tw/TimeTable/SearchResult',data=data_by,headers=headers) response=urllib.request.urlopen(request) html_cont=response.read() soup=BeautifulSoup(html_cont,'html.parser',from_encoding='utf-8') #<section class="result_table"> print(soup.find('section',class_='result_table').find('ul'))

截图
1赞 · 0采集
幕布斯1245922 2017-06-08

python

截图
0赞 · 0采集
秦__川 2017-04-12

为什么要用那个工具？可以实现什么？向网页传入信息，怎么传？传到哪？这个就是解决这个问题的。要找到那些要填写的地方，用类似网页解析器一样的东西，把要传去信息的地方找到。

截图
0赞 · 0采集
at阿庆 2017-04-10

import urllib import urllib2 req = urllib2.Request("http://www.thsrc.com.tw/tw/TimeTable/SearchResult") post_data = {'StartStation': '2f940836-cedc-41ef-8e28-c2336ac8fe68', 'EndStation': 'f2519629-5973-4d08-913b-479cce78a356', 'SearchDate': '2017/04/10', 'SearchTime': '16:00', 'SearchWay':'DepartureInMandarin'} post_data_urlencode = urllib.urlencode(post_data) req.add_header('Origin', 'http://www.thsrc.com.tw') req.add_header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36") response = urllib2.urlopen(req, data = post_data_urlencode) print(response.read().decode('utf-8'))

截图
0赞 · 0采集
华子7 2017-02-21

很多网站会根据我们的请求是否有头，及请求内容来判断我们是不是爬虫。 add_header，

0赞 · 2采集
慕的地8334720 2017-02-12

需要加头部信息：origin来源和头部信息user－agent。

0赞 · 1采集
慕莱坞9796870 2016-11-06

总结：三个import urllib-urlopen urllib-request urllib-parse request add_header():origin agent 模拟浏览器 postdata=parse.urlopent([k,v])

截图
0赞 · 1采集
慕莱坞9796870 2016-11-06

Form Data:

截图
0赞 · 0采集
慕莱坞9796870 2016-11-06

origin: user-Agent

截图
0赞 · 0采集
qq_北冕_03149153 2016-10-22

fildder 和 Google postman

截图
0赞 · 0采集
慕婉清8279621 2016-10-07

查询网站内容

截图
0赞 · 0采集
慕粉3878587 2016-08-31

from urllib.request import urlopen # 引入urlopen 模块 from urllib.request import Request # 引入urlrequest 模块 from urllib import parse # 引入parse 模块 req = Request("http://www.thsrc.com.tw/tw/TimeTable/SearchResult") postDate = parse.urlencode([ ("StartStation", "2f940836-cedc-41ef-8e28-c2336ac8fe68"), ("EndStation", "977abb69-413a-4ccf-a109-0272c24fd490"), ("SearchDate", "2016/08/31"), ("SearchTime", "21:30"), ("SearchWay", "DepartureInMandarin") ]) req.add_header("Origin", "http://www.thsrc.com.tw") req.add_header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; rv:48.0) Gecko/20100101 Firefox/48.0)") resp = urlopen(req,data=postDate.encode("utf-8")) print(resp.read().decode("utf-8"))

0赞 · 1采集
慕粉3878587 2016-08-31

输入代码的时候需要注意大小写、半角、全角符号都对结果有些影响。

0赞 · 0采集
慕粉3878587 2016-08-31

from urllib.request import urlopen # 引入urlopen 模块 from urllib.request import Request # 引入urlrequest 模块 from urllib import parse # 引入parse 模块 req = Request("http://www.thsrc.com.tw/tw/TimeTable/SearchResult") postDate = parse.urlencode([ ("StartStation", "2f940836-cedc-41ef-8e28-c2336ac8fe68"), ("EndStation", "977abb69-413a-4ccf-a109-0272c24fd490"), ("SearchDate", "2016/08/31"), ("SearchTime", "21:30"), ("SearchWay", "DepartureInMandarin") ]) req.add_header("Origin", "http://www.thsrc.com.tw") req.add_header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; rv:48.0) Gecko/20100101 Firefox/48.0)") resp = urlopen(req,data=postDate.encode("utf-8")) print(resp.read().decode("utf-8"))

0赞 · 0采集
陈知返 2016-08-30

#暂时跑不出来。。。回头再看看 # -*- coding:utf-8 -*- import urllib2 import urllib #(1)Request 建立连接 url = 'http://www.thsrc.com.tw/tw/TimeTable/SearchResult' headers = { 'Host':'www.thsrc.com.tw', 'Origin':'http://www.thsrc.com.tw', 'Connection': 'keep-alive', 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36' } req = urllib2.Request(url=url, headers=headers) # (2)数据传输 data = {'StartStation': '2f940836-cedc-41ef-8e28-c2336ac8fe68', 'EndStation': 'e6e26e66-7dc1-458f-b2f3-71ce65fdc95f', 'SearchData': '2016/08/31', 'SearchTime': '13:00', 'SearchWay': 'DepartureInMandarin', 'RestTime': '', 'EarlyOrLater': '' } post_data = urllib.urlencode(data) resp = urllib2.urlopen(req, data=post_data) print (resp.read().decode('utf-8'))

0赞 · 0采集
顾小北 2016-08-26

#coding=utf-8 #获取ｐｏｓｔ信息 from urllib import request from urllib import parse req = request.Request("http://www.thsrc.com.tw/tw/TimeTable/SearchResult") #元祖传入键值对的形式传入，ｐｏｓｔ请求 postData=parse.urlencode([ ("StartStation", "2f940836-cedc-41ef-8e28-c2336ac8fe68"), ("EndStation", "fbd828d8-b1da-4b06-a3bd-680cdca4d2cd"), ("SearchDate", "2016/08/26"), ("SearchTime", "16:30"), ("SearchWay", "ArrivalInMandarin") ]) #每输入一个就是添加一个头，可以添加多个头 req.add_header("Host", "www.thsrc.com.tw") req.add_header("User-Agent", "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:48.0) Gecko/20100101 Firefox/48.0") resp = request.urlopen(req) print(resp.read().decode('utf-8'))

0赞 · 0采集
顾小北 2016-08-26

网站查看格式

截图
0赞 · 0采集
顾小北 2016-08-26

这里就是一次访问的信息，其中一般要带上第２７条和第３０条<br> 第２７条表明我们是从哪里开始的这个查询，第３０条表明了操作系统和浏览器的信息<br> 这两条信息一般可以证明不是爬虫当然不一定每次都需要携带上诉消息，有些网站是不会检查的，不过携带的情况下会更好３４行到３８行，就是一些ＰＯＳＴ请求的内容，需要把这些内容发送给对方进行请求信息再浏览器的查看元素，网络　ｈｔｍｌ　右部的选项中

截图
0赞 · 2采集
顾小北 2016-08-26

以台湾高铁网为例，查看一次请求发送的内容用浏览器的查看元素，网络选项进行查看，查看的同时，选取文字版本，过滤其他信息点击查询按钮然后一次请求就发生了，点开查看请求的信息，

截图
0赞 · 0采集

数据加载中...