python 爬蟲，關于驗證碼的問題。輸入驗證碼才能搜索。 python 爬蟲，怎么獲得輸入驗證碼之后的搜索結果
#給你個例子參考 驗證碼請求一次就變了
#!/usr/bin/python
#coding=utf-8
import requests
import urllib
import urllib2,hashlib,md5
from BeautifulSoup import BeautifulSoup
import cookielib
def _md5(password):
md5 = hashlib.md5()
md5.update(str.encode(password))
psw = md5.hexdigest()
return psw
url = 'https://passport.liepin.com/captcha/randomcode?2hy270c2ji1'
req = urllib2.Request(url)
res_data = urllib2.urlopen(req)
res = res_data.read()
output_file = open('1.jpg', 'wb')
output_file.writelines(res)
output_file.close()
verifycode = res_data.headers['Set-Cookie'].split(';')[0]
verifycode = verifycode.replace('verifycode=','')
filename = res_data.headers['Content-disposition'].split(';')[1].strip()
exec(filename)
cookiejar = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookiejar))
vidcode= raw_input(u"請輸入驗證碼(在本路徑 1.jpg): ")
data = {'user_login':"lovesword85@yeah.net",
'isMd5':"1",
'user_pwd':_md5('love123456'),
'verifycode':vidcode,
'url':""}
url = 'https://passport.liepin.com/h/login.json'
data = urllib.urlencode(data)
headers = {'Content-Type': 'application/x-www-form-urlencoded', 'X-Requested-With': 'XMLHttpRequest', 'Cookie': 'verifycode={0};'.format(verifycode)}
request = urllib2.Request(url,data,headers)
response = opener.open(request)
print '-------result-------------'
print response.read()
print '-------headers-------------'
print response.headers
print '-------cookies-------------'
for cookie in cookiejar:
print cookie
一直用的事618代理軟件ip轉換器
支持動態(tài)靜態(tài)ip線路
不知道國內(nèi)最好的是哪款，身邊大多人都用618軟件，評價挺好的
post驗證碼，一般是需要帶上cookie的
相關評說：
和碩縣液壓： ______ 現(xiàn)在之所以有這2113么多的小伙伴熱衷于爬蟲技術,無外5261乎是因為爬蟲可以幫4102我們做很多事1653情,比如搜索引擎、采集數(shù)據(jù)、廣告過濾等,以Python為例,Python爬蟲可以用于數(shù)據(jù)分析,在數(shù)據(jù)抓取方面發(fā)揮巨大的作用. 但是這...
和碩縣液壓： ______ 有更加成熟的一種爬蟲腳本語言,而非框架.是通用的爬蟲軟件ForeSpider,內(nèi)部自帶了一套爬蟲腳本語言. 從一個專業(yè)C++程序猿的角度說,網(wǎng)上流傳的各種Java爬蟲,Python爬蟲,Java需要運行于C++開發(fā)的虛擬機上,Python只是腳本語...
和碩縣液壓： ______ Beautiful Soup.名氣大,整合了一些常用爬蟲需求.缺點:不能加載JS.Scrapy.看起來很強大的爬蟲框架,可以滿足簡單的頁面爬取(比如可以明確獲知url pattern的情況).用這個框架可以輕松爬下來如亞馬遜商品信息之類的數(shù)據(jù).但是對...
和碩縣液壓： ______ 為了爬下來的數(shù)據(jù),做統(tǒng)計排名或者數(shù)據(jù)分析或者其他目的,比如搜索引擎的爬蟲,爬數(shù)據(jù)是為了提供更好的搜索. 為了替代手工,比如重復下載資源 山寨
和碩縣液壓： ______ 因為python是腳本語言,編寫調試方便,而且學習起來也不難. 另外python相關的類庫也比較豐富.
