Python3.x+迅雷x 自動(dòng)下載高分電影，嘿嘿你懂的
提及以往用Python爬取過多網(wǎng)站，那都是個(gè)人興趣使然，并非公司業(yè)務(wù)范疇。
運(yùn)維同事常來提醒，讓我別再爬數(shù)據(jù)了，擔(dān)心會(huì)被抓。博客上爬取的資源來自某天堂，具體哪個(gè)天堂的代碼中會(huì)說明。作為技術(shù)探討和個(gè)人練習(xí)，非商業(yè)用途，應(yīng)該沒問題，但寫到這里還是有些緊張。
不管了，既然選擇了這條路，那就走下去。先看看最終效果。
這個(gè)下載工具具備簡(jiǎn)單界面，輸入根地址和電影評(píng)分，即可自動(dòng)下載電影。制作此工具需要掌握以下知識(shí)點(diǎn)：
技術(shù)細(xì)節(jié)不復(fù)雜，主要是requests和BeautifulSoup的使用，正則表達(dá)式，Python數(shù)據(jù)類型，線程，以及dbm和pickle等數(shù)據(jù)持久化庫。Python面向?qū)ο螅幊趟枷胪ㄓ茫皇且怀幌δ苷f清的。有需要的地方，自己查閱資料學(xué)習(xí)吧。
python討論群：887934385 分享視頻教程
主程序spider_main.py，使用tkinter實(shí)現(xiàn)界面，可以輸入根地址和最低評(píng)分。根地址是某天堂網(wǎng)站的電影入口，如2019精品專區(qū)。評(píng)分用于過濾電影，可指定下載評(píng)分大于等于8分的電影。
url_manager.py注釋詳細(xì)，每個(gè)py文件的關(guān)鍵部分都有注釋。
html_download.py使用requests下載網(wǎng)頁內(nèi)容。
html_parser.py使用bs4解析html頁面，提取所需信息，是爬蟲的關(guān)鍵。
persist_util.py提供數(shù)據(jù)持久化工具。
代碼部分已完成。迅雷X需要開啟一鍵下載功能，否則每次新增下載任務(wù)都會(huì)彈出確認(rèn)框。調(diào)用迅雷下載資源的代碼為：os.system(r'"D:\迅雷\Thunder\Program\Thunder.exe" {url}'.format(url=xunlei_link))，確保使用Thunder.exe文件路徑，不能用快捷方式。
至此，電影爬取成功。程序可優(yōu)化之處不少，如線程和數(shù)據(jù)持久化。初學(xué)者可通過此項(xiàng)目練習(xí)，分析網(wǎng)站規(guī)則，修改解析html的代碼，爬取其他網(wǎng)站。
更多精彩文章：
葉湘?zhèn)悾号老x福利 之 妹子圖網(wǎng)MM批量下載
葉湘?zhèn)悾河胮ython來測(cè)試下 2019 你一共寫了多少行代碼？
葉湘?zhèn)悾篜ython 憤怒的小鳥代碼實(shí)現(xiàn):物理引擎pymunk使用
葉湘?zhèn)悾篜ython 超級(jí)瑪麗代碼實(shí)現(xiàn):人物行走和碰撞檢測(cè)
葉湘?zhèn)悾喝绾斡肞ython畫一只肥肥的柯基狗狗——turtle庫繪制橢圓與弧線實(shí)踐
葉湘?zhèn)悾喝绾斡肞ython畫一只兔子——turtle庫circle()畫圓函數(shù)的詳細(xì)用法介紹
葉湘?zhèn)悾航棠阋绘I快速生成后臺(tái)代碼，這樣和測(cè)試小姐姐聊天的時(shí)間又多了
葉湘?zhèn)悾?0行Python代碼爬取王者榮耀全英雄皮膚
葉湘?zhèn)悾篜ython綜合應(yīng)用：教你用字符打印一張懷舊風(fēng)格的照片
葉湘?zhèn)悾河胮ygame實(shí)現(xiàn)一個(gè)簡(jiǎn)單的五子棋游戲
葉湘?zhèn)悾翰煌?Python 數(shù)據(jù)類型的搜尋
葉湘?zhèn)悾荷妒桥迤妫縋ython 285 行代碼而已！
葉湘?zhèn)悾簆ython 打飛機(jī)項(xiàng)目 ( 基類封裝 )
葉湘?zhèn)悾褐黝}: 002.04 Tkinter 星空大戰(zhàn)
葉湘?zhèn)悾簆ython 坦克大戰(zhàn)源碼
桐急19169053615： 怎么讓 Raspberry Pi 里的程序開機(jī)自動(dòng)運(yùn)行 -
新津縣合成： ______ 試試這個(gè) sudo -u kl /usr/bin/python3 /home/pi/a.py &1、有可能和權(quán)限有關(guān),用這個(gè)也可以 sudo /usr/bin/python3 /home/pi/a.py &2、使用 & 讓其運(yùn)行于后臺(tái)./etc/init.d/ 下面找一個(gè)差不多的程序的啟動(dòng)腳本, 比如nginx cp一下變成自己的, 然后自己大改一下你自己的啟動(dòng)腳本內(nèi)容 最后運(yùn)行update-rc.d, 如果你用的是debian的話, 基本上就是這些了, 你有機(jī)會(huì)學(xué)習(xí)system v的啟動(dòng)風(fēng)格. 如果用arch, 去學(xué)習(xí)一下systemd的做法
桐急19169053615： Python3.x和Python2.x的區(qū)別 -
新津縣合成： ______ 以下是Python3.x和Python2.x的主要區(qū)別1.性能 Py3.0運(yùn)行 pystone benchmark的速度比Py2.5慢30%.Guido認(rèn)為Py3.0有極大的優(yōu)化空間,在字符串和整形操作上可以取得很好的優(yōu)化結(jié)果.Py3.1性能比Py2.5慢15%,還有很大的提升空間.2.編...
桐急19169053615： python cvxpy怎么用 -
新津縣合成： ______ win+r cmd 命令指示符下輸入: 用python3.x就是 pip3 install 你要安裝的庫名 用python2.x pip3 install 你要安裝的庫名!
桐急19169053615： 怎么把通過Homebrew安裝的Python3設(shè)置成默認(rèn)的 -
新津縣合成： ______ 1. 先獲取python2.7和3.x的安裝位置: ls -l /usr/bin/python 結(jié)果應(yīng)該是類似于...../Versions/2.7和 ...../Versions/3.x 2. 把/usr/bin中的python開頭的文件都刪除了 cd /usr/bin sudo rm python* 3. 建立新的快捷方式 sudo ln -s ..../Version...
桐急19169053615： python 3.x 在線程里使用input多出一個(gè)input -
新津縣合成： ______ 因?yàn)槟銢]有考慮主進(jìn)程.主進(jìn)程不如果不等待線程,自己先退出來了.操作系統(tǒng)會(huì)自動(dòng)清空你的線.所以這里要有一個(gè)input,其實(shí)你不用input而是用 while True:time.sleep(1.0) 這樣也是可以的. 就是讓主進(jìn)程等待.你還可以設(shè)計(jì)主進(jìn)程退出條件.比如當(dāng)線程完成后,主進(jìn)程自動(dòng)退出等.
桐急19169053615： python3 怎么自動(dòng) 模擬登錄 -
新津縣合成： ______ 之前剛回答過這個(gè)問題,代碼給你粘過來吧,一個(gè)最簡(jiǎn)單的小例子:import requests url = 'https://***' postdata = { 'username' : '***', 'password' : '***',} s = requests.session() response = s.post(urls, data = postdata) PS:星號(hào)換成你你實(shí)際的url和用戶名密碼
桐急19169053615： python3,<class,XX> -
新津縣合成： ______ list是python的一種類型關(guān)鍵字,不建議作為變量名!!!你如果定義了global list,那list就是一個(gè)全局變量,可以在函數(shù)外訪問你如果去掉了global list,那list默認(rèn)就是一個(gè)Python內(nèi)置的類型關(guān)鍵字 print (list)代表的是這個(gè)未實(shí)例化的類對(duì)象 print (int)你還可以繼續(xù)試試這個(gè)int類型
桐急19169053615： 請(qǐng)問Python是如何執(zhí)行x+=x - x這條語句的(我們假設(shè)x的值是3),請(qǐng)寫出詳細(xì)步驟!謝謝 -
新津縣合成： ______ 當(dāng)x為3時(shí),x+=x-x. 運(yùn)算符＂-＂優(yōu)先級(jí)比＂+=＂高,先執(zhí)行x-x,得0, 得到x+=0 即x=x+0 , 最后得3
桐急19169053615： python 為什么算除法自動(dòng)取整了.如圖,計(jì)算10/a 自動(dòng)保留到整數(shù)了. -
新津縣合成： ______ 在2.x版本都是這樣,會(huì)自動(dòng)取整. 在3.x版本以上改了,結(jié)果保留浮點(diǎn)數(shù).系統(tǒng)本身設(shè)計(jì)就這樣的.可以認(rèn)為是開發(fā)python語言的開發(fā)者們?nèi)涡?所以就這樣了 附:pyhton中除法的余數(shù) v2.2 以前,除(“/”)運(yùn)算符的返回有兩種可能情況,分...
桐急19169053615： python3.x 截取指定字符串應(yīng)該怎么寫 -
新津縣合成： ______ def read2memory(file_path): with open(file_path,'r',encoding='utf8') as f: return f.read().split('\n') a=read2memory(＂test.txt＂) print(a[0].split('Helvetica')[1].split('')[0])
運(yùn)維同事常來提醒，讓我別再爬數(shù)據(jù)了，擔(dān)心會(huì)被抓。博客上爬取的資源來自某天堂，具體哪個(gè)天堂的代碼中會(huì)說明。作為技術(shù)探討和個(gè)人練習(xí)，非商業(yè)用途，應(yīng)該沒問題，但寫到這里還是有些緊張。
不管了，既然選擇了這條路，那就走下去。先看看最終效果。
這個(gè)下載工具具備簡(jiǎn)單界面，輸入根地址和電影評(píng)分，即可自動(dòng)下載電影。制作此工具需要掌握以下知識(shí)點(diǎn)：
技術(shù)細(xì)節(jié)不復(fù)雜，主要是requests和BeautifulSoup的使用，正則表達(dá)式，Python數(shù)據(jù)類型，線程，以及dbm和pickle等數(shù)據(jù)持久化庫。Python面向?qū)ο螅幊趟枷胪ㄓ茫皇且怀幌δ苷f清的。有需要的地方，自己查閱資料學(xué)習(xí)吧。
python討論群：887934385 分享視頻教程
主程序spider_main.py，使用tkinter實(shí)現(xiàn)界面，可以輸入根地址和最低評(píng)分。根地址是某天堂網(wǎng)站的電影入口，如2019精品專區(qū)。評(píng)分用于過濾電影，可指定下載評(píng)分大于等于8分的電影。
url_manager.py注釋詳細(xì)，每個(gè)py文件的關(guān)鍵部分都有注釋。
html_download.py使用requests下載網(wǎng)頁內(nèi)容。
html_parser.py使用bs4解析html頁面，提取所需信息，是爬蟲的關(guān)鍵。
persist_util.py提供數(shù)據(jù)持久化工具。
代碼部分已完成。迅雷X需要開啟一鍵下載功能，否則每次新增下載任務(wù)都會(huì)彈出確認(rèn)框。調(diào)用迅雷下載資源的代碼為：os.system(r'"D:\迅雷\Thunder\Program\Thunder.exe" {url}'.format(url=xunlei_link))，確保使用Thunder.exe文件路徑，不能用快捷方式。
至此，電影爬取成功。程序可優(yōu)化之處不少，如線程和數(shù)據(jù)持久化。初學(xué)者可通過此項(xiàng)目練習(xí)，分析網(wǎng)站規(guī)則，修改解析html的代碼，爬取其他網(wǎng)站。
更多精彩文章：
葉湘?zhèn)悾号老x福利 之 妹子圖網(wǎng)MM批量下載
葉湘?zhèn)悾河胮ython來測(cè)試下 2019 你一共寫了多少行代碼？
葉湘?zhèn)悾篜ython 憤怒的小鳥代碼實(shí)現(xiàn):物理引擎pymunk使用
葉湘?zhèn)悾篜ython 超級(jí)瑪麗代碼實(shí)現(xiàn):人物行走和碰撞檢測(cè)
葉湘?zhèn)悾喝绾斡肞ython畫一只肥肥的柯基狗狗——turtle庫繪制橢圓與弧線實(shí)踐
葉湘?zhèn)悾喝绾斡肞ython畫一只兔子——turtle庫circle()畫圓函數(shù)的詳細(xì)用法介紹
葉湘?zhèn)悾航棠阋绘I快速生成后臺(tái)代碼，這樣和測(cè)試小姐姐聊天的時(shí)間又多了
葉湘?zhèn)悾?0行Python代碼爬取王者榮耀全英雄皮膚
葉湘?zhèn)悾篜ython綜合應(yīng)用：教你用字符打印一張懷舊風(fēng)格的照片
葉湘?zhèn)悾河胮ygame實(shí)現(xiàn)一個(gè)簡(jiǎn)單的五子棋游戲
葉湘?zhèn)悾翰煌?Python 數(shù)據(jù)類型的搜尋
葉湘?zhèn)悾荷妒桥迤妫縋ython 285 行代碼而已！
葉湘?zhèn)悾簆ython 打飛機(jī)項(xiàng)目 ( 基類封裝 )
葉湘?zhèn)悾褐黝}: 002.04 Tkinter 星空大戰(zhàn)
葉湘?zhèn)悾簆ython 坦克大戰(zhàn)源碼
相關(guān)評(píng)說：
新津縣合成： ______ 試試這個(gè) sudo -u kl /usr/bin/python3 /home/pi/a.py &1、有可能和權(quán)限有關(guān),用這個(gè)也可以 sudo /usr/bin/python3 /home/pi/a.py &2、使用 & 讓其運(yùn)行于后臺(tái)./etc/init.d/ 下面找一個(gè)差不多的程序的啟動(dòng)腳本, 比如nginx cp一下變成自己的, 然后自己大改一下你自己的啟動(dòng)腳本內(nèi)容 最后運(yùn)行update-rc.d, 如果你用的是debian的話, 基本上就是這些了, 你有機(jī)會(huì)學(xué)習(xí)system v的啟動(dòng)風(fēng)格. 如果用arch, 去學(xué)習(xí)一下systemd的做法
新津縣合成： ______ 以下是Python3.x和Python2.x的主要區(qū)別1.性能 Py3.0運(yùn)行 pystone benchmark的速度比Py2.5慢30%.Guido認(rèn)為Py3.0有極大的優(yōu)化空間,在字符串和整形操作上可以取得很好的優(yōu)化結(jié)果.Py3.1性能比Py2.5慢15%,還有很大的提升空間.2.編...
新津縣合成： ______ win+r cmd 命令指示符下輸入: 用python3.x就是 pip3 install 你要安裝的庫名 用python2.x pip3 install 你要安裝的庫名!
新津縣合成： ______ 1. 先獲取python2.7和3.x的安裝位置: ls -l /usr/bin/python 結(jié)果應(yīng)該是類似于...../Versions/2.7和 ...../Versions/3.x 2. 把/usr/bin中的python開頭的文件都刪除了 cd /usr/bin sudo rm python* 3. 建立新的快捷方式 sudo ln -s ..../Version...
新津縣合成： ______ 因?yàn)槟銢]有考慮主進(jìn)程.主進(jìn)程不如果不等待線程,自己先退出來了.操作系統(tǒng)會(huì)自動(dòng)清空你的線.所以這里要有一個(gè)input,其實(shí)你不用input而是用 while True:time.sleep(1.0) 這樣也是可以的. 就是讓主進(jìn)程等待.你還可以設(shè)計(jì)主進(jìn)程退出條件.比如當(dāng)線程完成后,主進(jìn)程自動(dòng)退出等.
新津縣合成： ______ 之前剛回答過這個(gè)問題,代碼給你粘過來吧,一個(gè)最簡(jiǎn)單的小例子:import requests url = 'https://***' postdata = { 'username' : '***', 'password' : '***',} s = requests.session() response = s.post(urls, data = postdata) PS:星號(hào)換成你你實(shí)際的url和用戶名密碼
新津縣合成： ______ list是python的一種類型關(guān)鍵字,不建議作為變量名!!!你如果定義了global list,那list就是一個(gè)全局變量,可以在函數(shù)外訪問你如果去掉了global list,那list默認(rèn)就是一個(gè)Python內(nèi)置的類型關(guān)鍵字 print (list)代表的是這個(gè)未實(shí)例化的類對(duì)象 print (int)你還可以繼續(xù)試試這個(gè)int類型
新津縣合成： ______ 當(dāng)x為3時(shí),x+=x-x. 運(yùn)算符＂-＂優(yōu)先級(jí)比＂+=＂高,先執(zhí)行x-x,得0, 得到x+=0 即x=x+0 , 最后得3
新津縣合成： ______ 在2.x版本都是這樣,會(huì)自動(dòng)取整. 在3.x版本以上改了,結(jié)果保留浮點(diǎn)數(shù).系統(tǒng)本身設(shè)計(jì)就這樣的.可以認(rèn)為是開發(fā)python語言的開發(fā)者們?nèi)涡?所以就這樣了 附:pyhton中除法的余數(shù) v2.2 以前,除(“/”)運(yùn)算符的返回有兩種可能情況,分...
新津縣合成： ______ def read2memory(file_path): with open(file_path,'r',encoding='utf8') as f: return f.read().split('\n') a=read2memory(＂test.txt＂) print(a[0].split('Helvetica')[1].split('')[0])
