java 版爬取網(wǎng)頁數(shù)據(jù)，真實案例分享
在本篇文章中，我們將分享如何利用Java技術通過jsoup庫爬取網(wǎng)頁數(shù)據(jù)的真實案例，以獲取省市區(qū)名稱為例。整個過程分為三個關鍵步驟：網(wǎng)頁分析、編寫爬蟲程序以及將數(shù)據(jù)寫入數(shù)據(jù)庫。
首先，網(wǎng)頁分析是關鍵步驟。通過在百度上搜索國家省市區(qū)信息并進入全國行政區(qū)劃信息查詢平臺，我們找到了包含省市區(qū)代碼的網(wǎng)頁信息。在網(wǎng)頁中，國家省市區(qū)名稱通常會通過CSS樣式進行區(qū)分，市級以上信息采用粗體顯示，而區(qū)或縣級信息則使用常規(guī)樣式。通過觀察網(wǎng)頁源代碼，我們可以發(fā)現(xiàn)市級信息的CSS類名為xl7030796，區(qū)或縣級信息的CSS類名為xl7130796。此外，市級信息與省級信息相比，多了一個span標簽作為占位符。
接下來，編寫爬蟲程序。我們創(chuàng)建了一個基于Maven工程的Java項目，并引入了jsoup庫。通過運行程序，我們能夠解析網(wǎng)頁數(shù)據(jù)并將其結構化為JSON格式。數(shù)據(jù)包括省市區(qū)名稱及其對應的CSS類名，用于后續(xù)的解析和處理。
最后，我們將獲取的數(shù)據(jù)寫入數(shù)據(jù)庫。在實際業(yè)務場景中，將這些數(shù)據(jù)存儲在數(shù)據(jù)庫中便于后續(xù)使用。例如，當開發(fā)薪資發(fā)放系統(tǒng)時，不同城市可能有不同的社保和公積金政策，這時就需要用到國家省市區(qū)編碼。我們將抓取的數(shù)據(jù)以數(shù)組對象的形式寫入數(shù)據(jù)庫，確保數(shù)據(jù)的完整性和可用性。
值得注意的是，在處理數(shù)據(jù)時，我們發(fā)現(xiàn)國家在省級區(qū)域上存在直轄市的概念。以北京市為例，數(shù)據(jù)庫中的type類型為1表示省級類型，但其實它應該包含一個市級類型，這是因為北京市直接包含區(qū)級，沒有市級作為中間層。因此，我們需要對直轄市類型的數(shù)據(jù)進行單獨處理，加入市級類型，以確保數(shù)據(jù)的完整性。
通過這個案例，我們總結了幾個關鍵點：在網(wǎng)頁分析階段，尋找并理解網(wǎng)頁結構和數(shù)據(jù)呈現(xiàn)模式；利用Java和jsoup工具包有效地解析網(wǎng)頁數(shù)據(jù)；將數(shù)據(jù)以結構化的方式存儲在數(shù)據(jù)庫中，以支持實際業(yè)務需求。同時，我們強調(diào)了技術的雙面性，提醒大家在合理使用技術的同時，遵守法律法規(guī)。
參考資源包括2020年行政區(qū)劃代碼和jsoup中文文檔。
除柏18758423919： java怎樣抓取網(wǎng)站上的文章 -
黃島區(qū)許用： ______ 用httpclient.jar、httpcore.jar工具爬取網(wǎng)站,用jsoup.jar解析dom獲取文章內(nèi)容
除柏18758423919： java實現(xiàn)頁面信息抓取 -
黃島區(qū)許用： ______ 首先獲取到該頁面的內(nèi)容這樣可以吧,然后多分析幾個新聞的標題和日期的格式,找出共同之處,然后寫正則表達式過濾內(nèi)容,我做過一個項目就是抓取一個網(wǎng)站的所有的內(nèi)容,生成靜態(tài)文件. 如果按你說的多種新聞的格式不同的話,那要定義多個模板,然后循環(huán)匹配,直到匹配為止
除柏18758423919： 如何用JAVA爬取AJAX加載后的頁面 -
黃島區(qū)許用： ______ 1.一般簡單的網(wǎng)頁通過get參數(shù)進行分頁 這種情況就通過構造url來進行分頁; 2.有些網(wǎng)站是通過post參數(shù)來進行分頁,那就用代碼post的相應的參數(shù)給網(wǎng)站; 3.比較復雜的ajax的分頁需要通過抓包來實現(xiàn).
除柏18758423919： 如何用java執(zhí)行爬到網(wǎng)頁中的js -
黃島區(qū)許用： ______ 如果只是單純的抓取網(wǎng)站數(shù)據(jù)(包括登錄以后),似乎都不需要解析,執(zhí)行js.如果是ajax直接加一段httpGet,httpPost的頭new BasicHeader(＂X-Requested-With＂, ＂XMLHttpRequest＂),如果 如你問題所示必須執(zhí)行js,試試htmlunit,它是jsoup + httpclient以及帶有js解析器的結合體,本來是web測試用的框架
除柏18758423919： java開發(fā)一個接口程序,定時抓取網(wǎng)頁信息 -
黃島區(qū)許用： ______ 如果不依賴第三方庫的話方式如下: 1. 使用timertask相關類做定時 2. 使用url或httpclient相關類做頁面抓取 3. 對于您的需求,建議加入分析引擎做頁面分析,截取一些數(shù)據(jù). 用第三方庫的話應該比較簡單點,但邏輯差不多.
除柏18758423919： 用java寫爬蟲程序,有個網(wǎng)站獲取不到鏈接,求指導 -
黃島區(qū)許用： ______ //讀取網(wǎng)頁上的內(nèi)容方法---------------------2010.01.25 public String getOneHtml(String htmlurl) throws IOException { URL url; String temp; final StringBuffer sb = new StringBuffer(); try { url = new URL(htmlurl); // 讀取網(wǎng)頁全部內(nèi)容 final BufferedReader ...
除柏18758423919： java 怎樣實現(xiàn)動態(tài)數(shù)據(jù)抓取 給個例子最好 感激不盡!
黃島區(qū)許用： ______ 首先明確我指的動態(tài)數(shù)據(jù)是甚么. 名詞定義:動態(tài)數(shù)據(jù)在這里指的是網(wǎng)頁中由Javascript動態(tài)生成的頁面內(nèi)容,即網(wǎng)頁源文件中沒有,在頁面加載到閱讀器后動態(tài)生成的. 下面進入正題.抓取靜態(tài)頁面很簡單,通過Java獲得到html源碼,然后分...
除柏18758423919： 如何從網(wǎng)頁中提取需要的數(shù)據(jù),用JAVA實現(xiàn)
黃島區(qū)許用： ______ 在后臺實現(xiàn)嗎?提交表單,然后用request.getParameter(name)獲取,這里name為網(wǎng)頁里的那個組件的name
除柏18758423919： 用Java實現(xiàn)網(wǎng)頁中多頁表格數(shù)據(jù)的提取 -
黃島區(qū)許用： ______ 獲取網(wǎng)頁可以使用httpurlconnection,html表單分析可以用jsoup.至于你說的下一頁的鏈接問題,dopostback方法的作用是theForm.submit(); var theForm = document.forms['form1']; 然后ctrl+f輸入form1可以查到 可能需要儲存session 具體怎么做就需要你自己去摸索了
除柏18758423919： java如何用httpclient從webservice獲取數(shù)據(jù) -
黃島區(qū)許用： ______ 下面是一個獲取天氣的例子:import java.io.*; import java.net.*; public class test{ public static void main(String[] args) throws Exception { URL url = new URL(＂http://www.webservicex.net/globalweather.asmx/GetWeather?CityName=guangzhou&...
首先，網(wǎng)頁分析是關鍵步驟。通過在百度上搜索國家省市區(qū)信息并進入全國行政區(qū)劃信息查詢平臺，我們找到了包含省市區(qū)代碼的網(wǎng)頁信息。在網(wǎng)頁中，國家省市區(qū)名稱通常會通過CSS樣式進行區(qū)分，市級以上信息采用粗體顯示，而區(qū)或縣級信息則使用常規(guī)樣式。通過觀察網(wǎng)頁源代碼，我們可以發(fā)現(xiàn)市級信息的CSS類名為xl7030796，區(qū)或縣級信息的CSS類名為xl7130796。此外，市級信息與省級信息相比，多了一個span標簽作為占位符。
接下來，編寫爬蟲程序。我們創(chuàng)建了一個基于Maven工程的Java項目，并引入了jsoup庫。通過運行程序，我們能夠解析網(wǎng)頁數(shù)據(jù)并將其結構化為JSON格式。數(shù)據(jù)包括省市區(qū)名稱及其對應的CSS類名，用于后續(xù)的解析和處理。
最后，我們將獲取的數(shù)據(jù)寫入數(shù)據(jù)庫。在實際業(yè)務場景中，將這些數(shù)據(jù)存儲在數(shù)據(jù)庫中便于后續(xù)使用。例如，當開發(fā)薪資發(fā)放系統(tǒng)時，不同城市可能有不同的社保和公積金政策，這時就需要用到國家省市區(qū)編碼。我們將抓取的數(shù)據(jù)以數(shù)組對象的形式寫入數(shù)據(jù)庫，確保數(shù)據(jù)的完整性和可用性。
值得注意的是，在處理數(shù)據(jù)時，我們發(fā)現(xiàn)國家在省級區(qū)域上存在直轄市的概念。以北京市為例，數(shù)據(jù)庫中的type類型為1表示省級類型，但其實它應該包含一個市級類型，這是因為北京市直接包含區(qū)級，沒有市級作為中間層。因此，我們需要對直轄市類型的數(shù)據(jù)進行單獨處理，加入市級類型，以確保數(shù)據(jù)的完整性。
通過這個案例，我們總結了幾個關鍵點：在網(wǎng)頁分析階段，尋找并理解網(wǎng)頁結構和數(shù)據(jù)呈現(xiàn)模式；利用Java和jsoup工具包有效地解析網(wǎng)頁數(shù)據(jù)；將數(shù)據(jù)以結構化的方式存儲在數(shù)據(jù)庫中，以支持實際業(yè)務需求。同時，我們強調(diào)了技術的雙面性，提醒大家在合理使用技術的同時，遵守法律法規(guī)。
參考資源包括2020年行政區(qū)劃代碼和jsoup中文文檔。
相關評說：
黃島區(qū)許用： ______ 用httpclient.jar、httpcore.jar工具爬取網(wǎng)站,用jsoup.jar解析dom獲取文章內(nèi)容
黃島區(qū)許用： ______ 首先獲取到該頁面的內(nèi)容這樣可以吧,然后多分析幾個新聞的標題和日期的格式,找出共同之處,然后寫正則表達式過濾內(nèi)容,我做過一個項目就是抓取一個網(wǎng)站的所有的內(nèi)容,生成靜態(tài)文件. 如果按你說的多種新聞的格式不同的話,那要定義多個模板,然后循環(huán)匹配,直到匹配為止
黃島區(qū)許用： ______ 1.一般簡單的網(wǎng)頁通過get參數(shù)進行分頁 這種情況就通過構造url來進行分頁; 2.有些網(wǎng)站是通過post參數(shù)來進行分頁,那就用代碼post的相應的參數(shù)給網(wǎng)站; 3.比較復雜的ajax的分頁需要通過抓包來實現(xiàn).
黃島區(qū)許用： ______ 如果只是單純的抓取網(wǎng)站數(shù)據(jù)(包括登錄以后),似乎都不需要解析,執(zhí)行js.如果是ajax直接加一段httpGet,httpPost的頭new BasicHeader(＂X-Requested-With＂, ＂XMLHttpRequest＂),如果 如你問題所示必須執(zhí)行js,試試htmlunit,它是jsoup + httpclient以及帶有js解析器的結合體,本來是web測試用的框架
黃島區(qū)許用： ______ 如果不依賴第三方庫的話方式如下: 1. 使用timertask相關類做定時 2. 使用url或httpclient相關類做頁面抓取 3. 對于您的需求,建議加入分析引擎做頁面分析,截取一些數(shù)據(jù). 用第三方庫的話應該比較簡單點,但邏輯差不多.
黃島區(qū)許用： ______ //讀取網(wǎng)頁上的內(nèi)容方法---------------------2010.01.25 public String getOneHtml(String htmlurl) throws IOException { URL url; String temp; final StringBuffer sb = new StringBuffer(); try { url = new URL(htmlurl); // 讀取網(wǎng)頁全部內(nèi)容 final BufferedReader ...
黃島區(qū)許用： ______ 首先明確我指的動態(tài)數(shù)據(jù)是甚么. 名詞定義:動態(tài)數(shù)據(jù)在這里指的是網(wǎng)頁中由Javascript動態(tài)生成的頁面內(nèi)容,即網(wǎng)頁源文件中沒有,在頁面加載到閱讀器后動態(tài)生成的. 下面進入正題.抓取靜態(tài)頁面很簡單,通過Java獲得到html源碼,然后分...
黃島區(qū)許用： ______ 在后臺實現(xiàn)嗎?提交表單,然后用request.getParameter(name)獲取,這里name為網(wǎng)頁里的那個組件的name
黃島區(qū)許用： ______ 獲取網(wǎng)頁可以使用httpurlconnection,html表單分析可以用jsoup.至于你說的下一頁的鏈接問題,dopostback方法的作用是theForm.submit(); var theForm = document.forms['form1']; 然后ctrl+f輸入form1可以查到 可能需要儲存session 具體怎么做就需要你自己去摸索了
黃島區(qū)許用： ______ 下面是一個獲取天氣的例子:import java.io.*; import java.net.*; public class test{ public static void main(String[] args) throws Exception { URL url = new URL(＂http://www.webservicex.net/globalweather.asmx/GetWeather?CityName=guangzhou&...
