高鐵火車採集器如何採集JS分頁/點擊加載ajax列表內容

常規的文章採集簡單，但是高鐵(火車)採集器採集JS分頁、瀑布流比較困難，點擊加載的JavaScript，下拉加載類似ajax的列表頁面，讓很多新手無法下手。

陳溈亮博客會在此分享高鐵火車採集器如何採集JS分頁、點擊加載ajax的列表。

火車採集器採集內容頁網址寫在JS中

首先目標頁面需要抓包，簡單的從網站抓取json數據，比較難的網站需要post方法，還需要填cookies、隨機值、例如蘑菇街等等…

• 更簡單不用抓包分析JS分頁的，比如騰訊視頻搜索結果第2頁網址裡的cur=2 
• 後面的數字2，就是設置“起始網址添加嚮導” →“批量網址”→“地址格式”的[地址參數]

這裡就來一個簡單的火車頭採集器如何獲取JS調用的內容，以果殼網為例。  

高鐵火車頭採集器如何獲取JS調用的內容？

首先需要使用的是Chrome瀏覽器 ▼

如何下載安裝Google Chrome？谷歌瀏覽器64位穩定官方離線版本

如何下載安裝Google Chrome？谷歌瀏覽器64位穩定官方離線版本 1）這是64位Google Chrome完整安裝的離線包下載頁面： http://www.google.com/intl/zh-CN/chrome/business/browser/?……

1、首先在目標頁面按F12或Ctrl+Shift+C打開檢查元素，然後點擊Network選項卡 ▼

2、點擊XHR按鈕，在頁面上觸發ajax加載，瀏覽器會監聽頁面數據的執行和變化▼

紅框是抓取數據的地址 ▲

3、點擊數據地址，右側出現詳細信息。注意請求地址url的規律。比如下圖中，有時間戳和頁碼 ▼

4、在火車採集器中添加如下捕獲的地址，並設置地址規則，然後是常規火車採集器設置▼