[實作] Python 實作 網路爬蟲 ( web crawler )

基本流程

1. 連線到特定網址，抓取資料
2. 解析資料，取得實際想要的部分

抓取資料

• 盡可能地，讓程式模仿一個普通使用者的樣子，因為許多網站不希望人家用程式去抓取他們的資料
• 必須包含 Headers

import urllib.request as req
#建立一個 Request 物件，附加 Request Headers 的資訊
url = "網址"
request = req.Request(url, headers = {
    "User-Agent":"需要的資訊" #到網頁 → F12 → Network → 通常是最上面的那個 → Headers → Request Headers → user-agent
})

with req.urlopen(request) as response:
    data = response.read().decode("utf-8")

解析資料

• JSON 格式

  • 使用內建的 JSON 模組來解析

• HTML 格式

  • 使用第三方套件 BeautifulSoup 來解析

  • 安裝 BeautifulSoup

    • 使用 pip 套件管理工具 ( 安裝python 時，就一起裝了 )

      $ pip install beautifulsoup4

import bs4
root = bs4.BeautifulSoup(data, "html.parser") #解析html
print(root.title.string) #抓 title 標籤底下的 string

titles = root.find("div", class_ = "title") #尋找 class = "title" 的 div 標籤
print(titles.a.string)

titles = root.find_all("div", class_ = "title") #尋找所有 class = "title" 的 div 標籤
for title in titles:
    if title.a != None:
        print(title.a.string)

tags: 實作 Python 網路爬蟲 BeautifulSoup