[Python 100日チャレンジ] Day 54 - Webスクレイピングの応用

スクレイピングで気をつけること

Webスクレイピングでは、技術だけでなく相手サイトへの配慮も重要です。利用規約やrobots.txtを確認し、短時間に大量アクセスしないようにします。

User-Agent

以下は、requestsをインポートし、取得を許可されたページのURLをurlに設定したうえで使う断片です。待ち時間の例では、同じように用意したURLのリストurlsが必要です。最初は少数のページで、各取得の後に1秒待って次へ進む流れを確認しましょう。

headers = {
    "User-Agent": "Mozilla/5.0"
}
response = requests.get(url, headers=headers)

待ち時間を入れる

import time

for url in urls:
    response = requests.get(url)
    time.sleep(1)

今日のゴール

スクレイピングは、取得できればよいというものではありません。アクセス頻度、例外処理、サイトのルールを守る姿勢を身につけましょう。