[Python 100日チャレンジ] Day 60 - ミニプロジェクト: ニューススクレイパー
requests、BeautifulSoup、ファイル保存、例外処理を組み合わせて、ニュース見出しを集める小さなスクレイパーを作ります。
[Python 100日チャレンジ] Day 60 - ミニプロジェクト: ニューススクレイパー
今日作るもの
Phase 06のまとめとして、ニュース見出しを取得して保存する小さなスクレイパーを作ります。
使う内容:
- requests
- BeautifulSoup
- 例外処理
- CSVまたはJSON保存
基本の流れ
ここで示すのは実装手順であり、完成したスクレイパーのコードではありません。まず対象ページのHTMLで見出しの要素を調べ、1件だけ抽出できることを確認してから、複数件の収集とCSVまたはJSON保存を組み合わせます。対象ページのURLや見出しのセレクター、保存処理は自分で用意する部分です。
1
2
3
4
URLへアクセス
HTMLを解析
見出しを取り出す
ファイルへ保存
今日のゴール
Webからデータを取得し、必要な情報だけを取り出して保存する流れを一通り体験しましょう。相手サイトへの配慮も忘れないようにします。
この投稿は投稿者によって CC BY 4.0 の下でライセンスされています。
