スクレイピング

python

スクレイピングで指定したURLのHTMLをhtmlファイルに出力する

prettify()を使用して整形したテキストをhtmlファイルに出力します。スクレイピングしたいサイトの構造を確認するために最初に行うべき処理です。dodaの求人情報について解析した際のコードです。from urllib.request ...
python

urlparseを扱う上で気を付けるべきこと

Pythonのurlparseメソッドを使ったURL解析の基本について解説します。netlocの認識方法や相対URLの扱い方、スクレイピングの実例も紹介します。