スクレイパーscraper
スクレイパーは、Webページから必要な情報を自動で探し出して集めるプログラムである。
記事4本
最終言及 スクレイパーは、Webページを読み込み、その中の文章や価格、連絡先などの情報を決められたルールに従って取り出すプログラムである。こうした情報収集はWebスクレイピングと呼ばれる。
検索エンジンのようにリンクをたどって広くページを巡回するクローラーとは異なり、スクレイパーは特定のページから目的のデータを抜き出すことに重点を置く。データ分析やAIの学習データ収集にも使われる。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
この項目を扱った記事
PDFの説明書を丸ごと保存したことで100GBのディスクのうち29GBが埋まり、バルブのデータと説明書のURLだけを残す方式にスクレイパーを変更しました。
ApifyのGoogle Mapsスクレイパーが、バンクーバー周辺の事業者1,000社を10業種、各業種100社ずつ収集しました。
スクレイパーは3つのローカルページを読み込みました。