クローリングとは何ですか

クローリングとは

Googleなどのロボット型検索エンジンで、クローラーというロボット（プログラム）がインターネット上のリンクを巡ってWebサイトを巡回し、Webページ上の情報を複製・登録する仕組みです。
これにより、検索エンジンでは、Webサイトの情報をランク付けしたり、検索キーワードに従って関連するページをランク順に表示することができます。