クローリング Googleなどのロボット型検索エンジンで、クローラーというロボット（プログラム）がインターネット上のリンクを巡ってWebサイトを巡回し、Webページ上の情報を複製・登録する仕組みです。詳細はこちらをご参照ください。
