クローリング

Googleなどのロボット型検索エンジンで、クローラーというロボット（プログラム）がインターネット上のリンクを巡ってWebサイトを巡回し、Webページ上の情報を複製・登録する仕組みです。
詳細はこちらをご参照ください。