クローラー（crawler）とは、検索サイトgoogle、yahoo、bingなどの検索ロボットのことである。

検索サイトに入力したワードにより、検索結果が得られるように検索サイトは検索ロボットを使用してWebサイトの巡回を行っている。

この検索ロボットまたは、検索アルゴリズムのことをクローラー(crawler)という。

検索ロボットによる収集対象は、Webサーバー上の公開デレクトリにある全てのファイルである。