STAGE-D SEARCHは登録サイトをHTMLで書き出すと共にGoogleサイトマップを利用して全ての登録ページをクロールさせています。
サイトマップは一週間に一度更新されています。
Googleサイトマップの概要は以下の通りです。
Google サイトマップでは、最も重要なページやページの更新日など、サイト内のすべてのページに関する情報を Google に送信して、クロールの効率を高め、検索結果に最新のコンテンツを簡単に反映できます。
Google サイトマップでは、Google でサイトがどのように処理されているかについても把握できます。 たとえば、エラー情報 (ページのクロールに問題があるかどうか) や統計情報 (検索結果からサイトにアクセスしたユーザーが使用した検索クエリ) などを確認できます。
Google でページを検出する方法とクロールを制御する方法
Google などの検索エンジンでは、ウェブをクロールする "スパイダー" というソフトウェアを使用して、サイトに関する情報を収集しています。 スパイダーがサイトを見つけると、サイト内のリンクをたどって、すべてのページに関する情報が収集されます。 スパイダーは定期的にサイトにアクセスして、コンテンツの追加や変更がないかどうかチェックします。
Google サイトマップは、実験的なウェブ クローリング システムです。 サイトマップを使用して Google のクローラにサイトの情報や場所を提供することで、クロールの精度と効率を高め、Google のインデックスにより多くのページを登録することができます。
サイトマップ ファイルを送信して、最も重要なページやページの更新頻度など、サイト内のすべてのページに関する情報を Google に送信します。 サイトマップ ファイルでは追加の情報を送信できますが、通常のウェブ クロールが行われなくなるわけではありません。
