Индексация ранее рассматривалась как определяющий фактор успешной поисковой оптимизации и была создана для оптимизации шансов выдачи релевантных результатов в ответ на поисковый запрос. Она могла принимать множество форм, например, используя ссылки с других сайтов и внутреннюю перелинковку внутри сайта с целью обеспечить выгодное отображение в поисковых системах. Помимо этого, SEO использует карты сайта XML, которые позволяют вебмастерам записывать информацию об URL-ах, включая когда URL был обновлен в последний раз и зачастую что это за изменения, значимость отдельных URL-ов на сайте в целом.

Google, MSN и Yahoo используют одинаковый протокол, что означает, что наличие карты сайта позволяет значимым поисковым системам получить доступ к информации об обновлении вебстраниц.

Эти поисковые системы также используют программы-обходчики, которые «читают» текст, гиперссылки и содержание мета тегов, богатых ключевыми словами. После получения этой информации, поисковая система готова проиндексировать информацию и включить её в свой процесс ранжирования страниц и базы данных релевантности.