Para robot mesin pencari ini kemudian akan meng-indeks semua halaman web berdasarkan instruksi yang ada pada file robots.txt.
Untuk mengizinkan semua program robot untuk mengindeks situs, tulis perintah seperti berikut:
User-agent: *
Disallow: