Ég þykist vita að þetta sé einfalt en svoleiðis er má með vexti að ég er með síðu sem ég er búinn að reyna að bæta í gagnagrunna hjá leit.is og ha.is en allt kemur fyrir ekki.

Robots.txt er upp sett svona
User-agent: *
Disallow: /
Disallow: dir 1
Disallow: dir 2
Disallow: dir 3 og svo framvegis.

Getur verið að Disallow: / loki á allt ?
Á ég ekki að nota / þegar ég er með directory listun ?


Það er spurning hvort einhver lumar á svona skrám sem hann gæti sett á góðan stað fyrir okkur hina sem minna vitum ?


X