+- Forum hosting 4un.eu (http://www.4un.eu/forum)
+-- Dział: Inne (/Forum-Inne)
+--- Dział: Pozycjonowanie i promowanie strony (/Forum-Pozycjonowanie-i-promowanie-strony)
+--- Wątek: plik robots.txt (/Thread-plik-robots-txt)
plik robots.txt - deros - 04-09-2012 11:38 PM
Plik robots.txt pozwala poinformować wyszukiwarki, które pliki mają zostać zaindeksowane, a które życzylibyśmy sobie, żeby nie były indeksowane przez nie. Oczywiście nie zawsze wyszukiwarki się dostosują, ale warto je stosować.
Dla Każdej wyszukiwarki można stworzyć osobną regułę.
User-Agent: * ta reguła określa, że pliki dotyczą wszystkich wyszukiwarek. Jeśli zamiast gwiazdki wpiszemy nazwę robota sieciowego reguły zawarte będą odnosiły się tylko do niego.
np. User-Agent: yahoo reguły będą się odnosić się tylko do robota Yahooo.
Sitemap: http://www.x.pl/sitemap.xml gdzie x to nazwa naszej domeny informumuje wyszukiwarki, gdzie znajduje się mapa naszej witryny.
Disallow: określa katalog, do którego dana wyszukiwarka nie ma dostępu.
np. Disallow: /panel/* odnosi się do wszystkich plików w katalogu panel.
Oczywiście zamiast gwiazdki można podać nazwę konkretnego pliku.
Plik robots.txt nie jest zabezpieczeniem przed indeksowaniem plików, do tego celu lepiej stosować miejsca wymagające logowania lub umieszczać w katalogach niewidocznych w sieci. Stosowanie tego pliku odpowiada metatagom robots ułatwia pracę przy edycji tych plików..
RE: plik robots.txt - czesio - 12-04-2012 01:42 PM
Dobry tutek choć z tego co gdzieś czytałem w robots mamy tylko wskazówki jak chcemy żeby na 100% nic googlebot nie zobaczył trzeba zastosować inne metody.