plik robots.txt
|
04-09-2012, 11:38 PM
Post: #1
|
|||
|
|||
plik robots.txt
Plik robots.txt pozwala poinformować wyszukiwarki, które pliki mają zostać zaindeksowane, a które życzylibyśmy sobie, żeby nie były indeksowane przez nie. Oczywiście nie zawsze wyszukiwarki się dostosują, ale warto je stosować.
Dla Każdej wyszukiwarki można stworzyć osobną regułę. User-Agent: * ta reguła określa, że pliki dotyczą wszystkich wyszukiwarek. Jeśli zamiast gwiazdki wpiszemy nazwę robota sieciowego reguły zawarte będą odnosiły się tylko do niego. np. User-Agent: yahoo reguły będą się odnosić się tylko do robota Yahooo. Sitemap: http://www.x.pl/sitemap.xml gdzie x to nazwa naszej domeny informumuje wyszukiwarki, gdzie znajduje się mapa naszej witryny. Disallow: określa katalog, do którego dana wyszukiwarka nie ma dostępu. np. Disallow: /panel/* odnosi się do wszystkich plików w katalogu panel. Oczywiście zamiast gwiazdki można podać nazwę konkretnego pliku. Plik robots.txt nie jest zabezpieczeniem przed indeksowaniem plików, do tego celu lepiej stosować miejsca wymagające logowania lub umieszczać w katalogach niewidocznych w sieci. Stosowanie tego pliku odpowiada metatagom robots ułatwia pracę przy edycji tych plików.. |
|||
12-04-2012, 01:42 PM
Post: #2
|
|||
|
|||
RE: plik robots.txt
Dobry tutek choć z tego co gdzieś czytałem w robots mamy tylko wskazówki jak chcemy żeby na 100% nic googlebot nie zobaczył trzeba zastosować inne metody.
Dobry soft do monitorowania sieci komputerowych AdRemsoft network monitoring software |
|||
« Starszy wątek | Nowszy wątek »
|
Użytkownicy przeglądający ten wątek: 1 gości