Взагалі тільки Googlebot схавав 2,79 Гб трафіку, ще Яндекс майже гіг. Заборонив ще сканувати папку з графікою в robots.txt. Наступного місяця побачим чи це допомогло.
Востаннє редагувалось П'ят 22 вересня 2006 р. 15:02 користувачем Black, всього редагувалось 1 раз.
Цікаво з чим пов'язаний такий ріст активності? Нових повідомлень зараз щодня залишають не так багато. Можливо, просто варто заборонити доступ до форуму з певних URL. Багато трафіку забирають боти. От їм і прикрити доступ.
Доступ треба їм не прикрити, а зробити якось так, щоб вони рідше заходили індексувати... Але читав, що роботи яндекса ігнорують директиву "revisit-after"...
В вересні трафік був десь 11,5 Гб.
То що тоді робити? Є люди які з цим вже стикалися? Можливо, якесь рішення вже існує, варто просто на нього натрапити.
Та й тут на форумі є толкові люди, які могли б щось порадити.
Після того, як забанив айпі робота яндекса трафік за жовтень 4,5 Гб. І то 400 Мб робот Яндекса встиг стянути за 1-2 жовтня... Нафіга так часто індексувати???
Знову яндекс прорвався на форум:
sfront2-006.yandex.ru - 750 Мб, sfront27.yandex.ru - 812 Мб трафіку зжер. Навіщо ж так індексувати??? :? Читав в інеті, що всі жаліються на роботи яндекса.
В лютому вже використано 9,36 Гб трафіка.