引用:
作者: 哈啦
Thanks.
我看了那個raw access logs上的紀錄也確實大多是搜尋引擎，而查看最耗KB數的來源也確實就是那幾家搜尋引擎的bot而非奇奇怪怪的不明來源IP。
可是搜尋引擎會突然集中在一起來嗎？
主機商一般不太熟悉會有這種情形嗎？
|
搜尋引擎的確會有瘋狂採集的情況, 百度和yahoo的爬蟲常常二三十個ip同時採一個網站.. 相當於被30人砍站喔
因為論壇通常一個頁面會有許多圖片 (一個圖片就佔了一個http 連線) 和讀取資料庫20次以上, 非常耗資源, 遇到搜尋引擎的確會有瘋狂採集時很容易托垮主機.. 還蠻常見的.. 這也代表搜尋引擎對此網站有偏好度所以才會這樣.