• iWebCrawler 百度谷歌搜索爬蟲加速工具1.0開源版發布
• iWebCrawler 百度谷歌搜索爬蟲加速工具(iWebCrawler 搜索爬蟲加速工具)
  系統簡介：
  iWebCrawler搜索爬蟲加速工具提供常見搜索引擎日志分析(重點是百度爬蟲)；可根據網站提供的符合格式的百度sitemap網站地圖，把每天的新產出鏈接主動推送給百度推送接口，并且能夠在推送前過濾掉百度爬蟲已抓取鏈接及系統已推送的鏈接，從而加快網站收錄速度，提升網站權重?？筛鶕脩粢鬄橛脩舳ㄖ瓢俣萻itemap網站地圖生成功能模塊，支持生成百度Sitemap協議三種格式：文本格式、xml格式、Sitemap索引格式,可以根據自己情況來選擇任意一種格式組織sitemap;如果文件很大，可以自動拆分為幾個小的Sitemap。主動推送功能可以支持任何網站（只要能提供符合格式的百度sitemap網站地圖）
  本系統共分三部分
  一、
  爬蟲訪問記錄分析
  二、
  生成百度sitemap網站地圖(商業版，可定制)
  三、
  主動推送站點新產出鏈接(商業版)
  使用說明
  首先導入數據庫文件(data文件夾限定site.sql)，初始化系統配置
  
  一、 爬蟲記錄分析：
  可以分析baidu,google,360,sogou,soso,Yahoo爬蟲日志，重點是百度爬蟲日志分析
  1. log日志文件分析
  用戶需要根據服務器環境選擇對應配置
  
  
  備注：后臺系統配置里的服務器日志環境選擇完畢后，日志分析可能顯示不對，此時需要根據服務器日志格式手動配置config.php文件，修改對應下標
  在bd_config.php文件夾下面把log_root變量更改為對應文件夾名稱（默認apache）
  
  最后服務器log日志文件上傳到log文件夾下的對應目錄(只上傳文件，不能是文件夾)
  
  備注：系統在每個文件夾下面已經上傳了一個示例文件，僅供用戶演示效果，可以刪除掉示例文件 效果演示截圖
  
  2.百度爬蟲記錄 把最新的日志文件里的百度爬蟲記錄導入到數據庫
  
  二、
  生成百度sitemap網站地圖(商業版，可定制)
  支持生成百度Sitemap協議三種格式：文本格式、xml格式、Sitemap索引格式,可以根據自己情況來選擇任意一種格式組織sitemap;如果文件很大，可以拆分為幾個小的Sitemap?？梢愿鶕脩粜枰ㄖ拼斯δ苣K。
  三、主動推送站點新產出鏈接(商業版)
  先把網站地圖文件上傳到sitemap文件夾下面(提示：1.只能上傳文件，不能是文件夾;2.用戶上傳的sitemap文件必須符合百度Sitemap協議支持的三種格式：文本格式、xml格式、Sitemap索引格式)
  
  點擊啟動主動推送，系統會自動遍歷文件所有鏈接，過濾掉已推送鏈接與爬蟲已抓取鏈接，只推送新鏈接到百度接口
  后臺登錄密碼默認為abc123
  
  iWebCrawler 百度谷歌搜索爬蟲加速工具1.0開源版
  立即下載
  
  
  
  
  
  
  
  
  
  

---