根据大大反馈的,有一个站抓取不了链接,然后这边就根据大大反馈的域名,进行了检查,后来发现这个网站是mip的网站,跟我们平时的链接形式不太一样,然后也细想目前市场的这种网站数量也不少,特在昨晚优化了该功能,加入mip链接提取。
提取mip链接,只属于本站的链接,筛选掉垃圾链接和脚本链接。
加强对mip链接的处理速度。
采集mip链接全站。
各项全站链接功能都加入mip识别抓取。
如有更多问题,请在社区或者联系站长进行反馈处理。谢谢!