火车头采集 - 编程笔记

当前位置：首页 > 火车头采集

【说站】nginx宝塔面板如何屏蔽垃圾蜘蛛禁止抓取不影响火车头发布

yc8882年前 (2022-07-27)276

【说站】nginx宝塔面板如何屏蔽垃圾蜘蛛禁止抓取不影响火车头发布

最近查看服务器日志，发现一些垃圾蜘蛛，一直爬行很多，比如以下这些垃圾，太烦人了，就想着如何屏蔽这些垃圾蜘蛛，但是又想着不影响火车头的发布。查了一些资料，下面把技巧分享给大家。Mozilla/5.0&n...

【说站】有文件直接下载地址，如何通过火车头采集器进行批量下载

yc8882年前 (2022-07-20)388

【说站】有文件直接下载地址，如何通过火车头采集器进行批量下载

如果要做下载站，需要批量采集目标网站的下载资源，用火车头采集器进行批量下载采集可以参考一下文章：火车头采集器文件批量下载如何采集？文件下载采集设置最近遇到个问题，能够得到文件真实的下载地址（地址有加密...

【说站】火车头采集器https网站无法采集的解决办法

yc8882年前 (2022-07-18)838

【说站】火车头采集器https网站无法采集的解决办法

出现这种问题一般是由于系统的原因，当然火车头对于某些https的网址支持欠佳也是原因之一，一般遇到https网站无法采集的时候，可以采取以下两种方法来解决问题：方法一、设置浏览器internet选项的...