Project Group: com.github.xjtushilei

scriptspider

com.github.xjtushilei : scriptspider

ScriptSpider(SS) is a Java distributed crawler framework that supports hot swappable components. SS是一个java版本的分布式的通用爬虫,可以热插拔各个组件(提供默认的),自动切换代理,自动结构化数据与存储。使用redis,分布式调度等技术。

Last Version: 0.3

Release Date:

  • 1