JarCasting
JarCasting JarCasting

com.virjar:dungproxy-webmagic6

proxy ip resource pool

License

License
Categories

Categories

webmagic Business Logic Libraries Web Crawling
GroupId

GroupId

com.virjar
ArtifactId

ArtifactId

dungproxy-webmagic6
Last Version

Last Version

0.0.1
Release Date

Release Date
Type

Type

jar
Description

Description

proxy ip resource pool

Download dungproxy-webmagic6

Filename Size
dungproxy-webmagic6-0.0.1.pom
dungproxy-webmagic6-0.0.1.jar 15 KB
dungproxy-webmagic6-0.0.1-sources.jar 10 KB
dungproxy-webmagic6-0.0.1-javadoc.jar 50 KB
Browse

How to add to project

<!-- https://jarcasting.com/artifacts/com.virjar/dungproxy-webmagic6/ -->
<dependency>
    <groupId>com.virjar</groupId>
    <artifactId>dungproxy-webmagic6</artifactId>
    <version>0.0.1</version>
</dependency>
// https://jarcasting.com/artifacts/com.virjar/dungproxy-webmagic6/
implementation 'com.virjar:dungproxy-webmagic6:0.0.1'
// https://jarcasting.com/artifacts/com.virjar/dungproxy-webmagic6/
implementation ("com.virjar:dungproxy-webmagic6:0.0.1")
'com.virjar:dungproxy-webmagic6:jar:0.0.1'
<dependency org="com.virjar" name="dungproxy-webmagic6" rev="0.0.1">
  <artifact name="dungproxy-webmagic6" type="jar" />
</dependency>
@Grapes(
@Grab(group='com.virjar', module='dungproxy-webmagic6', version='0.0.1')
)
libraryDependencies += "com.virjar" % "dungproxy-webmagic6" % "0.0.1"
[com.virjar/dungproxy-webmagic6 "0.0.1"]

Dependencies

compile (2)

Group / Artifact Type Version
com.virjar : dungproxy-client jar 0.0.7
us.codecraft : webmagic-core jar 0.6.1

Project Modules

There are no modules declared in this project.

DungProxy

DungProxy是一个代理IP服务,他包括一个代理IP资源server端和一系列适配中心IP资源得客户端。server负责代理IP资源的收集维护。client则是一系列方便用户使用得API,他屏蔽了代理IP下载、代理IP选取、IP绑定、IP切换等比较复杂逻辑。用户只需要引入client即可方便使用代理IP服务

  • 特别声明 :本项目服务器已下线,默认客户端无法获取代理ip,最近半年没有启用计划。你可以自建server,或者就不要使用被本项目了

软文

hi，各位好，我是virjar。dungproxy是2015年我大四阶段写的第一个开源项目。而现在是2021年，六年时间个人变化很大。早期维护dungproxy的时候感觉世界很纯粹，那个时候也基本上是第一个真的可以让各位爬虫朋友使用免费ip进行抓取的项目，所以依稀记得得到了不少朋友的认可（当然实际上没有赚到钱，反而花了一年的时间和几台服务器资源）。本来以为工作是做业务系统，没想到整整六年依然还在这个行业中。看着dungproxy心里不是特别有滋味，dungproxy有不少比较亮点的策略模型，在免费万人骑ip上面能够达到较优效果。甚至随着我工作经验的增加，我有能力让dungproxy的性能，表现，ip质量等各方面的效果提升很大档次。 然而作为一个深根爬虫行业的五年老爬虫，也清楚了解dungproxy在工程领域的作用几乎为零了。从风控角度来看，即使是付费ip也有不少ip段在风控库（当年用dungproxy系统抓完裁判文书网的时代，早就成为不可复现的历史了）。

就目前而言，dungproxy的思路对大学毕业的同学，或者入门级别的数据分析爬虫需求还有一做必要。但是对于我个人来说，他能产生的价值几乎为零了。所以，如果你还是大三大四左右，希望又有免费的代理ip池，且想将免费代理池的性能优化到机制。可以私下联系我，我想你能有精力和能力完成我没有完成的工作。

然后，作为一个老爬虫，当然要推荐我的新框架啦：

  1. 2015年，我启动了dungproxy项目，是在当年能够突破不少网站ip反抓的一套系统。也获得了几百块的捐赠 😂
  2. 2017年，我改造了littleProxy,启动了g4proxy https://github.com/virjar/g4proxy 项目，部署了700个手机，使用700台全国各地的真人手机组件手机ip集群。我叫他4G代理。实验效果几乎完爆家庭共享ip(家庭ip是目前市面上最真的ip资源)
  3. 2020年，我重构了g4proxy。完全忘记littleProxy，重写了一整套分布式代理ip系统。实现工程级别的ip系统管理、ip收集、内网穿透等非常炫酷的功能。并在代码质量、分布式集群能力、多平台兼容等多个方面做了工作。 https://github.com/virjar/echo

所以，现在我期待大家来玩儿echo代理系统。当然echo不单单是一个代理系统，他还有非常多的炫酷玩儿法。欢迎大家关注 echoProxy

dungproxy系统今后不会做任何的迭代，他只是一个未来可以翻出来的老古董。没有任何价值！！再见了，dungproxy

Versions

Version
0.0.1