JarCasting
JarCasting JarCasting

dungproxy

proxy ip resource pool

License

License
GroupId

GroupId

com.virjar
ArtifactId

ArtifactId

dungproxy
Last Version

Last Version

0.0.7
Release Date

Release Date
Type

Type

pom
Description

Description

dungproxy
proxy ip resource pool
Project URL

Project URL

http://maven.apache.org
Source Code Management

Source Code Management

https://github.com/virjar/dungproxy

Download dungproxy

Filename Size
dungproxy-0.0.7.pom 4 KB
Browse

How to add to project

<!-- https://jarcasting.com/artifacts/com.virjar/dungproxy/ -->
<dependency>
    <groupId>com.virjar</groupId>
    <artifactId>dungproxy</artifactId>
    <version>0.0.7</version>
    <type>pom</type>
</dependency>
// https://jarcasting.com/artifacts/com.virjar/dungproxy/
implementation 'com.virjar:dungproxy:0.0.7'
// https://jarcasting.com/artifacts/com.virjar/dungproxy/
implementation ("com.virjar:dungproxy:0.0.7")
'com.virjar:dungproxy:pom:0.0.7'
<dependency org="com.virjar" name="dungproxy" rev="0.0.7">
  <artifact name="dungproxy" type="pom" />
</dependency>
@Grapes(
@Grab(group='com.virjar', module='dungproxy', version='0.0.7')
)
libraryDependencies += "com.virjar" % "dungproxy" % "0.0.7"
[com.virjar/dungproxy "0.0.7"]

Dependencies

There are no dependencies for this project. It is a standalone project that does not depend on any other jars.

Project Modules

  • client
  • dungproxy-webmagic5
  • dungproxy-webmagic6
  • dungproxy-webmagic7

DungProxy

DungProxy是一个代理IP服务,他包括一个代理IP资源server端和一系列适配中心IP资源得客户端。server负责代理IP资源的收集维护。client则是一系列方便用户使用得API,他屏蔽了代理IP下载、代理IP选取、IP绑定、IP切换等比较复杂逻辑。用户只需要引入client即可方便使用代理IP服务

  • 特别声明 :本项目服务器已下线,默认客户端无法获取代理ip,最近半年没有启用计划。你可以自建server,或者就不要使用被本项目了

软文

hi，各位好，我是virjar。dungproxy是2015年我大四阶段写的第一个开源项目。而现在是2021年，六年时间个人变化很大。早期维护dungproxy的时候感觉世界很纯粹，那个时候也基本上是第一个真的可以让各位爬虫朋友使用免费ip进行抓取的项目，所以依稀记得得到了不少朋友的认可（当然实际上没有赚到钱，反而花了一年的时间和几台服务器资源）。本来以为工作是做业务系统，没想到整整六年依然还在这个行业中。看着dungproxy心里不是特别有滋味，dungproxy有不少比较亮点的策略模型，在免费万人骑ip上面能够达到较优效果。甚至随着我工作经验的增加，我有能力让dungproxy的性能，表现，ip质量等各方面的效果提升很大档次。 然而作为一个深根爬虫行业的五年老爬虫，也清楚了解dungproxy在工程领域的作用几乎为零了。从风控角度来看，即使是付费ip也有不少ip段在风控库（当年用dungproxy系统抓完裁判文书网的时代，早就成为不可复现的历史了）。

就目前而言，dungproxy的思路对大学毕业的同学，或者入门级别的数据分析爬虫需求还有一做必要。但是对于我个人来说，他能产生的价值几乎为零了。所以，如果你还是大三大四左右，希望又有免费的代理ip池，且想将免费代理池的性能优化到机制。可以私下联系我，我想你能有精力和能力完成我没有完成的工作。

然后，作为一个老爬虫，当然要推荐我的新框架啦：

  1. 2015年，我启动了dungproxy项目，是在当年能够突破不少网站ip反抓的一套系统。也获得了几百块的捐赠 😂
  2. 2017年，我改造了littleProxy,启动了g4proxy https://github.com/virjar/g4proxy 项目，部署了700个手机，使用700台全国各地的真人手机组件手机ip集群。我叫他4G代理。实验效果几乎完爆家庭共享ip(家庭ip是目前市面上最真的ip资源)
  3. 2020年，我重构了g4proxy。完全忘记littleProxy，重写了一整套分布式代理ip系统。实现工程级别的ip系统管理、ip收集、内网穿透等非常炫酷的功能。并在代码质量、分布式集群能力、多平台兼容等多个方面做了工作。 https://github.com/virjar/echo

所以，现在我期待大家来玩儿echo代理系统。当然echo不单单是一个代理系统，他还有非常多的炫酷玩儿法。欢迎大家关注 echoProxy

dungproxy系统今后不会做任何的迭代，他只是一个未来可以翻出来的老古董。没有任何价值！！再见了，dungproxy

Versions

Version
0.0.7
0.0.6
0.0.5
0.0.4
0.0.3
0.0.2