在网上看到我们可以通过抓取一些提供免费 ip代理的网站,来使用ip代理,可以怎么样来抓取呢?下面 IP海来教大家一个方法,大家可以参考看看,以下是操作代码:
#coding=utf-8
import re
import urllib.request
import urllib.parse
import os
from urllib.error import URLError,HTTPError
url='http://www.kuaidaili.com/ops/' #http://www.xicidaili.com/ http://www.proxy360.cn/default.aspx http://www.kuaidaili.com/ops/
headers={'Accept':'text/html,application/xhtml+xm…plication/xml;q=0.9,*/*;q=0.8',
'Accept-Encoding':'gzip,deflate',
'Accept-Language':'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
'Host':'fs.xicidaili.com',
'Cookie':'Hm_lvt_0cf76c77469e965d2957f0553e6ecf59=1511441689,1511784134,1511785760; Hm_lpvt_0cf76c77469e965d2957f0553e6ecf59=1511785760',
'Connection':'keep-alive',
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; W…) Gecko/20100101 Firefox/57.0'
}
headers=urllib.parse.urlencode(headers).encode('utf8')
rep=urllib.request.Request(url,headers)
reponse=urllib.request.urlopen(rep)
html=reponse.read().decode(encoding='UTF-8')
reg=r'(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)'
ip_list=re.findall(reg,html)
print(ip_list)
f=open('ip.txt','a')
f.write(str(ip_list)+' ')
f.close()
这样我们就能够把网站上面提供的免费IP抓取来使用了,但是要注意免费IP的质量比较不稳定,需要经过检测才可以使用。
版权声明:本文为IP海(iphai.cn)原创作品,未经许可,禁止转载!
Copyright © www.iphai.cn. All Rights Reserved. IP海 版权所有.
IP海仅提供中国内IP加速服务,无法跨境联网,用户应遵守《服务条款》内容,严禁用户使用IP海从事任何违法犯罪行为。
鄂ICP备19030659号-3
鄂公网安备42100302000141号
计算机软件著作权证
ICP/EDI许可证:鄂B2-20200106
聚圣源雷曼兄弟养鸡场起名极度恐慌1下载实景酒馆起名黄历上八字起名芭比之仙子秘密起名广的字辈排行男孩名字免费测字起名打分测试晨雾的光姓曾的宝宝起名赵薇最新电视剧店铺起名测分为刘起什么名字女孩男孩姓庄起什么名字好啊宝宝起名女宝宝小名国语动画带睿字的起名字江汉医院方字起名适合用来起名字有什么诗词winktv.co.kr脊骨姓徐属猴起名女孩免费个人理财软件金融街紫金园个人信用贷款女儿的起名姓甘河北卫视节目表大年三十祝福短信淀粉肠小王子日销售额涨超10倍罗斯否认插足凯特王妃婚姻让美丽中国“从细节出发”清明节放假3天调休1天男孩疑遭霸凌 家长讨说法被踢出群国产伟哥去年销售近13亿网友建议重庆地铁不准乘客携带菜筐雅江山火三名扑火人员牺牲系谣言代拍被何赛飞拿着魔杖追着打月嫂回应掌掴婴儿是在赶虫子山西高速一大巴发生事故 已致13死高中生被打伤下体休学 邯郸通报李梦为奥运任务婉拒WNBA邀请19岁小伙救下5人后溺亡 多方发声王树国3次鞠躬告别西交大师生单亲妈妈陷入热恋 14岁儿子报警315晚会后胖东来又人满为患了倪萍分享减重40斤方法王楚钦登顶三项第一今日春分两大学生合买彩票中奖一人不认账张家界的山上“长”满了韩国人?周杰伦一审败诉网易房客欠租失踪 房东直发愁男子持台球杆殴打2名女店员被抓男子被猫抓伤后确诊“猫抓病”“重生之我在北大当嫡校长”槽头肉企业被曝光前生意红火男孩8年未见母亲被告知被遗忘恒大被罚41.75亿到底怎么缴网友洛杉矶偶遇贾玲杨倩无缘巴黎奥运张立群任西安交通大学校长黑马情侣提车了西双版纳热带植物园回应蜉蝣大爆发妈妈回应孩子在校撞护栏坠楼考生莫言也上北大硕士复试名单了韩国首次吊销离岗医生执照奥巴马现身唐宁街 黑色着装引猜测沈阳一轿车冲入人行道致3死2伤阿根廷将发行1万与2万面值的纸币外国人感慨凌晨的中国很安全男子被流浪猫绊倒 投喂者赔24万手机成瘾是影响睡眠质量重要因素春分“立蛋”成功率更高?胖东来员工每周单休无小长假“开封王婆”爆火:促成四五十对专家建议不必谈骨泥色变浙江一高校内汽车冲撞行人 多人受伤许家印被限制高消费