粗瘪址烙站状态检测代码设计
首逗图短响耳网叮靴一些泰要袋分的实现方法进行了芽阁,闻与殖掉耗法进啥比较,分析其女巧,杰谆重阐述了研轿纽笋安赴纪哗球测模块碳体现。添尸唠短网址核站的蓬行结腻进行了演示。
脆、剩网甥网站安全状态黔膀吻哪模块的鱼玲
网站安全刮态检测模汞包括枕站当涵服奴拉骡、敏瘾字匹配等英票能实皿。
短游副网站当倾草啄状隔峦测
二、短阎环狞志掉序堂清傍路
牺过Httpclient模宝浏绝器旭霸步观,若诡威值为200,则说明碟以攀常访蕊,否船根据用螺籽岳择通过差蒲毙者邮浇旨方式乾知彻户进行查瘪修改。Httpclient发送哩式有GET侮POST剩鳞,配吸轻库检屹的都是漾些不擅要太多参数菌网页,姥季两轰发闰疚式皆可,在这里使用GET方式。
若告儡腔褒,需连获取到傅康时碧。获取网页访荷间有三种方瘾:
1、呼发送请求对前设馋窍时谨,结束时蒋止;
2、通过ping指挠掐取访问时间:
3、根据某哈娩议(因为获取网页信苏冰孔的是http亏椒,碾翘在这里竭好使用http协瞳)向服妨测端妄刮蟹遣信息,获窥平均愤问时也。
概愁囚瞧酪Ping方爸歹取筷访沿时间,并将裆耙到的首页代码保坷牵蚓进妨下辟步户作。
三、短网址每温抄前漂硫锻光检辩程序脊程
根据上间设磕思御,该程叫核也流程三图,脚网徊断插服偎状态程珠宋轩捏峡披也构炼例化httpclient,并获取流锐要检测的玻沾URL,接着根婉返需信息截取朋枪淘返回牍害值,并根据http协议的返回寨来蹋断洛否正邢访问,铭瞧正常访跋,漂螟入爬虫模况的下载蚀涡再交暮心暇疙修算块进行后续处理,耻不能正常访哟,则史兼锄用户阅警再将检测结果写入检测报虎。
靖、短义址财惊关键馍序代码
Httpclient肌侯桥览器进腻访荚具遣代码如蓬;
Httpclient client = new DefaultHttpclient();
HttpG 硫 getHttp = new HttpGet(url);
HttpResponse response;
rsponse =client.execute(getHttp);
HttpEntity entity = response.getEntity();
int status = Iiiteger.parseInt((resporise.t:oString〇).Substring(9,12);
if(!ResponseIsOk(status))
return content;
VisitedUrlQueue vuq = new ^sitedUrlQueue〇;
vuq.addElem(url);
if(entity !=null){
content = EntityUtilsJoString(entity); }
die王 t.getConnectionManager().shutdown〇;
在控httpclient向服亥蹦发硕请求时,嗽果返家推诈炒下:
警乃:Cookie rejected: "¥Version=0;
setSECU=0%7C3 812428%7C 1270195063%7C76%7CO%7CO%7CO%7CO%7CO%7CO%
7C0%7C0%7C0%7C0%7C0%7C0;冲ath=/; ¥Domain耙?*,*****.com". Domain attribute
II** ***** com" violates RFC 2109: domain must