网易 yodao 有道:
Mozilla/5.0 (compatible; YodaoBot/1.0;
http://www.yodao.com/help/webmaster/spider/
;
)
Yaodao其它:
Mozilla/5.0
(compatible;YodaoBot-Reader/1.0;http://www.yodao.com/help/webmaster/spider/;1
subscriber;)
Goolgle :
Mozilla/5.0 (compatible; Googlebot/2.1;
+http://www.google.com/bot.html)
yahoo:
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp
)
Yahoo中国:
Mozilla/5.0 (compatible; Yahoo! Slurp China;
http://misc.yahoo.com.cn/help.html
)
baidu:
"Baiduspider+(+http://www.baidu.com/search/spider.htm)
baidu代码:
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;
SV1; .NET CLR 1.1.4322, Baidu-Transcoder/1.0.6.0,
gate.baidu.com)
msn:
msnbot/1.1 (+http://search.msn.com/msnbot.htm)
sogou:
Sogou Orion
spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
sogou2:
Sogou web
spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
QQsoso图片:
Sosoimagespider+(+http://help.soso.com/soso-image-spider.htm)
还有个超长的:
Mozilla/4.0 (compatible; MSIE 7.0; Windows
NT 6.0; QQDownload 1.7; WPS; Mozilla/4.0(Compatible
Mozilla/4.0(Compatible-EmbeddedWB 14.59 http://bsalsa.com/
EmbeddedWB-
14.59 from: http://bsalsa.com/
;
Mozilla/4.0(Compatible Mozilla/4.0EmbeddedWB-
14.59 from: http://bsalsa.com/
; SLCC1; .NET CLR
2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)
分享到:
相关推荐
编写Python爬虫时,使用的User-Agent,该资源包含各浏览器及Android, iOS的User-Agent
<a target="_blank" href="https://www.oracle.com/technetwork/java/javase/downloads/index.html"><img ... <a target="_blank" href="https://github.com/ssssssss-team/spider-flow/releases"><img src="http
spider-admin-pro 一个集爬虫Scrapy+Scrapyd爬虫项-spider-admin-pro
商剑分布式网络蜘蛛,性能高速运转,能耗尽全部带宽,可批量采集海量数据的网页,若几百台服务器安装商剑分布式网络蜘蛛,分块同时抓取整个WEB不同站点,短时期内可以抓取100亿网页!商剑分布式网络蜘蛛,是大型搜索...
PY简易爬虫,调用百度API爬出百度的一些指数
一看不得了,基本上都是被一个User Agent叫”YisouSpider”的东西给刷屏了,一看就不知道是哪的蜘蛛,太没节操了。 找到根目录配置区,增加User Agent过滤判断语句,发现叫”YisouSpider”的直接返回403 注1:如果...
QQ-Groups-Spider-master-pythonpython源码
spider-mvc-源码.rar
C#-Spider网络爬虫网络机器人网络蜘蛛多线程下载HTTP协议[归类].pdf
python库,解压后可用。 资源全名:nhm_spider-1.2-py3-none-any.whl
Spider_Pdd-master.zip
稳定的网络蜘蛛,可以并行抓取多个站点,BS架构控制系统,使用httpsqs 和淘宝的tair可以作为分布式爬虫基础,去重能力强,存储系统为mysql,可以用sphinx等做索引
34-Lucas the Spider - Captured - Short.en.srt
QQ-Groups-Spider-master-python.rar Python爬虫入门需要掌握Python基础语法、网络请求和数据抓取、解析HTML和XML、处理HTTP响应、数据存储、使用代理和反爬策略、并发和多线程等技术,并遵守相关法律和道德规范。
python库。 资源全名:like_spider-1.0.5-py3-none-any.whl
python库,解压后可用。 资源全名:simple_spider-1.3.5-py3-none-any.whl
python库,解压后可用。 资源全名:lazy_spider-0.1.6-py3-none-any.whl
资源来自pypi官网。 资源全名:simple_spider-1.3.5-py3-none-any.whl
资源来自pypi官网。 资源全名:lazy_spider-0.1.6-py3-none-any.whl