User Agent 是什么?常见搜索引擎 user-agent列表

User Agent 是什么?

用户代理(User Agent,简称 UA),是一个特殊字符串头,使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

通常情况下这些爬虫都有固定特征的 User Agent(UA) ,下面的部分将会分享各家搜索引擎的 UA 特征。然而 User Agent 是请求头中的一个选项设置,是可以伪装的,这个方法只能告诉我们,这个请求/访问/IP 不是爬虫,而无法确切的告诉我们它是,所以通过 User Agent 判断请求的发起者是否是搜索引擎爬虫的方式是不靠谱的。

User Agent 是什么?
User Agent 是什么?

常见搜索引擎 user-agent列表

搜索引擎 user-agent 备注
百度 Baiduspider/2.0
Baiduspider-image
常见百度旗下同类型蜘蛛还有下面这些:Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)

百度蜘蛛IP:
  • 220.181.108.76 ~ 220.181.108.187
  • 123.125.71.92 ~ 123.125.71.113
Bing bingbot/2.0
Bing蜘蛛IP:
  • 157.55.39.97 ~ 157.55.39.98
  • 40.77.167.36 ~ 40.77.167.87
  • 207.46.13.1 ~ 207.46.13.255
Google Googlebot/2.1
Google蜘蛛IP:
  • 66.249.74.78 ~ 66.249.74.80
  • 66.249.71.53 ~ 66.249.71.124
  • 66.249.65.93 ~ 66.249.65.99
搜狗sogou Sogou+web+spider/4.0
搜狗蜘蛛IP:
  • 61.135.189.97 ~ 61.135.189.98
  • 123.126.113.189
神马搜索 Yisouspider 原属一搜蜘蛛。

神马搜索IP:
  • 42.156.137.103
360搜索 360Spider
360搜索蜘蛛IP:
  • 180.153.232.*
  • 180.153.234.*
  • 180.153.236.*
  • 180.163.220.*
  • 42.236.101.*
今日头条 Bytespider
今日头条蜘蛛IP:
  • 111.225.149.2 ~ 111.225.149.249
  • 110.249.202.2 ~ 110.249.202.249
Yahoo Yahoo!
Yahoo蜘蛛IP:
  • 68.180.230.46、68.180.228.253



您希望更多了解和咨询Infocode蓝畅信息技术的具体内容
=
(0)
Infocode蓝畅Infocode蓝畅
上一篇 2022年5月28日 下午11:54
下一篇 2022年6月2日 下午2:10