BLEXBot蜘蛛是什么蜘蛛？如何屏蔽？

Infocode蓝畅 3年前网站SEO优化 634

BLEXBot蜘蛛是什么？

WebMeUp的蜘蛛，Blexbot每天可以抓取上百亿个页面来收集反向链接数据，并将该数据提供给其链接索引(在SEO SpyGlass中使用的链接索引)。

Blexbot每天可以抓取上百亿个页面来收集反向链接数据，并将该数据提供给其链接索引

如何屏蔽BLEXBot蜘蛛

robots.txt文件中屏蔽：

相关代码如下：

User-agent: BLEXBot
Disallow: /

请在浏览器中启用JavaScript来完成此表单。姓名 *请输入姓名或昵称
手机号 *

			姓名 需要咨询的内容 验证码
			
需要咨询的内容 *如果您有任何疑问、需要更多信息或希望与我们建立合作请留言
验证码 *
				
											=
				
				( function() {
					const style = document.createElement( 'style' );
					style.appendChild( document.createTextNode( '#wpforms-17950-field_1-container { position: absolute !important; overflow: hidden !important; display: inline !important; height: 1px !important; width: 1px !important; z-index: -1000 !important; padding: 0 !important; } #wpforms-17950-field_1-container input { visibility: hidden; } #wpforms-conversational-form-page #wpforms-17950-field_1-container label { counter-increment: none; }' ) );
					document.head.appendChild( style );
					document.currentScript?.remove();
				} )();