有些网友居于某种特定情况,需要删掉百度对自己网站或网站某些页面的收录,可以采用以下方法:
一、向百度官方提交删除请求
0、去百度站长工具里: https://ziyuan.baidu.com/ ,首先你要先绑定你自己要删掉的这个网站,认证你是这个域名的拥有者,然后百度站长工具里做死链提交或者网站改版吧,这样就能比较快的删除了。
(1)登录自己的百度账号,可以看到站点的信息,如果你的网站没有添加,可以先添加上你的网站。
(2)添加站点信息需要在你的网站上传百度认证文件,下载下来上传到网站根目录。
(3)选择资源提交下的死链提交,写好silian.txt和silian.xml文件并上传到网站根目录,把链接放到死链文件地址栏下,可以选择提交时长,最后点击提交即可。
1、网站主动推送删除请求
百度搜索平台支持网站主动推送url的add/del操作。如果网站认为某些链接需要删除,可以通过add/del api接口提交删除请求。但是此接口需要网站在百度搜索资源平台提交站长认证,认证审核通过后方可使用。
2、索引文件
在百度网络爬虫抓取网页后,将网页存储为索引文件。网站管理员可以利用robots.txt协议来屏蔽爬虫对某些网页的抓取,从而达到控制网站内容索引的目的。
3、网站地图
百度支持xml sitemap站点地图协议,可为爬虫提交站点索引信息,如果网站主动删除,搜索资源平台爬虫会在下次爬取时发现该链接不存在,自动将其删除。
二、通过robots.txt文件删减网站收录
1、在robots.txt文件中添加“Disallow”行
“Disallow”行指示爬虫哪些链接不应该被抓取。例如,“Disallow:/test.html”将告诉百度不要抓取test.html。如需删除某个目录下的所有内容,则可在robots.txt文件中添加 “Disallow:/example/”。
2、添加“Noindex”元标签
“Noindex”元标签用于告诉搜索引擎,在搜索结果中不要提供与目前网页相关的链接。请在html的头部里加上这样的语句 。
三、网页不能访问
如果网站想要删除特定页面,并且不希望其他人访问,可以将页面移动到新的位置,或者禁用特定页面的访问。当百度爬虫在下一次访问时,会发现该页面不存在或不可访问,自动删除该页面的索引。