【SEO教程】#1.3.2-筑基篇-爬虫可理解:爬虫可见

内容简介:

1)存在时效性内容的站点,容易出现机器不可见的情况。如:

    

    电商网站,商户下线了某个不再售卖的产品

    团购网站,商户下线了某个不再优惠的活动

    招聘网站,公司下线了某个不再招聘的职位

    B2B网站,厂商下线了某个不再批发的产品

    ...............

当用户下线的某个产品/职位/活动,对应的前端页面,一般会有3种状态:

a、产品下线后,对应页面立马404状态

假如下线产品对应的页面,刚好在搜索引擎的待抓取列表中,当搜索引擎访问时,必然出现机器不可见的情况,因为是死链。所以SEO需要找技术定期(至少每天)索取下线产品对应的链接,及时提交死链给搜索引擎,规避惩罚风险

b、产品下线后,对应页面301到首页,或上级页面,或其他什么的页面

c、产品下线后,对应页面仍然200状态,页面上添加下线状态的标识

    

已经下线的产品,比如是电商网站某个不再售卖的产品,该页面对用户来讲,已经毫无价值,但前端仍是200状态,让搜索引擎消耗资源去抓取,所以站在搜索引擎的立场,并不友好。

具体的处理方式,SEO首先要去了解产品对于下线产品的处理逻辑,再根据实际情况来定夺,比如:

a、已下线的产品,若历史流量比价多,全都404显然是非常坑SEO的做法,是否需要有流量的200状态,没流量的都404

b、若产品被用户发布,然后下线后,之后还可以恢复上线。那发布和恢复上线时的url是不是一样的?若一样怎么处理,不一样怎么处理?

总之,需要根据实际情况,在用户感受、搜索引擎友好、SEO流量三者中做一个平衡。

2)需要访问权限才能查看的内容

    若针对用户及搜索引擎,都设置访问权限,比如需要登陆之后才能看到正文,无疑对SEO影响巨大,爬虫无法执行人的登陆行为

    一般可以披露部分内容,隐藏部分内容来处理,或者针对爬虫披露全部内容,针对用户隐藏内容

3)触发反爬虫策略,返回空页面或假页面

    运维没有将搜索引擎加到白名单,搜索引擎被误判为“坏人”,触发反爬虫策略,返回空白页面。

    更坑的是返回假数据,比如从100条预先准备的数据中,随机抽取一条返回给爬虫,爬虫抓了几万页面,实际上数据就那100条,对SEO造成严重影响。

    从而引申出一条,SEO需要时刻跟运维保持同步,时刻了解最新的反爬虫措施,是否存在误伤搜索引擎的可能

4)POST请求

通过post请求返回的数据,常出现于多条件筛选框,如肯德基的门店内容:http://www.kfc.com.cn/kfccda/storelist/index.aspx

用户执行某个行为(点击按钮、输入字符串等),js获取到这个行为后,通过post方式请求web service,在当前已打开的页面中展示返回的数据,而不是在新标签页中显示数据,所以url是不变的。

爬虫无法模拟人的行为,自然也看不到数据。

解决办法:

a、通常用三方浏览器内核,遍历加载这批需要post的页面,将浏览器渲染后的网页,生成一个个静态页。之后web service判断来访用户,若为搜索引擎,则将post按钮(href="javascript:void(0);")替换为静态页面的链接(href="{静态页链接}"

b、如果post网页太多,技术一般不愿意按a的方式搞,因为一个模块得维护两套代码,麻烦。所以一般搞一套新页面,来承载这批post页面对应的关键词流量

5)服务器响应慢,导致内容没抓全

爬虫抓取网页,等待数据返回的时间是有限的,有timeout的。可访问做的不到位的网站,经常出现爬虫来不及抓取全部内容的情况,特征是快照中只存留网页部分内容,另外一部分没抓到,当时爬虫抓取的时候,超时了

6)iframe/ajax,不解释,ajax见上面的post部分,原理差不多

7)通过图片/flash来承载内容,爬虫无法理解图片和视频中包含的信息

知识星球:

SEO高科技搞基群:


关注公众号,免费刷快排。
转载请说明出处
奇点seo » 【SEO教程】#1.3.2-筑基篇-爬虫可理解:爬虫可见

发表评论

欢迎 访客 发表评论

让流量从这里暴涨!

查看演示 官网购买