从品牌网站建设到网络营销策划,从策略到执行的一站式服务
本篇文章给大家分享的是有关Linux中怎么查看搜索引擎蜘蛛爬虫的行为,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。
创新互联主要从事成都网站制作、成都做网站、网页设计、企业做网站、公司建网站等业务。立足成都服务思南,十年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:028-86922220Linux shell命令
1. 百度蜘蛛爬行的次数
cat access.log | grep Baiduspider | wc
最左面的数值显示的就是爬行次数。
2. 百度蜘蛛的详细记录(Ctrl C可以终止)
cat access.log | grep Baiduspider
也可以用下面的命令:
cat access.log | grep Baiduspider | tail -n 10
cat access.log | grep Baiduspider | head -n 10
只看最后10条或最前10条,这用就能知道这个日志文件的开始记录的时间和日期。
3. 百度蜘蛛抓取首页的详细记录
cat access.log | grep Baiduspider | grep “GET / HTTP”
百度蜘蛛好像对首页非常热爱每个钟头都来光顾,而谷歌和雅虎蜘蛛更喜欢内页。
4. 百度蜘蛛派性记录时间点分布
cat access.log | grep “Baiduspider ” | awk ‘{print $4}'
5. 百度蜘蛛爬行页面按次数降序列表
cat access.log | grep “Baiduspider ” | awk ‘{print $7}' | sort | uniq -c | sort -r
文中的Baiduspider 改成Googlebot都可以查看谷歌的数据,鉴于大陆的特殊性,大家应该对百度的log更为关注。
附:(Mediapartners-Google)Google adsense蜘蛛的详细爬行记录
cat access.log | grep Mediapartners
Mediapartners-Google是什么呢?Google adsense广告之所以能与内容相关,因为每个包含着adsense的广告被访问后,很快就有个Mediapartners-Google蜘蛛来到这个页面,所以几分钟后再刷新就能显示相关性广告了,真厉害啊!
ps:linux下nginx如何启用网站日志,查看蜘蛛爬虫
以上就是Linux中怎么查看搜索引擎蜘蛛爬虫的行为,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注创新互联行业资讯频道。
咨询相关问题或预约面谈,可以通过以下方式与我们联系
我们是成立于2007年的成都网站建设公司,设有成都分公司,提供高品质网站建设,电商网站设计开发,外贸网站制作,响应式网页设计,微信小程序等服务.我们的目标是将快上网打造成网站品牌策划、网站品牌形象设计、网络营销传播行业的国际型企业!为客户创造有价值的品牌营销体验,让互联网提升企业的竞争力!
12年建站服务经验
服务27家500强企业
服务136家上市企业
服务行业龙头超过70家
设有成都和成都网站建设公司
多项网站设计传播大奖
营销型网站建设专家
完备的项目流程管理体系
B2C电商网站建设供应商
网页设计与网站开发技术并重
作为一家集“创意+整合+营销”的互联网整合营销机构,我们在业内具有深远的设计影响力和良好的客户口碑。我们提供从前期的网站品牌分析策划、网站设计、创意表现、系统开发以及后续网站运营反馈建议等一系列服务,帮助企业打造创新的互联网品牌经营模式与有效的网络营销方法,创造更大的品牌势能!
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询400-028-6601
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图