作为SEOer，我们使用的各种各样的工具，以收集各式各样的技术问题，网站分析，抓取诊断，百度站长工具等。所有这些工具是有用的，但都无法比拟在网站日志数据分析搜索引擎蜘蛛抓取，就像Googlebot到爬取您的网站并您的网站上留下了一个真实的记录。这是网络服务器日志。日志是一个强大的源数据经常没有得到充分利用，但有助于保持您的网站的搜索引擎抓取检查的完整性。 服务器日志是由一个特定的服务器进行详细记录了每一个动作。在一个Web服务器的情况下传奇sf959.com好私服,1.76精品传奇,1.85星王传奇,新开传奇私服网站 你可以得到很多有用的信息。如何检索和分析日志文件，并根据您的服务器的响应代码（404，302，500等）的识别问题。我将它分解成2个部分，每个部分突出不同的问题，可以发现在您的Web服务器日志 一、获取日志文件 搜索引擎抓取网站信息必会在服务器上留下信息，这个信息就在网站日志文件里。我们通过日志可以了解搜索引擎的访问情况，一般通过主机服务商开通日志功能，再通过FTP访问网站的根目录，在根目录下可以看到一个log或者weblog文件夹，这里面就是日志文件，我们把这个日志文件下载下来，用记事本(或浏览器)打开就可以看到网站日志的内容。那么到底这个日志里面隐藏了什么玄机呢?其实日志文件就像飞机上的黑匣子。我们可以通过这个日志了解很多信息，那么到底这个日志给我们传递了什么内容呢?下面先做一个简单的说明。 日期：这将让你一天搜索引擎抓取速度的发展趋势进行分析。 被爬取文件：这将告诉你哪些被抓取的目录和文件，并在某些路段或类型的内容可以帮助查明问题。 状态码：（只列出常见到并能直接反正网站问题的状态码） 200状态码：请求已成功，请求所希望的响应头或数据体将随此响应返回。 302状态码：请求的资源现在临时从不同的URI响应请求。 404状态码：请求失败，请求所希望得到的资源未被在服务器上发现。 500状态码：服务器遇到了1.76蓝魔传奇_1.76蓝魔精品_1.76蓝魔究级_1.76灭世蓝魔精品_传奇1.76蓝魔 一个未曾预料的状况，导致了它无法完成对请求的处理。 - - 提供了哪些网页被爬虫运行到并反应出什么样的问题。 从哪里来：虽然这不一定是有用的分析搜索机器人，它是非常有价值的，其他的流量分析。 哪种爬虫：这个会告诉你哪个搜索引擎爬虫在你的网页上运行的。 二、解析网站日志文件 现在你需要一个日志分析工具，因为如果你的网站有几M或几十M甚至百M以上的日志数据时，你不可能一条条去看。再说，就算日志数据不多，一条条看也是不科学的。这里用光年seo日志分析工具为大家做个例子。 结语 百度网站管理为您提供抓取错误的信息，但在许多情况下，它们限制了数据。作为SEO的，我们应该利用一切可用的数据，毕竟只有一个数据源，你可以真正依靠自己的源。日志不撒谎！ 文章来源：huayi-cn.com/chuanqisifu.html，转载请注明来源。