一 : awk 分析web日志（页面执行时间）(常见应用3)
前一段时间，我写过一篇文章，shell脚本分析 nginx日志访问次数最多及最耗时的页面(慢查询），其中提到了分析耗时页面重要性。今天主要讲的，是通过awk分析日志，快捷得到执行时间。在性能以及效率方面比前一篇提到的有很大提高！
一、web日志文件格式
222.83.181.42 - - [09/Oct/2010:04:04:03 +0800] GET /pages/international/tejia.php HTTP/1.1 "200" 15708 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Sicent; WoShiHoney.B; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)" "-" 0.037</p> <p>按照空格分隔的话，最后一个字段[0.037] 是页面执行时间，第7个字段 是页面访问地址。
二、执行代码
awk 'BEGIN{
print "Enter log file:";
getline logs;
#logs="/var/log/nginx/access.log-20101008";
OFMT="%.3f"; </p> <p>while(getline < logs)
{
split($7,atmp,"?");
aListNum[atmp[1]]+=1;
aListTime[atmp[1]]+=$NF;
ilen++;
}
close(logs);
print "rntotal:",ilen,"rn======================================rn";
for(k in aListNum)
{
print k,aListNum[k],aListTime[k]/aListNum[k] | "sort -r -n -k3";
} </p> <p>}'
结果：
性能： 
422780条日志，统计完成速度是：5秒左右。
二 : 日志宝：大众也能看懂的Web访问日志数据分析
每个人都可能会生病，网站也一样。对于一个网站来说，Web访问日志就像是网站的脉搏，时时刻刻记录并反映着网站的运营状况。由于Web访问日志包含的数据量很大，而看懂Web访问日志也需要具备一定的专业知识。而“日志宝”能够专业解决Web日志数据分析问题，为非技术人员提供较全面的Web日志数据分析；它还增加了安全分析和安全扫描两个模块，能在分析日志同时扫描Web漏洞。
日志宝是一款基于SaaS模式(软件即服务)的在线Web应用，提供在线Web访问日志分析服务的数据分析，由北京方研矩行科技有限公司开发并运营。日志宝在传统日志分析手段的基础上增加了安全分析以及安全扫描两个模块，将Web漏洞扫描器集成在日志分析系统中，提供更全面专业的整体日志分析解决方案。
日志宝目前支持主流Web服务器的相关日志格式包括Apache的NCSA日志格式以及IIS的W3C日志格式，同样也支持Tomcat以及Nginx的日志。
日志宝的三大特色功能如下，用户可以自由选择分析方式并能够轻松查看到相应模块的分析报告：
1、日常分析：
针对Web访问日志进行常规分析，包括访问IP统计、访问URL统计、浏览器统计、爬虫信息统计等，帮助站长了解网站日常运营状况。
2、安全分析：
通过匹配1500余种常见的Web漏洞攻击特征以及后门文件指纹信息，能够分析出网站是否遭受或者已经被黑客入侵，帮助站长对网站运营环境进行风险评估。
3、漏洞扫描：
日志宝集成了方研矩行安全团队自主研发的一款Web漏洞扫描器，通过配置可自定义漏洞扫描策略，深度挖掘网站潜在的安全漏洞，帮助站长或网站开发人员发现安全［www.61k.com）隐患，提高安全编程意识，及时修补安全漏洞，防患于未然。
正如日志宝创始人董方（微博）所说：攻击隐藏在黑暗中，不是没有发生，只是你不知道。安全性在网站运营过程中是极其重要的一环，日志宝作为一款网站安全服务类产品，希望能给广大站长以及网站运维人员带来一个新选择，建立起长期互助的安全合作关系，持续提供更优质的功能服务于用户。
日志宝正在公测中，用户可在官网申请体验资格。网站首页：www.rizhibao.com
三 : weblog expert Lite(IIS访问日志分析器)使用图文方法介绍
Weblog expert是一个快速和强大的访问日志分析器。这会让你了解你的网站的访客：活动统计，访问的文件的路径，通过该网站，信息指页面，搜索引擎，浏览器，操作系统，和更多。该计划所产生的易于阅读的报告，包括文本信息（表）和图表。
1，首先分析IIS上的log，找到要测试的站点的log文件地址，右键属性切换tab为web site，如下图所示可以看到log的地址。
2，导出log，但是IIS上的log是分天的，例如今天的log日志记录为ex20140617.log，如果使用性能分析工具的话，希望把所有的log进行合并，这时候就要写一个批处理程序。
新建txt文档，在log日志的目录下，编辑文档为：type *.log>>all.log，保存为cindy.bat文件。双击bat文件，即可生成all.log文件。
3，下载weblog expert文件，这个地址就不给了，百度一下一堆。
4，下载后安装，安装就不用说了。
5，打开weblog expert程序，点击new。
6，填好log的方式，楼主这边用的本地，如果你不能上服务器也可以用ftp方式。Path不用说，大家都知道，是路径。
7，然后下一步，下一步，基本就默认的到完成。双击一下，就可以看到结果了。
因为是运行在windows平台上的一个程序，安装过程非常简单，不懂的话，一路next 就可以完成软件的安装。
双击打开我们的程序，下面创建一个日志分析。
点击new按钮，打开创建对话框。
Perfile ：填写你网站的名称
Domain ： 输入你的网站的网址
Index ： 分析网站的页面。
Retrieve page tit （检索页面标题）
Lookup DNS names （查看DNS 名称）
Custom analysis sett （自定义分析设置） 勾选之后，打开自定义分析设置对话框。
Log ：选择日志文件文件类型，local file 文件，我们可以把日志文件拷贝到本地进行选择。
Path : 用来添加本地文件的路径。
当然，加入你的日志在服务器上，你又不想把日志下载到本地，在的你log 选择的为FTP类型，将会打开FTP界面。
上面的选项就不介绍了，假如你使用过FTP工具的话。
这一步，我们来选择分析log的时间，假如，我们的日志文件是记录最近10天的日志，但我只想分析最近一周的日志信息。那么，可以在这里调整。
Create HTML reports for additional tim （创建更多的定时报告）
创建其他类型的报告，如最后一天、持续7天、最近几个月，等时间产生的报告格式。
跟踪文件的文件的详细信息显示，它也可能追踪。点击add 添加跟踪跟踪文件。
track paid search and go （付费搜索和跟踪） 这个对于初学者就不用勾选了。^_^
Destination ：保存位置。当然是本地，你也可以选择保存FTP 服务器上。
Format ：生成文件有格式
Folder ：生成文件的路径
Remove old report files from the specified form （删除旧报告文件指定的形式）
Create click overlay report （创建点击覆盖报告）
Custom report conte （创建图表）
Create charts insted of （创建图表上下文）
Show generated report （显示生成的报告）
点击完成，报告就会生成。如果你不是太理解的话，选择要分析日志文件，后面都可以默认，即可完成整个创建过程。
双击创建例表中的文件，即可打开一分项目分析报告。Html格式。
61阅读| 精彩专题| 最新文章| 热门文章| 苏ICP备13036349号-1