tiemei

只有转化成自己的语言,才算理解了

top log平台

完整的top log体系包括:

  1. top log 分析器:抓取应用日志,分析得到增量报表和日报
  2. Xray监控中心:实时监控平台,独立于1,http://baike.corp.taobao.com/index.php/Xray-Alarm
  3. 报表展示平台:http://baike.corp.taobao.com/index.php/Xray-portal

分析器

片段报表定义格式如下:

<!-- 片段报表 -->
        <report id="globalPvReport_" file="pvReport" period="true">
            <entryList>
                <entry key="timestamp" name="FeaturePV" value="count()"
                    condition="$tag$=trident_features" mapClass="com.taobao.top.analysis.statistics.map.TimeKeyMapper"
                    mapParams="minute:5" />
                <entry key="timestamp" name="FeatureRT" value="average($3$)" valuefilter="&gt;=0&amp;isnumber&amp;round:2"
                    condition="$tag$=trident_features" mapClass="com.taobao.top.analysis.statistics.map.TimeKeyMapper"
                    mapParams="minute:5" />
                <entry key="timestamp" name="ActivityPV" value="count()"
                    condition="$tag$=trident_activity" mapClass="com.taobao.top.analysis.statistics.map.TimeKeyMapper"
                    mapParams="minute:5" />
                <entry key="timestamp" name="ActivityRT" value="average($3$)" valuefilter="&gt;=0&amp;isnumber&amp;round:2"
                    condition="$tag$=trident_activity" mapClass="com.taobao.top.analysis.statistics.map.TimeKeyMapper"
                    mapParams="minute:5" />
                <entry key="timestamp" name="RanklistPV" value="count()"
                    condition="$tag$=trident_ranklist" mapClass="com.taobao.top.analysis.statistics.map.TimeKeyMapper"
                    mapParams="minute:5" />
                <entry key="timestamp" name="RanklistRT" value="average($3$)" valuefilter="&gt;=0&amp;isnumber&amp;round:2"
                    condition="$tag$=trident_ranklist" mapClass="com.taobao.top.analysis.statistics.map.TimeKeyMapper"
                    mapParams="minute:5" />
                <entry name="时间段" key="timestamp" value="plain($timestamp$)"
                    condition="$tag$=trident_features||$tag$=trident_activity||$tag$=trident_ranklist||$tag$=trident_features_cache"
                    mapClass="com.taobao.top.analysis.statistics.map.TimeMapper"
                    mapParams="minute:5" />
            </entryList>
        </report>

其中,mapParams="ninuts:5"表示片段报表每5分钟做一次数据归并

基于分析器每一轮执行时间(最小的分析时间片),全量数据报表更新时间(默认3分钟,可配置)做了一次数据归并,但是监控和界面报表展示的更新周期不同,需要额外的数据归并。

监控+报表展示

监控中心支持接入的数据类型有:

  1. 日志文件(由top log分析器分析得到csv文件入库,才能报表展示及监控报警)
  2. DB中的数据(也需要方向建模)
  3. 提供HSF、http接口,用户可直接发送消息(需要提前建模)

 

posted on 2013-02-18 11:08  tiemei  阅读(485)  评论(0)    收藏  举报

导航