top log平台
完整的top log体系包括:
- top log 分析器:抓取应用日志,分析得到增量报表和日报
- Xray监控中心:实时监控平台,独立于1,http://baike.corp.taobao.com/index.php/Xray-Alarm
- 报表展示平台:http://baike.corp.taobao.com/index.php/Xray-portal
分析器
片段报表定义格式如下:
<!-- 片段报表 --> <report id="globalPvReport_" file="pvReport" period="true"> <entryList> <entry key="timestamp" name="FeaturePV" value="count()" condition="$tag$=trident_features" mapClass="com.taobao.top.analysis.statistics.map.TimeKeyMapper" mapParams="minute:5" /> <entry key="timestamp" name="FeatureRT" value="average($3$)" valuefilter=">=0&isnumber&round:2" condition="$tag$=trident_features" mapClass="com.taobao.top.analysis.statistics.map.TimeKeyMapper" mapParams="minute:5" /> <entry key="timestamp" name="ActivityPV" value="count()" condition="$tag$=trident_activity" mapClass="com.taobao.top.analysis.statistics.map.TimeKeyMapper" mapParams="minute:5" /> <entry key="timestamp" name="ActivityRT" value="average($3$)" valuefilter=">=0&isnumber&round:2" condition="$tag$=trident_activity" mapClass="com.taobao.top.analysis.statistics.map.TimeKeyMapper" mapParams="minute:5" /> <entry key="timestamp" name="RanklistPV" value="count()" condition="$tag$=trident_ranklist" mapClass="com.taobao.top.analysis.statistics.map.TimeKeyMapper" mapParams="minute:5" /> <entry key="timestamp" name="RanklistRT" value="average($3$)" valuefilter=">=0&isnumber&round:2" condition="$tag$=trident_ranklist" mapClass="com.taobao.top.analysis.statistics.map.TimeKeyMapper" mapParams="minute:5" /> <entry name="时间段" key="timestamp" value="plain($timestamp$)" condition="$tag$=trident_features||$tag$=trident_activity||$tag$=trident_ranklist||$tag$=trident_features_cache" mapClass="com.taobao.top.analysis.statistics.map.TimeMapper" mapParams="minute:5" /> </entryList> </report>
其中,mapParams="ninuts:5"表示片段报表每5分钟做一次数据归并
基于分析器每一轮执行时间(最小的分析时间片),全量数据报表更新时间(默认3分钟,可配置)做了一次数据归并,但是监控和界面报表展示的更新周期不同,需要额外的数据归并。
监控+报表展示
监控中心支持接入的数据类型有:
- 日志文件(由top log分析器分析得到csv文件入库,才能报表展示及监控报警)
- DB中的数据(也需要方向建模)
- 提供HSF、http接口,用户可直接发送消息(需要提前建模)
浙公网安备 33010602011771号