Fork me on GitHub

Azure Application Insights REST API使用教程

本文是Azure Application Insights REST API的简单介绍,并会包含一个通过Python消费API的示例/小工具。

新加入的team中的一项工作是制作日常的运维报表,制作方式是手工前往portal.azure.com,在网页中多次执行不同的查询语句、导出excel,之后再人工进行合并、分组、汇总、分析等等。这是一个繁琐的过程,其中大部分步骤其实不值得花费人工,应该交给程序。为了自动化这一过程,降低报表的制作成本,我尝试使用了Azure Application Insights REST API查询数据,使用python客户端进行处理、输出。下面把相关的一些知识和经验写在这里。

 

本文链接:https://www.cnblogs.com/hhelibeb/p/11543295.html 

原创内容,转载请注明

Application Insights

Application Insights是Azure平台的监控功能的一部分,用于收集、分析和处理来自Azure或其它本地环境的遥测数据。它包含强有力的分析工具,可以帮助你发现问题、诊断问题、理解用户在app上的行为,可以支持你持续地改进应用的性能和可用性。它可以和DevOps过程集成,和很多开发工具有连接点。

它支持多种语言和框架,比如.NET, Java, 和Node.js等。

更多信息,参考:What is Application Insights?

 

 

Application Insights REST API

除了在Azure中使用外,Application Insights收集的数据也可以通过REST API获取,这使得你可以用自己的其它应用来使用相关数据。API可以分为3种:

  1. Metrics: 用于查询聚合结果,比如一定时间范围内的系统异常总数量。

  2. Events: 使用OData语法访问event数据,支持$filter, $orderBy, $search, $apply, $top, $skip and $format,可以返回单独的event数据或者event集的聚合数据。

  3. Query: 允许用户发送和在Application Insights Analytics中一样的Query查询数据,返回数据的同时也会返回数据的schema。这是我用到的类型。

格式

API的格式如下,

    https://{hostname}/{api-version}/apps/{resource}/{area}/[path]?[parameters]

其中,

  1. hostname: api.applicationinsights.io
  2. resource: Application ID ,也就是你的Application Insights app的唯一标识符,可以在app的API Access选项中看到,见下图。(注意:这不是Instrumentation Key,不要用错)
  3. api-version: 路径中需要包含API versions,Beta或v1。
  4. area: 3中查询类型之一metrics, events或query。
  5. path: 查询的详细信息,比如要查询哪个metric。 
  6. parameters: 和path相关的具体参数。

(这里是有关Public API format的部分,此外还有Azure API format

认证

需要使用上文提到的Application ID和下面提到的API Key来访问API,否则调用接口会失败,返回认证错误的消息,比如,

AuthorizationRequiredError:"Valid authentication was not provided"。
 

在API Access选项下选择Create API key,填写描述并勾选"Read telemetry"。

点击Generate key,会得到一个key字符串。注意,在这里必须保存key,因为关闭页面之后,无法通过任何方式再查询到生成的key。如果key丢失,只能重建另一个key。

访问

有了Application ID和API key,就可以访问API了。

这个页面有一个很好的例子,可以参考:

GET/Query

可以用postman之类的工具测试http请求。

限制

注意,query中使用的Kusto查询引擎是一个即席查询引擎(ad-hoc query engine),它会尝试在内存中保存全部相关数据来满足查询,这导致查询可能会无限制地占用服务资源,带来风险。因此,Kusto提供了一些内置的查询限制以避免风险。比如,单次查询的结果大小不可以超过64MB。

更多限制,请参考:Query limits 

自己写的query工具

因为程序可能需要对不同的Application Insight的不同的API执行不同的Query,因此,基本的处理思路是在配置文件中配置相关信息,程序从配置文件中读取需要执行的全部query,逐一查询后,返回结果列表。

下面是json格式的配置文件(profile.json)和python代码。

配置文件

{
    "application_insight": {
        "host": "api.applicationinsights.io",
        "apps": {
            "my-app-insights": {
                "id": "d1e9f429-c437-6034b32df878",
                "description": "it is an example",
                "apis": {
                    "exception_monitor": {
                        "description": "daily report",
                        "key": "01234qwerrttyypolmknbshjdfggu",
                        "version": "v1"
                    }
                }
            }
        },
        "queries": [
            {
                "name": "query1",
                "app": "my-app-insights",
                "api": "exception_monitor",
                "statement": "exceptions | where operation_Name == \"\"",
                "time_field_name": "timestamp"
            },
            {
                "name": "query2",
                "app": "my-app-insights",
                "api": "exception_monitor",
                "statement": "exceptions | where operation_Name contains \"AdapterV1\"",
                "time_field_name": "timestamp"
            }
        ],
        "default_filter": {
            "time_range": "between( endofday( now(), -8) .. endofday( now(), -1) )"
        }
    }
}

说明,

  • host:固定值http://api.applicationinsights.io
  • apps:Application Insight相关数据。
  • apis:Api相关数据。
  • queries:需要执行的query。
  • default_filter:默认的查询条件,目前只有默认时间功能,例子里的条件是最近7个整天。

查询

查询代码如下:

import requests
import json
import asyncio


async def request_get(url, headers, name):
    return {name: json.loads(requests.get(url, headers=headers).text)}


async def __execute_query(config):

    default_filter = config["default_filter"]
    http_requests = []
    for query in config["queries"]:
        app = config["apps"][query["app"]]
        api = app["apis"][query["api"]]
        query_url = f'''https://{config["host"]}/{api["version"]}/apps/{app["id"]}/query?query={query["statement"]}'''
        if query["time_field_name"] and default_filter["time_range"]:
            query_url = query_url + f''' and {query["time_field_name"]} {default_filter["time_range"]} '''
        headers = {'X-Api-Key': api["key"]}
        http_requests.append(request_get(query_url, headers, query["name"]))

    return await asyncio.gather(*http_requests)


def execute_query():

    with open('profile.json', 'r') as config_file:
        query_config = json.load(config_file)["application_insight"]

    return asyncio.run(__execute_query(query_config))

 

基本思路是从配置文件加载queries,逐个放入任务列表中,最后统一并发执行、获取结果。

其中使用了request发送http请求、asyncio实现并发。

总结

本文是我关于Azure Application Insights REST API的知识和实践的总结。这不是Azure Application Insights REST API的全部,可以参考微软文档以获取更多信息。

posted @ 2019-09-21 13:42  氢氦  阅读(...)  评论(... 编辑 收藏