摘要：
前言：在地球物理勘探，流体空间分布等多种场景中，定位空间点P（x,y,x）的物理属性值Q，并绘制三维空间分布图，对我们洞察空间场景有十分重要的意义。 1. 三维立体图的基本要件： 全空间网格化 网格节点的物理属性值 2.数据准备 数据不易贴，我放在了百度网盘： "点击下载数据" ,网盘失效了，有要的 阅读全文
摘要：
Azure Devops中的variable group建议或者只能（？）添加string类型的value。基于此我们想在variable group实现array或者hashtable的传递的核心思路就是先定义出合适易转换的字符串， 然后将字符串转为我们想要的array和hashtable。为了测 阅读全文
摘要：
我们在Azure DevOps中设置参数的时候，可以使用build,release各自的variables，但是各自的变量不能共用。此时我们需要使用variable group，它允许跨Build和Release来共享公共变量。 我们常规是做法是手动创建一个variable group，然后手动添加 阅读全文
摘要：
众所周知，Azure提供了整套的rest api，经过认证和授权，完美阐述了”我是谁，我能做什么“。对资源层的操作，我们很多时候是使用Powershell或者Azure CLI或者各个语言的SDK， 当然我们也可以直接使用rest api去做。这里有个例子演示了如何去用rest api 拿到一个az 阅读全文
摘要：
一、在PowerBI portal端需要准备的操作： 1. https://app.powerbi.cn 登陆，点击左侧My Workspace，你需要有一个账号 2. 选入Datasets，点击页面右上角的Creat,添加Streaming dataset 3.添加API{ } 4.记录Push 阅读全文
摘要：
本段代码是个通用性很强的sample code，不仅能够操作AAD本身，也能通过Azure Service Principal的授权来访问和控制Azure的订阅资源。（Azure某种程度上能看成是两个层级：AAD+Subscription） 下文中的代码是演示的screenshot中的红字2的部分。 阅读全文
摘要：
一、数据来源 二、技术实现要点 三、实现伪代码 调节N 的大小，可以得到一系列切割图。 四、实现代码第二部分（此段代码不注重切割方向） 如下代码直接和上述代码写在一起即可，第二部分代码有部分为参考他人的写法 效果图如下： 立体包络面展示 效果图： 阅读全文
摘要：
本文简单提供了一个Azure powershell脚本，能实现如下功能 主体逻辑大致如上，你可以自己优化一下。Line 11是登陆China Azure的，登陆global Azure移除参数即可。 如果你对Azure ARM 不了解，可以参考如下，进行深入学习：ARM templateAzure 阅读全文
摘要：
一. 关于 "Azure Key Vault" Azure 密钥保管库可帮助保护云应用程序和服务使用的加密密钥和机密。 借助 Key Vault，可使用密钥来加密密钥和机密（例如身份验证密钥、存储帐户密钥、数据加密密钥、.PFX 文件和密码）。密钥保管库简化了密钥管理过程，可让你控制用于访问和加密数 阅读全文
摘要：
通过Powershell 登陆Azure（Azure MoonCake为例）一般常见的有两种方式 1. 用户交互式登陆 前提条件：有一个AAD account 此种登陆方式会弹出一个登陆框，让你输入一个.onmschina.cn的账号，然后根据选择的订阅操作相应的资源。 缺点：会弹出登陆框，让你输入 阅读全文
摘要：
一、前言：本文是个实践博客，演示如何结合使用自定义库和 HDInsight 上的 Spark 来分析日志数据。 我们使用的自定义库是一个名为 iislogparser.py 的 Python 库。 1. 每步的输入和对应的输出 2. 纠正了 "原文" 中一个因版本引起的小问题 前提：你先在Azure 阅读全文
摘要：
前言：同学们在用pip install的时候，可能会遇到MemoryError的问题 报错如下，看最后一行的memory error关键字： 报错的原因大致如下：（详细细节可以查看 "此处" ） This error is coming up because, it seems, pip's cac 阅读全文
摘要：
前言：本文通过安装配置Jenkins实现邮件通知，告知一个C Git Repo的build成功与否 一、预配条件 1. 在windows上安装Jenkins和它推荐安装的Plugins 2. 创建一个@163.com邮箱账号，用来发送邮件 3. 准备一个测试用的git repo，此处我提供了 "ht 阅读全文
摘要：
一、使用背景 在涉及Azure service Fabric的自动化应用场景中，依赖于Service Fabric的Azure Powershell cmdlets，我们可以使用Jenkins能实现cicd，当然VSTS也是一种选择。 二、报错现象 在Jenkins的Console output中， 阅读全文
摘要：
使用场景 当Elasticsearch集群中有节点挂掉，我们可以去查看集群的日志信息查找错误，不过在查找错误日志之前，我们可以通过elasticsearch的 "cat api" 简单判断下各个节点的状态，包括磁盘，heap，ram的使用情况，先做初步判断。 在浏览器中输入： 修正 localhos 阅读全文
摘要：
前言：本文主要演示了如何通过c 来操作elasticsearch，分两个方面来演示： 索引数据 搜索数据 Note: 注意我索引数据和搜索数据是两个不同的例子，没有前后依赖关系 准备工作：需要在visual studio 用NuGet 搜索 NEST，下载NEST 2.3即可 注意elasticse 阅读全文
摘要：
本文的来源是我翻译国外的一篇技术博客，感谢原作者Emily Chang， "原文地址" 通过如下的知识，我们能大致学到关于ES的一些基本知识，进而对elasticsearch的性能进行监控和调优 注意elasticsearch的版本不同，此处的描述可能会有稍许偏差 一、Elasticsearch 是 阅读全文
摘要：
前言：GC 时间过长是个常见的问题，下文我将对应的现象和解决方案进行阐述。为什么这么解决，可以参考我的另外一个博客中的内存使用和GC指标这个章节 我们有时会发现elasticsearch集群挂掉，或者有点数据节点脱离集群，这里有可能是GC方面的原因，实质是内存的原因。 一、日志表现 二、解决办法 出 阅读全文
摘要：
前言：本文为参考他人的文章，是一篇学习记录型博客。理解linux的系统缓存机制有助于理解elasticsearch实时更新的原理。 一、缓存机制 为了提高文件系统性能，内核利用一部分物理内存分配出缓冲区，用于缓存系统操作和数据文件，当内核收到读写的请求时，内核先去缓存区找是否有请求的数据，有就直接返 阅读全文
摘要：
本文为es性能监控基础的扩展，大家可以先看下性能监控基础，熟悉下es的基本原理。为翻译性质文档，感谢原作者,原始文档地址 类似于汽车的运行方式，Elasticsearch旨在让用户快速上手和运行，而无需了解其所有的内部工作。然而我们在使用过程中，总会遇到这样那样的问题。下文将介绍Elasticsea 阅读全文
摘要：
前言：本文为学习整理实践他人成果的记录型博客。在此统一感谢各原作者，如果你对基础知识不甚了解，可以通过查看 "Elasticsearch权威指南中文版" , 此处注意你的elasticsearch版本，版本不一样，可能有偏差 Q1: Elasticsearch是如何实现Master选举的 1. El 阅读全文
摘要：
一、完整过程比较长，我仅给出Azure vm extension script 一键部署Elasticsearch集群的安装脚本，有需要的同学，可以邮件我，我给你完整的ARM Template 如果你不是用Azure VM ，也没关系，我的bash脚本都是一个个的函数，你可以自己改造成自己的Linu 阅读全文
摘要：
Logstash解析IIS日志的核心在于logstash配置文件 IIS 日志位置和格式如下： logstash配置文件如下 从Elasticsearch看解析后的IIS日志 IIS日志的各种信息，包括浏览器信息等，都被解析出来 阅读全文
摘要：
在某些情况下，有些日志文本文件类json，但它的是单引号，具体格式如下，我们需要根据下列日志数据，获取正确的字段和字段类型 此时我们如果当json直接用 "logstash Json filter plugin" 来解析会如下报错 此处我认为简单的做法是替换单引号为双引号，替换过程应用了 "logs 阅读全文
摘要：
一、场景：此文以一个简单的json字符串文件为例，描述如何用logstash解析嵌套的json，并删除其中的某些字段 我们在linux中test.json的内容如下： 为了方便查看，formate后，为如下格式 二、目的： 我们需要解析这个json，并且删除json中 "src_ip" 字段和 "h 阅读全文
摘要：
logstash解析json数组是一种常见的需求，我以网上一组数据为例来描述 我们的数据test.json内容如下：(此处我linux上的json文本需要是compact的) 为了方便看清楚内容，我们format后查看： 我们可以看到 bean 字段下是一个json数组，解析这种json数组，我们需 阅读全文