摘要: 前言:在地球物理勘探,流体空间分布等多种场景中,定位空间点P(x,y,x)的物理属性值Q,并绘制三维空间分布图,对我们洞察空间场景有十分重要的意义。 1. 三维立体图的基本要件: 全空间网格化 网格节点的物理属性值 2.数据准备 数据不易贴,我放在了百度网盘: "点击下载数据" ,网盘失效了,有要的 阅读全文
posted @ 2016-12-17 14:00 杨文波 阅读(5497) 评论(1) 推荐(2) 编辑
摘要: Azure Devops中的variable group建议或者只能(?)添加string类型的value。基于此我们想在variable group实现array或者hashtable的传递的核心思路就是先定义出合适易转换的字符串, 然后将字符串转为我们想要的array和hashtable。为了测 阅读全文
posted @ 2019-07-26 15:48 杨文波 阅读(283) 评论(0) 推荐(0) 编辑
摘要: 我们在Azure DevOps中设置参数的时候,可以使用build,release各自的variables,但是各自的变量不能共用。此时我们需要使用variable group,它允许跨Build和Release来共享公共变量。 我们常规是做法是手动创建一个variable group,然后手动添加 阅读全文
posted @ 2019-07-26 15:17 杨文波 阅读(473) 评论(0) 推荐(0) 编辑
摘要: 众所周知,Azure提供了整套的rest api,经过认证和授权,完美阐述了”我是谁,我能做什么“。对资源层的操作,我们很多时候是使用Powershell或者Azure CLI或者各个语言的SDK, 当然我们也可以直接使用rest api去做。这里有个例子演示了如何去用rest api 拿到一个az 阅读全文
posted @ 2019-06-26 15:02 杨文波 阅读(1586) 评论(0) 推荐(0) 编辑
摘要: 一、在PowerBI portal端需要准备的操作: 1. https://app.powerbi.cn 登陆,点击左侧My Workspace,你需要有一个账号 2. 选入Datasets,点击页面右上角的Creat,添加Streaming dataset 3.添加API{ } 4.记录Push 阅读全文
posted @ 2018-10-23 14:20 杨文波 阅读(1054) 评论(0) 推荐(0) 编辑
摘要: 本段代码是个通用性很强的sample code,不仅能够操作AAD本身,也能通过Azure Service Principal的授权来访问和控制Azure的订阅资源。(Azure某种程度上能看成是两个层级:AAD+Subscription) 下文中的代码是演示的screenshot中的红字2的部分。 阅读全文
posted @ 2018-10-23 14:08 杨文波 阅读(624) 评论(0) 推荐(0) 编辑
摘要: 一、数据来源 二、技术实现要点 三、实现伪代码 调节N 的大小,可以得到一系列切割图。 四、实现代码第二部分(此段代码不注重切割方向) 如下代码直接和上述代码写在一起即可,第二部分代码有部分为参考他人的写法 效果图如下: 立体包络面展示 效果图: 阅读全文
posted @ 2018-10-23 13:56 杨文波 阅读(3806) 评论(1) 推荐(1) 编辑
摘要: 本文简单提供了一个Azure powershell脚本,能实现如下功能 主体逻辑大致如上,你可以自己优化一下。Line 11是登陆China Azure的,登陆global Azure移除参数即可。 如果你对Azure ARM 不了解,可以参考如下,进行深入学习:ARM templateAzure 阅读全文
posted @ 2018-10-23 13:49 杨文波 阅读(183) 评论(0) 推荐(0) 编辑
摘要: 一. 关于 "Azure Key Vault" Azure 密钥保管库可帮助保护云应用程序和服务使用的加密密钥和机密。 借助 Key Vault,可使用密钥来加密密钥和机密(例如身份验证密钥、存储帐户密钥、数据加密密钥、.PFX 文件和密码)。密钥保管库简化了密钥管理过程,可让你控制用于访问和加密数 阅读全文
posted @ 2018-10-23 13:45 杨文波 阅读(618) 评论(0) 推荐(0) 编辑
摘要: 通过Powershell 登陆Azure(Azure MoonCake为例)一般常见的有两种方式 1. 用户交互式登陆 前提条件:有一个AAD account 此种登陆方式会弹出一个登陆框,让你输入一个.onmschina.cn的账号,然后根据选择的订阅操作相应的资源。 缺点:会弹出登陆框,让你输入 阅读全文
posted @ 2018-10-23 13:41 杨文波 阅读(4115) 评论(0) 推荐(0) 编辑
摘要: 一、前言:本文是个实践博客,演示如何结合使用自定义库和 HDInsight 上的 Spark 来分析日志数据。 我们使用的自定义库是一个名为 iislogparser.py 的 Python 库。 1. 每步的输入和对应的输出 2. 纠正了 "原文" 中一个因版本引起的小问题 前提:你先在Azure 阅读全文
posted @ 2018-10-23 13:28 杨文波 阅读(462) 评论(0) 推荐(0) 编辑
摘要: 前言:同学们在用pip install的时候,可能会遇到MemoryError的问题 报错如下,看最后一行的memory error关键字: 报错的原因大致如下:(详细细节可以查看 "此处" ) This error is coming up because, it seems, pip's cac 阅读全文
posted @ 2018-10-23 13:09 杨文波 阅读(3407) 评论(0) 推荐(1) 编辑
摘要: 前言:本文通过安装配置Jenkins实现邮件通知,告知一个C Git Repo的build成功与否 一、预配条件 1. 在windows上安装Jenkins和它推荐安装的Plugins 2. 创建一个@163.com邮箱账号,用来发送邮件 3. 准备一个测试用的git repo,此处我提供了 "ht 阅读全文
posted @ 2018-10-23 13:01 杨文波 阅读(642) 评论(0) 推荐(0) 编辑
摘要: 一、使用背景 在涉及Azure service Fabric的自动化应用场景中,依赖于Service Fabric的Azure Powershell cmdlets,我们可以使用Jenkins能实现cicd,当然VSTS也是一种选择。 二、报错现象 在Jenkins的Console output中, 阅读全文
posted @ 2018-10-23 11:24 杨文波 阅读(355) 评论(0) 推荐(0) 编辑
摘要: 使用场景 当Elasticsearch集群中有节点挂掉,我们可以去查看集群的日志信息查找错误,不过在查找错误日志之前,我们可以通过elasticsearch的 "cat api" 简单判断下各个节点的状态,包括磁盘,heap,ram的使用情况,先做初步判断。 在浏览器中输入: 修正 localhos 阅读全文
posted @ 2018-10-22 20:20 杨文波 阅读(7346) 评论(0) 推荐(1) 编辑
摘要: 前言:本文主要演示了如何通过c 来操作elasticsearch,分两个方面来演示: 索引数据 搜索数据 Note: 注意我索引数据和搜索数据是两个不同的例子,没有前后依赖关系 准备工作:需要在visual studio 用NuGet 搜索 NEST,下载NEST 2.3即可 注意elasticse 阅读全文
posted @ 2018-10-22 20:18 杨文波 阅读(2487) 评论(0) 推荐(0) 编辑
摘要: 本文的来源是我翻译国外的一篇技术博客,感谢原作者Emily Chang, "原文地址" 通过如下的知识,我们能大致学到关于ES的一些基本知识,进而对elasticsearch的性能进行监控和调优 注意elasticsearch的版本不同,此处的描述可能会有稍许偏差 一、Elasticsearch 是 阅读全文
posted @ 2018-10-22 20:08 杨文波 阅读(1949) 评论(0) 推荐(0) 编辑
摘要: 前言:GC 时间过长是个常见的问题,下文我将对应的现象和解决方案进行阐述。为什么这么解决,可以参考我的另外一个博客中的内存使用和GC指标这个章节 我们有时会发现elasticsearch集群挂掉,或者有点数据节点脱离集群,这里有可能是GC方面的原因,实质是内存的原因。 一、日志表现 二、解决办法 出 阅读全文
posted @ 2018-10-22 18:41 杨文波 阅读(5144) 评论(0) 推荐(0) 编辑
摘要: 前言:本文为参考他人的文章,是一篇学习记录型博客。理解linux的系统缓存机制有助于理解elasticsearch实时更新的原理。 一、缓存机制 为了提高文件系统性能,内核利用一部分物理内存分配出缓冲区,用于缓存系统操作和数据文件,当内核收到读写的请求时,内核先去缓存区找是否有请求的数据,有就直接返 阅读全文
posted @ 2018-10-22 17:57 杨文波 阅读(414) 评论(0) 推荐(0) 编辑
摘要: 本文为es性能监控基础的扩展,大家可以先看下性能监控基础,熟悉下es的基本原理。为翻译性质文档,感谢原作者,原始文档地址 类似于汽车的运行方式,Elasticsearch旨在让用户快速上手和运行,而无需了解其所有的内部工作。然而我们在使用过程中,总会遇到这样那样的问题。下文将介绍Elasticsea 阅读全文
posted @ 2018-10-22 17:53 杨文波 阅读(6237) 评论(0) 推荐(0) 编辑
摘要: 前言:本文为学习整理实践他人成果的记录型博客。在此统一感谢各原作者,如果你对基础知识不甚了解,可以通过查看 "Elasticsearch权威指南中文版" , 此处注意你的elasticsearch版本,版本不一样,可能有偏差 Q1: Elasticsearch是如何实现Master选举的 1. El 阅读全文
posted @ 2018-10-22 17:45 杨文波 阅读(884) 评论(0) 推荐(0) 编辑
摘要: 一、完整过程比较长,我仅给出Azure vm extension script 一键部署Elasticsearch集群的安装脚本,有需要的同学,可以邮件我,我给你完整的ARM Template 如果你不是用Azure VM ,也没关系,我的bash脚本都是一个个的函数,你可以自己改造成自己的Linu 阅读全文
posted @ 2018-10-22 17:40 杨文波 阅读(251) 评论(0) 推荐(0) 编辑
摘要: Logstash解析IIS日志的核心在于logstash配置文件 IIS 日志位置和格式如下: logstash配置文件如下 从Elasticsearch看解析后的IIS日志 IIS日志的各种信息,包括浏览器信息等,都被解析出来 阅读全文
posted @ 2018-10-22 17:22 杨文波 阅读(532) 评论(0) 推荐(0) 编辑
摘要: 在某些情况下,有些日志文本文件类json,但它的是单引号,具体格式如下,我们需要根据下列日志数据,获取正确的字段和字段类型 此时我们如果当json直接用 "logstash Json filter plugin" 来解析会如下报错 此处我认为简单的做法是替换单引号为双引号,替换过程应用了 "logs 阅读全文
posted @ 2018-10-22 16:59 杨文波 阅读(11800) 评论(0) 推荐(0) 编辑
摘要: 一、场景:此文以一个简单的json字符串文件为例,描述如何用logstash解析嵌套的json,并删除其中的某些字段 我们在linux中test.json的内容如下: 为了方便查看,formate后,为如下格式 二、目的: 我们需要解析这个json,并且删除json中 "src_ip" 字段和 "h 阅读全文
posted @ 2018-10-22 16:50 杨文波 阅读(3050) 评论(0) 推荐(0) 编辑
摘要: logstash解析json数组是一种常见的需求,我以网上一组数据为例来描述 我们的数据test.json内容如下:(此处我linux上的json文本需要是compact的) 为了方便看清楚内容,我们format后查看: 我们可以看到 bean 字段下是一个json数组,解析这种json数组,我们需 阅读全文
posted @ 2018-10-22 16:46 杨文波 阅读(5962) 评论(1) 推荐(0) 编辑