陌上花开

摘要： #!/bin/bash cat > /etc/ecs/ecs.config ECS_CLUSTER=MyCluster ECS_ENGINE_AUTH_TYPE=docker ECS_ENGINE_AUTH_DATA={"https://index.docker.io/v1/":{"username":"my_name","password":"my_password","email":"ema... 阅读全文

摘要： 1、私钥登录aws的ec2机器，一般都是通过命令行，如： ssh -i xxx.pem ec2-user@IP -p port_num 2、如果想通过SecureCRT登录ec2，则需要把xxx.pem 文件转化成 xxx.pem.pub 文件 3、转化成pub 文件后，配置SecureCRT登录e 阅读全文

摘要： 背景： 大量falcon 监控数据打到kinesis，然后把kinesis内的数据以json格式实时备份到s3上（临时备份），为了降低成本，减少S3空间占用以及后期数据分析，计划把s3上的json文件转储成parquet文件。 使用服务：glue(脚本作业)+lambda（定时触发glue脚本）+c 阅读全文

摘要： 1、开发环境 python版本：3.6 spark版本：2.3.1 pyspark：2.3.1 2、脚本 阅读全文

摘要： 一、windows 安装 1、下载spark http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz 2、配置spark 环境变量 set SPARK_HOME=d:\spark2.3.1 set PATH=%SPARK_HOME%\bin;%PATH% 3、... 阅读全文

摘要： str = '\u4eac\u4e1c\u653e\u517b\u7684\u722c\u866b' 方法1 使用unicode_escape 解码 print str.decode('unicode_escape') print unicode(str, 'unicode_escape') 方法2：若为json 格式，使用json.loads 解码 print json.loads... 阅读全文

摘要： # """ 调用菜品识别 """ # print(client.dishDetect(image)) # """ 调用logo商标识别 """ # print(client.logoSearch(image)) # """ 调用动物识别 """ # print(client.animalDetect 阅读全文

摘要： 最近在做把elk告警日志发送到kinesis 流，供后续数据分析处理使用。。。。。。。。 基于尽量不修改elastalert ，把修改工作放到接收端服务的原则。计划把elk的告警数据通过远程api的接口的形式发送到接收端，然后由接收端处理接收到的数据，并传送保存到kinesis 中。 从网上搜索了下 阅读全文

摘要： 1、方法一def utc_to_local(utc_time_str, utc_format='%Y-%m-%dT%H:%M:%S.%fZ'): local_tz = pytz.timezone('Asia/Shanghai') local_format = "%Y-%m-%d %H:%M:%S" utc_dt = datetime.strptime(utc_time_s... 阅读全文

摘要： 1、改造alarm模块，发送告警数据到kinesis（个人备忘） 阅读全文