摘要：
# -*- coding: utf-8 -*- __author__ = 'amcoder' __time__ = 2019 / 5 / 22 __function__ = '' """ 1、执行带参数的SQL时，请先用sql语句指定需要输入的条件列表，然后再用tuple/list进行条件批配 ２、 阅读全文
posted @ 2020-11-03 15:52
亮剑-胜哥
阅读(623)
评论(0)
推荐(0)
摘要：
产生背景：某天领导说需要将Oracle中的一些表导入到es中，于是就开始了..... 方案说明 人生苦短我用py，直接jdbc连接，批量读取，存储es轻轻松松？ 干大数据的怎么能少的了spark或flink？一个离线批处理不就ok了？ 既然目标端是es那么还是用它自家产品logstash，轻松配置， 阅读全文
posted @ 2020-11-03 15:49
亮剑-胜哥
阅读(1841)
评论(0)
推荐(0)
摘要：
值类型和引用类型 值类型 值类型变量都存储在堆栈中。 访问值类型变量时，一般都是直接访问其实例。 每个值类型变量都有自己的数据副本，因此对一个值类型的变量的操作不会影响其他的变量。 复制值类型变量时，复制的是变量的值，而不是变量的地址。 值类型变量不能为null，必须具有一个确定的值。 引用类型 必 阅读全文
posted @ 2020-11-03 14:57
亮剑-胜哥
阅读(103)
评论(0)
推荐(0)
摘要：
强类型语言/弱类型语言，静态类型语言/动态类型语言概念和区别 强类型语言：使之强制数据类型定义的语言。没有强制类型转化前，不允许两种不同类型的变量相互操作。强类型定义语言是类型安全的语言。 弱类型语言：数据类型可以被忽略的语言。与强类型语言相反, 一个变量可以赋不同数据类型的值，允许将一块内存看做多 阅读全文
posted @ 2020-11-03 14:56
亮剑-胜哥
阅读(143)
评论(0)
推荐(0)
摘要：
Session和Cookie Session session是一种记录用户状态的机制，不同的是cookie保存在客户端，而session保存在服务端。客户端浏览器发起请求后，服务端会把客户端的信息以某种形式进行记录在服务器上。这就是session。session通过sessionID来识别用户的唯一 阅读全文
posted @ 2020-11-03 14:54
亮剑-胜哥
阅读(83)
评论(0)
推荐(0)
摘要：
Java重写和重载 重写(overriding)是子类对父类的允许访问的方法的实现过程进行重新编写, 返回值和形参都不能改变 重载(overloading) 是在一个类里面，方法名字相同，而参数名不一样。返回类型可以相同也可以不同 重写和重载的区别 区别点 | 重写方法 | 重载方法 -|-|- 参 阅读全文
posted @ 2020-11-03 14:53
亮剑-胜哥
阅读(80)
评论(0)
推荐(0)
摘要：
DML/DDL/DCL DML(Data Manipulation Language)数据操纵语言 就是我们最经常用到的 SELECT、UPDATE、INSERT、DELETE DDL(Data Definition Language)数据库定义语言 就是我们在创建表的时候用到的一些sql，比如说： 阅读全文
posted @ 2020-11-03 14:51
亮剑-胜哥
阅读(88)
评论(0)
推荐(0)
摘要：
新增tracker服务 模拟场景：当多个tracker同时宕机无法恢复时临时添加新的tracker是否可行 实现方案 将之前已有的tracker server的配置文件scp一份到新的机器上，并在新机器上创建store_path对应的目录 依次关闭storage server服务 在每个storag 阅读全文
posted @ 2020-11-03 14:48
亮剑-胜哥
阅读(364)
评论(0)
推荐(0)
摘要：
软件版本周期 α、β、λ 常用来表示软件测试过程中的三个阶段： α 是第一阶段，一般只供内部测试使用。 β 是第二个阶段，已经消除了软件中大部分的不完善之处，但仍有可能还存在缺陷和漏洞，一般只提供给特定的用户群来测试使用。 λ 是第三个阶段，此时产品已经相当成熟，只需在个别地方再做进一步的优化处理即 阅读全文
posted @ 2020-11-03 14:46
亮剑-胜哥
阅读(843)
评论(0)
推荐(0)
摘要：
本文只是想针对这些年在大数据圈子中经常出现的概念做一些总结和记录，纯属个人观点与认知。如果有理解错误的地方还请告知。 写作背景 工作中或者新闻中我们偶尔或者经常听说一些词汇，大数据 BI 数据仓库 数据湖 数据集市 数据中台 等，这些词汇到底是如何诞生的？每个词汇中又包含着什么样的内容？本文将重点总 阅读全文
posted @ 2020-11-03 14:37
亮剑-胜哥
阅读(1272)
评论(0)
推荐(0)
摘要：
当前使用较多的消息队列有RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ等，而部分数据库如Redis、MySQL以及phxsql也可实现消息队列的功能。 RabbitMQ RabbitMQ于2007年发布，是一个在AMQP(高级消息队列协议)基础上完成的， 阅读全文
posted @ 2020-11-03 14:34
亮剑-胜哥
阅读(1208)
评论(0)
推荐(0)
摘要：
Dockerfile详解 FROM 指定基础镜像，必须为第一个命令 格式： FROM <image> FROM <image>:<tag> FROM <image>@<digest> 示例： FROM mysql:5.6 注： tag或digest是可选的，如果不使用这两个值时，会使用latest版 阅读全文
posted @ 2020-11-03 14:26
亮剑-胜哥
阅读(128)
评论(0)
推荐(0)
摘要：
常见的ELasticSearch数据类型 数据类型 具体类型 字符串类型 string,text,keyword 整数类型 integer,long,short,byte 浮点类型 double,float,half_float,scaled_float 逻辑类型 boolean 日期类型 date 阅读全文
posted @ 2020-11-03 14:23
亮剑-胜哥
阅读(2044)
评论(0)
推荐(0)
摘要：
简单说说关于elasticsearch各个大版本之间的区别 初始版本0.7 发布时间：2010.05.14 主要特性 Zen Discovery 自动发现模块 Groovy Client支持 简单的插件管理机制 更好支持ICU分词器 更多的管理API 1.0.0版本 发布时间：2014.02.14 阅读全文
posted @ 2020-11-03 14:22
亮剑-胜哥
阅读(6236)
评论(0)
推荐(2)
摘要：
以下我们在Centos7操作系统上以Elasticsearch5.4.3为例来进行一下安装 环境准备 Elasticsearch https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.3.tar.gz Cereb 阅读全文
posted @ 2020-11-03 14:20
亮剑-胜哥
阅读(464)
评论(0)
推荐(0)
摘要：
加粗 部分为经常用到的 enabled 作用：仅存储、不做搜索和聚合分析 值：false|true index 作用：是否构建倒排索引（即是否分词，设置false，字段将不会被索引） 值：false|true index_option 作用：存储倒排索引的哪些信息 值：docs：索引文档号|freq 阅读全文
posted @ 2020-11-03 14:16
亮剑-胜哥
阅读(486)
评论(0)
推荐(0)
摘要：
/** pom依赖 <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch-hadoop</artifactId> <version>2.2.0-m1</version> </dependency> ** 阅读全文
posted @ 2020-11-03 11:49
亮剑-胜哥
阅读(616)
评论(0)
推荐(0)
摘要：
sparkContext.hadoopFile(args(0),classOf[TextInputFormat], classOf[LongWritable], classOf[Text], 1) .map(p => new String(p._2.getBytes, 0, p._2.getLeng 阅读全文
posted @ 2020-11-03 11:48
亮剑-胜哥
阅读(168)
评论(0)
推荐(0)
摘要：
package utils import java.net.{InetAddress, InetSocketAddress} import java.sql.{Connection, DriverManager, PreparedStatement} import java.util import 阅读全文
posted @ 2020-11-03 11:47
亮剑-胜哥
阅读(937)
评论(0)
推荐(0)
摘要：
以下我们在Linux操作系统上以sonarqube7.3为例来进行一下安装 安装方式：windows基本等同Linux(个别步骤不同) SonarQube是一个用于代码质量管理的开源平台，用于管理源代码的质量，可以从七个维度检测代码质量,通过插件形式，可以支持包括java,C#,C/C++,PL/S 阅读全文
posted @ 2020-11-03 11:46
亮剑-胜哥
阅读(497)
评论(0)
推荐(0)
摘要：
DBeaver EE是一个通用的数据库管理工具和 SQL 客户端，支持 MySQL, PostgreSQL, Oracle, DB2, MSSQL, Sybase, Mimer, HSQLDB, Derby, 以及其他兼容 JDBC 的数据库。 环境准备 下载地址：https://pan.baidu 阅读全文
posted @ 2020-11-03 11:45
亮剑-胜哥
阅读(901)
评论(0)
推荐(0)
摘要：
准备环境 可用的Python环境 NGINX环境 开始安装 首先安装包pip2pi 创建镜像源仓库位置目录 mkdir /data/pip3_source 将需要的依赖包上传至上述目录下 建立依赖包索引 dir2pi /data/pip3_source 此时会在/data/pip3_source目录 阅读全文
posted @ 2020-11-03 11:44
亮剑-胜哥
阅读(1699)
评论(0)
推荐(0)
摘要：
以下我们在Centos7操作系统上以MySQL5.6为例来进行一下安装 环境准备 可联网的yum源或者本地系统盘(二者任一，此步骤主要是按照编译的必须环境，如果确定已有可跳过) MySQL5.6 编译工具cmake 开始安装 操作用户：root 安装目录：/opt/app 安装编译环境 如果有gcc 阅读全文
posted @ 2020-11-03 11:43
亮剑-胜哥
阅读(151)
评论(0)
推荐(0)
摘要：
以下我们在Centos7操作系统上以oracle11g为例来进行一下安装 环境准备 Oracle下载地址 https://www.oracle.com/technetwork/database/enterprise-edition/downloads/112010-linx8664soft-1005 阅读全文
posted @ 2020-11-03 11:42
亮剑-胜哥
阅读(1738)
评论(0)
推荐(0)
摘要：
介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 阅读全文
posted @ 2020-11-03 11:39
亮剑-胜哥
阅读(293)
评论(0)
推荐(0)
摘要：
以下我们在Centos7操作系统上以RocketMQ4.3.1为例来进行一下安装 集群部署模式说明 单master 这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用，不建议线上环境使用 多master模式 一个集群无Slave，全是Master，例如2个Master或者3个Ma 阅读全文
posted @ 2020-11-03 11:38
亮剑-胜哥
阅读(225)
评论(0)
推荐(0)
摘要：
以下我们在Centos7操作系统上以redis为例来进行一下安装 环境准备 下载地址 http://download.redis.io/releases/redis-3.2.1.tar.gz Redis 要求集群至少6个节点,而且必须是3版本以上 如果为低版本可能会出现ruby版本过低的情况 操作用 阅读全文
posted @ 2020-11-03 11:36
亮剑-胜哥
阅读(114)
评论(0)
推荐(0)
摘要：
环境准备 准备两台分别装有MySQL的服务器要求版本尽量一直 最好的搭配组合是主（Master）服务器的Mysql版本和从（Slave）服务器版本相同或者更低，主服务器的版本肯定不能高于从服务器版本。 节点角色分配 ip地址 主机名 角色 192.168.23.1 risen02 主备 192.16 阅读全文
posted @ 2020-11-03 11:27
亮剑-胜哥
阅读(223)
评论(0)
推荐(0)
摘要：
以下我们在Centos7操作系统上以Fastdfs5.12为例来进行一下安装 环境准备 fastdfs5.12 libfastcommon-zip1.0.39 fastdfs-nginx-module.1.16 nginx1.10.0 ngx_cache_purge2.3 可用的yum源 root角 阅读全文
posted @ 2020-11-03 10:12
亮剑-胜哥
阅读(249)
评论(0)
推荐(0)
摘要：
以下我们在银河麒麟操作系统上以filebeat为例来进行一下安装 环境准备 beats https://codeload.github.com/elastic/beats/zip/v5.4.3 git 1. 配置好/etc/apt/sources.list源 2. apt-get install g 阅读全文
posted @ 2020-11-03 10:11
亮剑-胜哥
阅读(946)
评论(0)
推荐(0)
浙公网安备 33010602011771号