11 2020 档案
摘要：演示背景 公司运维很忙，给开好了服务器，又不知道具体的磁盘挂载位置时，于是引发了以下问题： 必要了解 硬盘分区有三种：主分区，扩展分区，逻辑分区 一个硬盘主分区至少有1个，最多4个，扩展分区可以没有，最多1个。且主分区+扩展分区总共不能超过4个。逻辑分区可以有若干个。 !> 了解了分区的概念后，那么
阅读全文
摘要：Webbench是一款轻量级的网站测压工具，最多可以对网站模拟3w左右的并发请求，可以控制时间、是否使用缓存、是否等待服务器回复等等，且对中小型网站有明显的效果，基本上可以测出中小型网站的承受能力，对于大型的网站，如百度、淘宝这些巨型网站没有意义，因为其承受能力非常大。同时测试结果也受自身网速、以及
阅读全文
摘要：执行命令 sudo raspi-config 进行设置 见图 见图 见图 见图 Windows本地下载vnc连接工具，下载地址 https://www.realvnc.com/en/connect/download/viewer/ 输入树莓派IP地址，并输入账号密码即可连接成功
阅读全文
摘要：pyinstaller命令demo pyinstaller -F -w d:\HelpTool\HelpTool.py -i d:\HelpTool\resources\images\help_tool.ico -n HelpTool pyinstaller将模块打包在依赖中 pyinstaller
阅读全文
摘要：问题描述：Windows下执行python datax.py demo.json 控制台输出中文乱码 解决方案 在cmd命令中输入 CHCP 65001 问题描述：常见的空值的处理方式和日期格式 解决问题 可以自定义dataformat 针对文件中通过分隔符分割为空的类型，如果此类型不是string
阅读全文
摘要：POM(Project Object Model)是Maven工程的工作基础，以pom.xml的形式存在项目中。在我们的工程中有几个元素是必须的： project root modelVersion - 应被设置为4.0.0 groupId - 项目组id artifactId - 项目id ver
阅读全文
摘要：setting.xml顶层标签如下 <span style="font-family:Microsoft YaHei;"><settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/200
阅读全文
摘要：Maven：自动化构建工具 创建约定的目录结构 工程名[根目录] src目录[源码] main目录[代码主程序] java目录[存放java源文件] resource目录[存放框架配置文件或者其他配置文件] test目录[测试程序] java目录[存放java源文件] resource目录[存放框架
阅读全文
摘要：这里以演示树莓派4B的板子为主，烧录的系统为ubuntu server 20.04 LTS 64位系统，个人电脑为Windows10 场景1 使用网线连接 没有显示屏，没有micro HDMI，通过WiFi共享局域网连接配置 准备一根网线 连接好树莓派电源，启动 使用自己的电脑连接好WiFi，使用网
阅读全文
摘要：购买3.5寸屏幕后按照连接图插好 插好后，通过ssh登录到树莓派系统中按照驱动(驱动一般是由卖家提供) !> 注意：此步骤需要联网 # 修改脚本权限 chmod -R 777 解压后的驱动目录 # 进入到解压后的驱动目录 cd 解压后的驱动目录 # 执行安装脚本(可能不同卖家提供的脚本名称不一样，但
阅读全文
摘要：这里以演示树莓派4B的板子为主，刻录的系统为第三方系统ubuntu server 20.04 LTS 64位系统(烧录不同的系统配置方式是不一样的)，本地系统为Windows 环境准备 官网地址： https://www.raspberrypi.org/ 准备好你购买的树莓派4B板子、一张带有读卡器
阅读全文
摘要：# -*- coding: utf-8 -*- __author__ = 'amcoder' __time__ = 2019 / 5 / 22 __function__ = '' """ 1、执行带参数的SQL时，请先用sql语句指定需要输入的条件列表，然后再用tuple/list进行条件批配 ２、
阅读全文
摘要：产生背景：某天领导说需要将Oracle中的一些表导入到es中，于是就开始了..... 方案说明 人生苦短我用py，直接jdbc连接，批量读取，存储es轻轻松松？ 干大数据的怎么能少的了spark或flink？一个离线批处理不就ok了？ 既然目标端是es那么还是用它自家产品logstash，轻松配置，
阅读全文
摘要：值类型和引用类型 值类型 值类型变量都存储在堆栈中。 访问值类型变量时，一般都是直接访问其实例。 每个值类型变量都有自己的数据副本，因此对一个值类型的变量的操作不会影响其他的变量。 复制值类型变量时，复制的是变量的值，而不是变量的地址。 值类型变量不能为null，必须具有一个确定的值。 引用类型 必
阅读全文
摘要：强类型语言/弱类型语言，静态类型语言/动态类型语言概念和区别 强类型语言：使之强制数据类型定义的语言。没有强制类型转化前，不允许两种不同类型的变量相互操作。强类型定义语言是类型安全的语言。 弱类型语言：数据类型可以被忽略的语言。与强类型语言相反, 一个变量可以赋不同数据类型的值，允许将一块内存看做多
阅读全文
摘要：Session和Cookie Session session是一种记录用户状态的机制，不同的是cookie保存在客户端，而session保存在服务端。客户端浏览器发起请求后，服务端会把客户端的信息以某种形式进行记录在服务器上。这就是session。session通过sessionID来识别用户的唯一
阅读全文
摘要：Java重写和重载 重写(overriding)是子类对父类的允许访问的方法的实现过程进行重新编写, 返回值和形参都不能改变 重载(overloading) 是在一个类里面，方法名字相同，而参数名不一样。返回类型可以相同也可以不同 重写和重载的区别 区别点 | 重写方法 | 重载方法 -|-|- 参
阅读全文
摘要：DML/DDL/DCL DML(Data Manipulation Language)数据操纵语言 就是我们最经常用到的 SELECT、UPDATE、INSERT、DELETE DDL(Data Definition Language)数据库定义语言 就是我们在创建表的时候用到的一些sql，比如说：
阅读全文
摘要：新增tracker服务 模拟场景：当多个tracker同时宕机无法恢复时临时添加新的tracker是否可行 实现方案 将之前已有的tracker server的配置文件scp一份到新的机器上，并在新机器上创建store_path对应的目录 依次关闭storage server服务 在每个storag
阅读全文
摘要：软件版本周期 α、β、λ 常用来表示软件测试过程中的三个阶段： α 是第一阶段，一般只供内部测试使用。 β 是第二个阶段，已经消除了软件中大部分的不完善之处，但仍有可能还存在缺陷和漏洞，一般只提供给特定的用户群来测试使用。 λ 是第三个阶段，此时产品已经相当成熟，只需在个别地方再做进一步的优化处理即
阅读全文
摘要：本文只是想针对这些年在大数据圈子中经常出现的概念做一些总结和记录，纯属个人观点与认知。如果有理解错误的地方还请告知。 写作背景 工作中或者新闻中我们偶尔或者经常听说一些词汇，大数据 BI 数据仓库 数据湖 数据集市 数据中台 等，这些词汇到底是如何诞生的？每个词汇中又包含着什么样的内容？本文将重点总
阅读全文
摘要：当前使用较多的消息队列有RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ等，而部分数据库如Redis、MySQL以及phxsql也可实现消息队列的功能。 RabbitMQ RabbitMQ于2007年发布，是一个在AMQP(高级消息队列协议)基础上完成的，
阅读全文
摘要：Dockerfile详解 FROM 指定基础镜像，必须为第一个命令 格式： FROM <image> FROM <image>:<tag> FROM <image>@<digest> 示例： FROM mysql:5.6 注： tag或digest是可选的，如果不使用这两个值时，会使用latest版
阅读全文
摘要：常见的ELasticSearch数据类型 数据类型 具体类型 字符串类型 string,text,keyword 整数类型 integer,long,short,byte 浮点类型 double,float,half_float,scaled_float 逻辑类型 boolean 日期类型 date
阅读全文
摘要：简单说说关于elasticsearch各个大版本之间的区别 初始版本0.7 发布时间：2010.05.14 主要特性 Zen Discovery 自动发现模块 Groovy Client支持 简单的插件管理机制 更好支持ICU分词器 更多的管理API 1.0.0版本 发布时间：2014.02.14
阅读全文
摘要：以下我们在Centos7操作系统上以Elasticsearch5.4.3为例来进行一下安装 环境准备 Elasticsearch https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.3.tar.gz Cereb
阅读全文
摘要：加粗 部分为经常用到的 enabled 作用：仅存储、不做搜索和聚合分析 值：false|true index 作用：是否构建倒排索引（即是否分词，设置false，字段将不会被索引） 值：false|true index_option 作用：存储倒排索引的哪些信息 值：docs：索引文档号|freq
阅读全文
摘要：/** pom依赖 <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch-hadoop</artifactId> <version>2.2.0-m1</version> </dependency> **
阅读全文
摘要：sparkContext.hadoopFile(args(0),classOf[TextInputFormat], classOf[LongWritable], classOf[Text], 1) .map(p => new String(p._2.getBytes, 0, p._2.getLeng
阅读全文
摘要：package utils import java.net.{InetAddress, InetSocketAddress} import java.sql.{Connection, DriverManager, PreparedStatement} import java.util import
阅读全文
摘要：以下我们在Linux操作系统上以sonarqube7.3为例来进行一下安装 安装方式：windows基本等同Linux(个别步骤不同) SonarQube是一个用于代码质量管理的开源平台，用于管理源代码的质量，可以从七个维度检测代码质量,通过插件形式，可以支持包括java,C#,C/C++,PL/S
阅读全文
摘要：DBeaver EE是一个通用的数据库管理工具和 SQL 客户端，支持 MySQL, PostgreSQL, Oracle, DB2, MSSQL, Sybase, Mimer, HSQLDB, Derby, 以及其他兼容 JDBC 的数据库。 环境准备 下载地址：https://pan.baidu
阅读全文
摘要：准备环境 可用的Python环境 NGINX环境 开始安装 首先安装包pip2pi 创建镜像源仓库位置目录 mkdir /data/pip3_source 将需要的依赖包上传至上述目录下 建立依赖包索引 dir2pi /data/pip3_source 此时会在/data/pip3_source目录
阅读全文
摘要：以下我们在Centos7操作系统上以MySQL5.6为例来进行一下安装 环境准备 可联网的yum源或者本地系统盘(二者任一，此步骤主要是按照编译的必须环境，如果确定已有可跳过) MySQL5.6 编译工具cmake 开始安装 操作用户：root 安装目录：/opt/app 安装编译环境 如果有gcc
阅读全文
摘要：以下我们在Centos7操作系统上以oracle11g为例来进行一下安装 环境准备 Oracle下载地址 https://www.oracle.com/technetwork/database/enterprise-edition/downloads/112010-linx8664soft-1005
阅读全文
摘要：介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
阅读全文
摘要：以下我们在Centos7操作系统上以RocketMQ4.3.1为例来进行一下安装 集群部署模式说明 单master 这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用，不建议线上环境使用 多master模式 一个集群无Slave，全是Master，例如2个Master或者3个Ma
阅读全文
摘要：以下我们在Centos7操作系统上以redis为例来进行一下安装 环境准备 下载地址 http://download.redis.io/releases/redis-3.2.1.tar.gz Redis 要求集群至少6个节点,而且必须是3版本以上 如果为低版本可能会出现ruby版本过低的情况 操作用
阅读全文
摘要：环境准备 准备两台分别装有MySQL的服务器要求版本尽量一直 最好的搭配组合是主（Master）服务器的Mysql版本和从（Slave）服务器版本相同或者更低，主服务器的版本肯定不能高于从服务器版本。 节点角色分配 ip地址 主机名 角色 192.168.23.1 risen02 主备 192.16
阅读全文
摘要：以下我们在Centos7操作系统上以Fastdfs5.12为例来进行一下安装 环境准备 fastdfs5.12 libfastcommon-zip1.0.39 fastdfs-nginx-module.1.16 nginx1.10.0 ngx_cache_purge2.3 可用的yum源 root角
阅读全文
摘要：以下我们在银河麒麟操作系统上以filebeat为例来进行一下安装 环境准备 beats https://codeload.github.com/elastic/beats/zip/v5.4.3 git 1. 配置好/etc/apt/sources.list源 2. apt-get install g
阅读全文
摘要：问题描述: 在linux环境下部署Python项目时常常报错无法找到自己编写的模块 解决方案 export PYTHONPATH=项目路径 问题描述:Scrapy防封之settings文件设置 解决方案 设置动态USER-AGENT 安装scrapy-fake-useragent模块 在settin
阅读全文
摘要：Git的提交模式 本地代码-->待提交列表-->本地仓库-->远程仓库 Git的三种状态 modified --> staged --> committed 创建仓库 本地已有仓库 git init //进入到本地仓库目录初始化 # 或者 git init 本地仓库目录名称 本地没有仓库需要clon
阅读全文
摘要：问题描述: Error starting daemon: error initializing graphdriver: /var/lib...VER> 解决方案 尝试修改 /etc/sysconfig/docker-storage 为: DOCKER_STORAGE_OPTIONS="--stor
阅读全文
摘要：问题描述: 在使用python3调用api download_to_buffer分片下载文件时报错 解决方案 此时需要修改一下源码：python模块包中site-packages/fdfs_client/client.py，新增红框中两行代码即可 问题描述：国产机器遇到call pthread_at
阅读全文
摘要：问题描述: 没有使用非root用户的其他用户启动 解决方案 切换到其他用户启动即可，记得修改elasticsearch目录权限以及日志目录和数据目录权限 问题描述: seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMP and C
阅读全文
摘要：问题描述:启动事务tephra报错：com/google/common/util/concurrent/Service$Liste 解决方案 需要提升guava的jar包版本 下载地址 https://repo1.maven.org/maven2/com/google/guava/guava/14.
阅读全文
摘要：关于标题 例如这是一级标题(#空格标题) 这是二级标题(##空格标题) 这是三级标题(###空格标题) 这是四级标题(####空格标题) 这是五级标题(#####空格标题) 这是六级标题(######空格标题) 关于加粗 例如：加粗 (要加粗的文字左右分别用两个*号包起来) 关于斜体 例如：斜体 (
阅读全文
摘要：环境准备 具备修改my.cnf权限 常见使用场景是针对那些自带MySQL的操作系统，而此时你正好需要使用MySQL，其他人却又不使用的情况。其他人如果正在使用中时，请使用正规流程申请账号密码操作。 开始 找到MySQL的配置文件，一般系统自带的MySQL配置文件在/etc/mysql/mysql.c
阅读全文
摘要：问题描述: MySQL登录始终读取主机名 解决方案 在[mysqld]下设置skip-name-resolve即可 问题描述: ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction 解决方案 select
阅读全文
摘要：导出数据库为SQL文件 mysqldump -u用户名 -p密码 数据库名称 > risen.sql 导入SQL文件 mysqlimport -u用户名 -p密码 数据库名称 < risen.sql 进入到MySQL，use 数据库名称，执行source SQL文件路径 远程授权 grant all
阅读全文
摘要：docker基础镜像 查看正在运行的容器 docker ps 查看所有容器 docker ps -a 查看本地镜像 docker images 从镜像中运行/停止一个新实例 docker run/stop container 查看docker版本 docker --version 搜索镜像 dock
阅读全文
摘要：安装asciinema apt-get install asciinema 开始记录视频 asciinema rec first.cast 以倍速重播 asciinema play -s 2 first.cast 分享或上传至网络 asciinema upload first.cast play 重
阅读全文
摘要：一语道破本质 一切皆文件 linux文件系统常见目录结构说明 /bin 二进制可执行命令,如常用的命令ls、tar、mv、cat等 /boot 放置linux系统启动时用到的一些文件 /dev 设备特殊文件 /etc 系统管理和配置文件 /home 用户主目录的基点 /lib 标准程序设计库 /mn
阅读全文
摘要：当很多人共用一台服务器时，难免会造成一些难以想象的事故，尤其是大家除了共用一台服务器外还共用了一个权限很大的账号，比如root，那么此时为了避免出现事故后不知道是谁操作的，所以还是有必要记录所有使用此账号登录并操作的命令的。 新建日志文件 touch /var/local/mon.log 修改权限
阅读全文
摘要：防火墙相关(Centos) 临时关闭防火墙命令(同理开启start) systemctl stop firewalld.service # systemctl start firewalld.service 永久关闭防火墙命令(重启生效) systemctl disable firewalld 查看
阅读全文
摘要：SFTP相关(等价于rz/sz，此方式适用于没有工具的情况下，前提是保证sftp默认端口22开放) lcd 本地文件路径 进入到本地的某个目录下 cd 远程文件路径 进入到远程的某个目录下 lpwd 显示本地的当前目录的路径 pwd 显示远程的当前目录的路径 这里只介绍常用的，其他的自行查找 演示场
阅读全文
浙公网安备 33010602011771号