11 2018 档案
摘要：##找到相关rpm包 ##运行以及错误解决** rpm -ivh tcp_wrappers-7.6-34.i386.rpm rpm -ivh portmap-4.0-54.i386.rpm rpm -ivh nfs-utls.1.0.1-2.9..i386.rpm rpm -ivh tcp_wrap
阅读全文
摘要：1.声明expect 2.设置超时时间，获取参数 3.执行ssh命令 4.终端输出包含字符串"password:"，输入密码，记得加上\r 5.终端输出分支 6.设置终端输出终止符，并退出脚本
阅读全文
摘要：下载 1. 地址 2. 选择系统以及版本，下载bundle包 3. 如果只下载所需要的包 安装 1. 检查linux下是否已经安装了MySQL 2. 卸载MySQL 3. 将所有包放到linux下，执行各个包 执行顺序 common libs client server 开启MySQ
阅读全文
摘要：参考链接：http://blog.csdn.net/nisjlvhudy/article/details/8559518 自己的理解： 主要针对数据的状态变化 表：原表：source 目标表：target 临时表：vt_new 临时表：vt_inc vt_new将原表数据加工为容易处理的记录，增加起
阅读全文
摘要：```sql truncate table CUST;truncate table TAG_CUST; truncate table vt_inc;truncate table vt_new; insert into CUST values(100,'张三','13333333333'); insert into CUST values(200,'李四','12222222222'); inser...
阅读全文
摘要：概述 层状关系 网状关系 关系型数据库 关系型数据库 元祖：代表一行 属性：代表一列 主码：唯一确定一个元组的属性组，即主键 域：属性的取值范围 分量：元组中的一个属性值，即某一行某一列所对应的值 语法 运算对象 ：（练习） 符号：集合 U — ∩ × 关系：σ 选择 Π
阅读全文
摘要：连接命令 (1)conn[ect] 用法: conn 用户名/密码@网络服务名 [as sysdba/sysoper] 当用特权用户身份连接时，必须带上 as sysdba 或是 as sysoper (2)disc[onnect] 说明:该命令用来断开与当前数据库的连接 (3)passw[ord]
阅读全文
摘要：安装前检查 检查是否安装以下软件 | 安装包名称 | 是否安装 | | | | | binutils 2.17.50.0.6 | √ | | compat libstdc++ 33 3.2.3 | √ | | elfutils libelf 0.125 | √ | | elfutils libel
阅读全文
摘要：
![](https://img...
阅读全文
摘要：安装mysql 修改PHP配置文件 修改php安装路径下 php.ini 在代码路径下添加php文件，在里面编辑 之后在浏览器输入 "http://localhost:1008/test.php" 在页面会出现以下页面 连接验证 在代码路径下添加php文件，在里面编辑 之后页面显示：
阅读全文
摘要：下载 Apache下载地址： PHP下载地址：http://php.net/downloads.php 解压 解压到安装路径下H:\64soft下 修改配置文件 1. apache的配置： apache下 Apache24\conf\httpd.conf 代码路径配置 2. PHP的配置： ap
阅读全文
摘要：##概述 AJAX = Asynchronous JavaScript And XML（异步 JavaScript 及 XML） AJAX 是 Asynchronous JavaScript And XML 的首字母缩写。 AJAX 并不是一种新的编程语言，而仅仅是一种新的技术，它可以创建更好、更快
阅读全文
摘要：PHP 过滤器 what? PHP 过滤器用于验证和过滤来自非安全来源的数据，比如用户的输入。 验证和过滤用户输入或自定义数据是任何 Web 应用程序的重要组成部分。 设计 PHP 的过滤器扩展的目的是使数据过滤更轻松快捷。 why? 几乎所有 web 应用程序都依赖外部的输入。这些数据通常来自用户
阅读全文
摘要：PHP 错误处理 在 PHP 中，默认的错误处理很简单。一条消息会被发送到浏览器，这条消息带有文件名、行号以及一条描述错误的消息。 在创建脚本和 web 应用程序时，错误处理是一个重要的部分。如果您的代码缺少错误检测编码，那么程序看上去很不专业，也为安全风险敞开了大门。 PHP 中一些最为重要的错误
阅读全文
摘要：cookie cookie 常用于识别用户。cookie 是服务器留在用户计算机中的小文件。每当相同的计算机通过浏览器请求页面时，它同时会发送 cookie。通过 PHP，您能够创建并取回 cookie 的值。 setcookie() 函数用于设置 cookie。 注释：setcookie() 函数
阅读全文
摘要：基本语法 显示变量的数据类型和值 类定义 字符串操作 设置常量 如需设置常量，请使用 define() 函数 它使用三个参数： 1. 首个参数定义常量的名称 2. 第二个参数定义常量的值 3. 可选的第三个参数规定常量名是否对大小写不敏感。默认是 false。 PHP 比较运算符 PHP 比较运算符
阅读全文
摘要：概述 aggregate函数应该是数据处理中常用到的函数，简单说有点类似sql语言中的group by，可以按照要求把数据打组聚合，然后对聚合以后的数据进行加和、求平均等各种操作。 构造一个很简单的数据，一组人的性别、年龄和身高，可以用aggregate函数来求不同性别的平均年龄和身高 几个注意点：
阅读全文
摘要：1. seq(0, 1, length.out = 11) 2. seq(stats::rnorm(20)) effectively ‘along‘ 3. seq(1, 9, by = 2) matches ‘end‘ 4. seq(1, 9, by = pi) stays below ‘end‘
阅读全文
摘要：概述 这个命令表示： 1. frequency=12 表明时间单位为年，而且在每一个时间单位中有12个均匀间隔的观察值。 因此gm是月数据，在金融数据中，常用的有月收益率数据。 2. start=c(1975,1)表示开始时间为1975年1月。 3. gm应是 列数据 ，而不能是多列金融数据。而
阅读全文
摘要：前情需知 指数预测模型 指数模型是用来预测时序未来值的最常用模型。这类模型相对比较简单，但是实践证明它们的短期预测能力较好。不同指数模型建模时选用的因子可能不同。比如 单指数模型（simple/single exponential model）拟合的是只有常数水平项和时间点i处随机项的时间序列，这时
阅读全文
摘要：请从上到下安装 numpy importlib pytz python dateutil pandas scipy pasty statemodels backports.functools_lru_cache pyparsing cycler subprocess32 3.5.0rc1 matpl
阅读全文
摘要：导入包 回归拟合的建立 创建一个线性模型，用我们的X_parameters和Y_parameter训练它。 预测
阅读全文
摘要：在导入包显示画图时，出错：ImportError: No module named '_tkinter 解决办法：通常原因是tkinter和tk devel缺失 ERROR: matplotlib的图显示问题 libtk8.5.so cannot open shared object SOLUTIO
阅读全文
摘要：```python
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# hive util with hive server2 """
@author:
@create:
""" __author__ = 'knktc'
__version__ = '0.1' import pyhs2 class HiveClient: def ...
阅读全文
摘要：figure的使用 设置x/y坐标轴刻度 刻度设置 以xticks为例： 获取或者设置当前刻度位置和文本的 x limits: 关键字 ，如果有其他的参数则是 Text 属性。例如，旋转长的文本标注。 Axis containers matplotlib.axis.Axis 对象负责刻度线、格网线、
阅读全文
摘要：Python图表绘制：matplotlib绘图库入门 matplotlib 简介 matplotlib 是python最著名的绘图库，它提供了一整套和matlab相似的命令API，十分适合交互式地行制图。而且也可以方便地将它作为绘图控件，嵌入GUI应用程序中。 它的文档相当完备，并且Gallery页
阅读全文
摘要：series Series 是pandas两大数据结构中（DataFrame，Series）的一种。 创建Series Series的定义 ：Series是一种类似于一维数组的对象，它由一组数据（各种NumPy数据类型）以及一组与之相关的数据标签（即索引）组成。 Series对象本质上是一个Nu
阅读全文
摘要：mean() 1. mean() 函数定义： mean`(a, axis=None, dtype=None, out=None, keepdims=) "[source\]" Compute the arithmetic mean along the specified axis. Returns
阅读全文
摘要：1、判断是否是数字 2、数学math 3、查看安装路径 4、字符串与日期的转换 5、 生成数字数组 6、除法保留小数 7、输出%
阅读全文
摘要：python获取当前路径 import os,sys 使用sys.path[0]、sys.argv[0]、os.getcwd()、os.path.abspath(__file__)、os.path.realpath(__file__) sys.path是Python会去寻找模块的搜索路径列表，sys
阅读全文
摘要：```python
def runShell(cmd): try: (status, output) = commands.getstatusoutput(cmd) except Exception, e: return (1, "") # write shell and shell's result into shelllog r...
阅读全文
摘要：```python coding:utf 8 __author__ = 'zzd' import xlrd open excelfile def open_excel(file): try: data = xlrd.open_workbook(file) return data except Exc
阅读全文
摘要：简介 龟叔 Guido van rossum 胶水语言 提供了非常完善的代码库 运行速度慢，大小写敏感 是解释型语言，也就是说，发布项目时相当于发布源代码 编译型语言，如C语言，运行以后生成exe文件，不能从exe文件反推出C语言代码 Python语言解释器： CPython 使用广泛 IP
阅读全文
摘要：有的项目使用tornado框架比较好，有的用Django框架比较好，容易发生冲突，这个时候可以建立一个虚拟的python环境。 1. 安装virtualenv包 2. 进入项目所在目录，执行命令 3. 进入tornadoenv文件夹里，里面的Scripts里面有python\pip等命令，该虚拟环境
阅读全文
摘要：系统配置：Windows10 x64, Visual Studio 2017, Python2.7.1 报错信息：error: Unable to find vcvarsall.bat 报错原因：在生成的时候，编译器从%PythonInstallPath%\distutils\msvc9compil
阅读全文
摘要：下载 第三方模块的下载地址：https://pypi.python.org/pypi 其他版本的第三方模块下载地址： pipy国内镜像目前有： 豆瓣 阿里云 中国科技大学 清华大学 华中理工大学 山东理工大学 1、安装 1.1 命令行下安装模块 例：xlrd模块 下载xlrd： tar.gz包解压后
阅读全文
摘要：求 $$ \Sigma\sideset{^b_a}f(x) $$
阅读全文
摘要：```scala def qSort(a:List[Int]):List[Int]={ if(a.length _)) ++ a.filter(a.head == _) ++ qSort(a.filter(a.head
阅读全文
摘要：1、新建project 2、打包 3、linux下运行jar包
阅读全文
摘要：下载路径： 版本：scala 2.12.2 安装成功
阅读全文
摘要：函数式编程 并行编程 多核计算、云计算 引用透明，给值确定，结果也确定 数据类型 三种变量修饰符 val 定义immutable variable var 定义mutable variable lazy val 可以不显示指定变量的类型，因为scala会自动进行类型推导
阅读全文
摘要：函数参数 perl 函数参数为 \$\$,\$\$\$,\$@ Perl 可以通过函数元型在编译期进行有限的参数类型检验。 如果你声明 sub mypush (+@)那么 mypush() 对参数的处理就同内置的 push() 完全一样了。 函数声明必须要在编译相应函数调用之前告知编译器（编译器在编
阅读全文
摘要：基础 @ARGY 获取命令行输入 在函数体内使用shift来获取传入函数的数组元素； 定义数组用@ 连接数据库 Postgre数据库 1、 2、 perl $text="Michael,Gevin,Mike"; @name=split(/,/,$text); 这时@name=("Michael","
阅读全文
摘要：MVC Model View Controller MVC是比较直观的架构模式，用户操作 View（负责接收用户的输入操作） Controller（业务逻辑处理） Model（数据持久化） View（将结果反馈给View）。 MVC使用非常广泛，比如JavaEE中的SSH框架（Struts/Spri
阅读全文
摘要：MVP Model View Presenter MVP是把MVC中的Controller换成了Presenter（呈现），目的就是为了完全切断View跟Model之间的联系，由Presenter充当桥梁，做到View Model之间通信的完全隔离。 .NET程序员熟知的ASP.NET webfor
阅读全文
摘要：MVVM Model View ViewModel 如果说MVP是对MVC的进一步改进，那么MVVM则是思想的完全变革。它是将“数据模型数据双向绑定”的思想作为核心，因此在View和Model之间没有联系，通过ViewModel进行交互，而且Model和ViewModel之间的交互是双向的，因此视图
阅读全文
摘要：冒泡排序 将第一个数字与下一个数字比较，如果第一个数字大，交换两数 tip:先将大的数字往后面放 key:相邻的数字比较 代码块 选择排序 与冒泡排序相反，将较小的数字向前排 找出未排序数组中的最小数的下标，交换 代码块 归并排序 代码块 java public class MergeSort {
阅读全文
摘要：深入浅出K Means算法 摘要： 在数据挖掘中，K Means算法是一种 cluster analysis 的算法，其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法。 K Means算法主要解决的问题如下图所示。我们可以看到，在图的左边有一些点，我们用肉眼可以看出来有四个点群，
阅读全文
摘要：简介 ARIMA： AutoRegressive Integrated Moving Average ARIMA是两个算法的结合：AR和MA。其公式如下： 是白噪声，均值为0， C是常数。 ARIMA的前半部分就是Autoregressive： ， 后半部分是moving average： 。 AR
阅读全文
摘要：在时间序列中，我们需要基于该时间序列当前已有的数据来预测其在之后的走势，三次指数平滑(Triple/Three Order Exponential Smoothing,Holt Winters)算法可以很好的进行时间序列的预测。 时间序列数据一般有以下几种特点：1.趋势(Trend) 2. 季节性(
阅读全文
摘要：一次、二次、三次指数平滑计算思想及代码 概述 一般常用到的指数平滑法为一次指数平滑、二次指数平滑和三次指数平滑，高次指数平滑一般比较难见到，因此本文着重介绍了一次、二次和三次指数平滑的特点与不同。 一次指数平滑一般应用于直线型数据，且一次指数平滑具有滞后性，可以说明有明显的时间性、季节性。 二次指数
阅读全文
摘要：一般来讲，系统架构师应该拥有以下几方面的能力： 1：具备 8 年以上软件行业工作经验； 2：具备 4 年以上 C/S 或 B/S 体系结构软件产品开发及架构和设计经验； 3：具备 3 年以上的代码编写工作经验； 4：具备丰富的大中型开发项目的总体规划、方案设计及技术队伍管理经验； 5：对相关的技术标
阅读全文
posted @ 2018-11-29 14:37
枫子_dan
摘要：1 解压Python 2.7.tgz 2 进入Python 2.7的解压目录下 3 执行以下命令安装 4 备份以前版本的python 5 建立软链接 `ln s /usr/local/python27/bin/python /usr/bin/python`
阅读全文
摘要：1. expect是基于tcl演变而来的，所以很多语法和tcl类似，基本的语法如下所示： 首行加上/usr/bin/expect spawn: 后面加上需要执行的shell命令，比如说spawn sudo touch testfile expect: 只有spawn执行的命令结果才会被expect捕
阅读全文
摘要：下载 版本：R3.2.2 下载地址： 安装步骤： 1. 解压 tar zxvf R 3.2.2.tar.gz 2. ./configure prefix=/usr/local/R3.2.2 ERROR: solution: ERROR: SOLUTION: ERROR: SOLUTION: ERRO
阅读全文
摘要：1. ERROR: shell [root@localhost soft] R CMD INSTALL curl_3.1.tar.gz WARNING: ignoring environment value of R_HOME installing to library ‘/usr/local/R3
阅读全文
摘要：概述 1.什么是爬虫 爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。想抓取什么？这个由你来控制它咯。 比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到
阅读全文
摘要：常用命令 1. 生成应用 2. 开启服务器 3. 声称以及修改数据模型 4. 数据库模型移植 5. 使用管理界面之前建立管理员用户（必须在cmd下运行） ERROR 1. ERROR:在使用python虚环境（安装了django）的情况下运行manage.py出错 2. ERROR: 访问url报错
阅读全文
摘要：字符编码的问题看似很小，经常被技术人员忽视，但是很容易导致一些莫名其妙的问题。这里总结了一下字符编码的一些普及性的知识，希望对大家有所帮助。 还是得从ASCII码说起 说到字符编码，不得不说ASCII码的简史。计算机一开始发明的时候是用来解决数字计算的问题，后来人们发现，计算机还可以做更多的事，例如
阅读全文
摘要：在甲乙双方确定好的接口文件中，数据文件的数据分隔符为0x00,0x1B，换行分隔符为0x0A，使用python进行文件解析时，需要对此类编码进行编译解析才可以对接口文件进行读取。可以以以下函数对分隔符进行解析：chr() 测试案例说明： testascii.txt文件中数据以 | 分隔，换行符是\n
阅读全文
摘要：ASCII编码 （字母、数字、符号） 保存为1个字节 Unicode编码 （+汉字） 保存为2个字节 UTF 8编码 可变长编码格式 数字按大小保存为1 6个字节 英文字母保存为1个字节 汉字保存为3个字节 生僻字符保存为4 6个字节 计算机中统一使用Unicode编码，当需要保存到硬盘或需要传输的
阅读全文
摘要：搭建jdk环境(jdk1.8.0_121) 下载hadoop 修改hadoop的配置文件 hadoop2.7.3 路径： $HADOOP_HOME/etc/hadoop/ 1. hadoop env.sh 2. core site.xml 3. hdfs site.xml 4. mapred_s
阅读全文
摘要：解压habse 修改配置文件 位于$HBASE_HOME/conf下 启动 进入命令行
阅读全文
摘要：解压 配置环境变量 新建一个logs文件夹，放日志文件 修改配置文件 位于$HIVE_HOME/conf下 1. cp hive default.xml.template hive site.xml 2. vim hive site.xml (删除掉configuration里的所有配置) 3. v
阅读全文
摘要：建表命令 CREATE TABLE IF NOT EXISTS "person_mul"( "ROW" varchar primary key, //主键，必须存在 "info"."ac" varchar, //info对应hbase的列族，ac对应列名 "info"."courseType" va
阅读全文
摘要：下载 从 "下载地址" 下下载以下对应hbase版本的版本: phoenix 4.7.0 HBase 1.0/bin/phoenix 4.7.0 HBase 1.0 bin.tar.gz 安装部署 1. 解压 2. 修改${HBASE_HOME}/conf/hbase site.xml 3. 拷贝p
阅读全文
摘要：监控配置 spark的监控主要分为Master、Worker、driver、executor监控。Master和Worker的监控在spark集群运行时即可监控，Driver和Excutor的监控需要针对某一个app来进行监控。 如果都要监控，需要根据以下步骤来配置 1. 修改$SPARK_HOME
阅读全文
摘要：监控配置 kafka基本分为broker、producer、consumer三个子项，每一项的启动都需要用到 $KAFKA_HOME/bin/kafka run class.sh 脚本，在该脚本中，存在以下语句： 在启动kafka的过程中，只要指定 JMX_PORT 的值，即可对broker
阅读全文
摘要：需求说明 编写背景 此手册的基础在于对 "《jmxtrans + influxdb + granafa 监控套件使用手册》" 的熟悉和使用。本手册仅介绍以下几项： OpenTSDB 的配置安装 对 json 文件的配置使其可以将数据导入OpenTSDB grafana 对OpenTSDB 数据源的看
阅读全文
摘要：需求说明 随着大数据组件的日益完善，需要随时随地保持各个组件的日常运行，对各个组件的监控势在必行。为了减少运维部门的负担，通过筛选，我们使用 jmxtrans + influxdb + granafa 套件对各个组件进行监控。 Jmxtrans：JMX可以对外暴露jvm内部的一些指标，但是要获取那些
阅读全文
摘要：配置监控 1. 修改flume.env.sh 2. 使用以下脚本 指标项整理 OS监控项 | objectName | 指标项 | 说明 | | | | | | java.lang:type=OperatingSystem | FreePhysicalMemorySize | 空闲物理内存 | |
阅读全文
摘要：配置 修改$HADOOP_HOME/etc/hadoop/hadoop env.sh web页面查看 | IP | 访问地址 | | | | | 192.168.20.10 | http://dev01:50070/jmx | | 192.168.20.11 | http://dev02:50075
阅读全文
摘要：名词解释 JMX：Java Management Extensions，用于用于Java程序扩展监控和管理项 GC：Garbage Collection，垃圾收集，垃圾回收机制 指标项来源 |主机名|url| | | | |192.168.20.10|http://192.168.20.10:600
阅读全文
摘要：Spark优化配置 1. 添加外包路径 1.1 1.2 spark submit时配置参数 2. spark submit时的参数配置 Kafka+Scala的参数配置 1. auto.offset.reset值含义解释 earliest 当各分区下有已提交的offset时，从提交的offset开始
阅读全文
摘要：启动相关 数据库命令 1、Help查看命令提示 help db.help(); db.yourColl.help(); db.youColl.find().help(); rs.help(); 2、切换/创建数据库 use yourDB; 当创建一个集合(table)的时候会自动创建当前数据库 3、
阅读全文
摘要：简介 在使用 Java 对数据库进行连接时，都会获取到一个 cursor ，cursor 实际指到的是我们查询数据库的query，而并不是 query 查询到的数据集。 此次在使用 mongo 的 cursor 的过程中，对线上数据库产生了很大压力，在这里对此次的优化过程进行记录。 场景 数据源：M
阅读全文
摘要：概念 rs中存储了每一次对mongo数据库的CUD操作，对rs的大小进行resize. 主要有两种方法： 1. 在未开启过rs的情况下，修改配置文件 2. 已使用rs一段时间后，发现rs太大，重新进行大小配置 启动 默认启动 配置文件启动 rs启动 修改配置文件 修改opLog大小 修改的过程主要分
阅读全文
摘要：测试方法 1. 使用 python 的 Faker 第三方包伪造数据，写入文件 test.txt 2. 复制 test.txt 内容为 test2.txt ，将 test2.txt 的内容重定向到 test.txt 中，使 test.txt 的文件大小达到几G 3. 使用lzo lz4 zstd s
阅读全文
摘要：端口 TCP协议 TCP协议规定，对于已经建立的连接，网络双方要进行四次握手才能成功断开连接，如果缺少了其中某个步骤，将会使连接处于假死状态，连接本身占用的资源不会被释放。网络服务器程序要同时管理大量连接，所以很有必要保证无用连接完全断开，否则大量僵死的连接会浪费许多服务器资源。在众多TCP状态中，
阅读全文
摘要：存储方式 |方式|方式来源|存储位置|优点|缺点| | | | | |自动提交|kafka|kafka|Spark应用从kafka中读取数据之后就自动提交|不是数据处理之后提交，无法控制| |异步提交|kafka|kafka|Spark应用从kafka中读取数据并处理好之后提交offset|如果ka
阅读全文
摘要：环境相关命令 CPU 说明： 1. CPU消耗状况 | 显示项 | 说明 | | | | | us | 用户态的消耗 | | sy | 系统内核的消耗 | | ni | 调过ni值的进程的cpu us的消耗 | | id | cpu空闲 | | wa | iowait的消耗 | | hi | 硬中断
阅读全文
摘要：线程的状态 NEW==》start()==》Runable Runable==》获取CPU==》Running Running==》yield()==》Runable Running==》Run()完成或异常退出==》Dead Running==》join(),sleep()==》Blocked B
阅读全文
摘要：简介 单用户多点模式也称远程服务模式，用户非java客户端访问元数据库，在服务端启动MetaStoreServer，客户端利用Thrift协议通过MetaStoreServer访问元数据库。 mysql安装以及配置 安装mysql apt默认安装，占据3306端口 安装机器 : dev01 配置hi
阅读全文
摘要：前言 Apache HBase 是目前大数据系统中应用最为广泛的分布式数据库之一。我们经常面临向 HBase 中导入大量数据的情景，通常会选择使用标准的客户端 API 对 HBase 进行直接的操作，或者在MapReduce作业中使用 TableOutputFormat 作为输出。实际上，借助 HB
阅读全文
摘要：hbase基于hue的查询语法 登录地址 https://hue ui.xiaoniangao.cn 界面操作说明 1. 进入hue中的hbase 2. 进入表的查询界面 3. 界面说明 查询语句 表示结束查询，可以不加 主键查询 1. 输入主键 说明：只输入主键查询 例1： 例2： 2. 根据主键
阅读全文
摘要：使用hive连接hbase 前提说明：一个hive表指向一个hbase表，一对一，不能多对一 建立外部表 说明： 1. hive的表名可以自己定义 2. hive中的字段名可以自定义 3. 建表语句后面的 WITH SERDEPROPERTIES 指向hbase表中的字段，必须一一对应 4. 建表语
阅读全文
摘要：hfile+compaction 原理 用户数据写入先写WAL，再写缓存，满足一定条件后缓存数据会执行flush操作真正落盘，形成一个数据文件 HFile 。太多数据文件会导致数据查询IO次数增多，因此HBase尝试着不断对这些文件进行合并，这个合并过程称为 Compaction 。 Com
阅读全文
摘要：磁盘容量 1. hdfs fsck /path/to/dicrectory 2. hdfs dfs du s /path/to/dicrectory 3. hdfs dfs du / 查看文件和目录大小 4. hdfs dfs count q /usr 会输出8列 | 命名空间的quota（限制文件
阅读全文
摘要：avro agent 配置文件 启动agent 用以下脚本开启agent客户端，从以下信息中可以看到当前 agent 的 jmx 监控端口号是4154，且绑定4411端口。 启动文本传输 新开一个终端进行以下动作。 1. 创建一个文件 2. 开启文本传输 3. 可以从agent客户端看到文件的内容
阅读全文
摘要：安装包 修改配置文件 环境变量 flume环境配置 shell cd $FLUME_HOME/conf cp flume env.sh.template flume env.sh vim flume env.sh export JAVA_HOME=/opt/soft/jdk1.8.0_144 set
阅读全文
摘要：前期服务器配置 1. 修改/etc/hosts文件，添加以下信息（如果正常IP） 119.23.163.113 master 120.79.116.198 slave1 120.79.116.23 slave2 如果安全组内的IP，通过ip a方式查询内部IP并添加到/etc/hosts； 2. 确
阅读全文
摘要：基本安装步骤 安装包下载 从 "大数据组件下载地址" 下载以下组件安装包 1. hadoop 2.6.0 cdh5.6.0.tar.gz 2. hbase 1.0.0 cdh5.6.0.tar.gz 3. zookeeper 3.4.5 cdh5.6.0.tar.gz 从 "java下载地址" 下载
阅读全文
摘要：在本地编辑了n次笔记文档后，印象笔记、蚂蚁笔记、markdownpad、typora等等等，各有优缺点吧。最大的缺点就是当我离开的时候为了将这些笔记作为财富带走，我只有两种方法：1. 上传到服务器上 有的必须作为会员才能同步，虽然也只是一些钱，但是，感觉神烦2. 将文件copy到我的移动硬盘里 就怕漏了啥。。。每次都心慌慌的找了很多很多遍 之前有用...
阅读全文
浙公网安备 33010602011771号