楔子

摘要： ClickHouse是俄罗斯Yandex于2016年开源的列式存储数据库（DBMS），主要用于在线分析查询（olap）,能够使用sql查询实时生成分析数据报告。 一、安装 下载地址：https://packagecloud.io/altinity/clickhouse 我这边选择的是下面的版本 wg 阅读全文

摘要： 1）查看redhat 7.0系统本身所安装的那些yum软件包 2）卸载掉上面的yum包 3）下载Cenos的yum相关软件包，下载地址：http://mirrors.163.com/centos/7/os/x86_64/Packages/ ，下载后上传至linux服务器 4）安装这些rpm包 rpm 阅读全文

摘要： 一、concat(), append()默认用来纵向连接DataFrame对象 1）df1和df2相同列合并 df1.append(df2) 等价于 pd.concat([df1,df2] 相当于sql中的union all 图中可以看出合并后出现了重复行，可以使用df.drop_duplicate 阅读全文

摘要： pandas 适用于处理以下类型的数据： 与 SQL 或 Excel 表类似的，含异构列的表格数据; 有序和无序（非固定频率）的时间序列数据; 带行列标签的矩阵数据，包括同构或异构型数据; 任意其它形式的观测、统计数据集, 数据转入 Pandas 数据结构时不必事先标记 pandas的主要数据结构为 阅读全文

摘要： 1）查看各数据库记录数，容量大小 SELECT table_schema AS '数据库', sum(table_rows) AS '记录数', sum( TRUNCATE (data_length / 1024 / 1024, 2) ) AS '数据容量(MB)', sum( TRUNCATE ( 阅读全文

摘要： 1）tree 查看目录结构 找不到命令时，使用yum install tree进行安装 2) grep 检索文件内容 grep -r "hadoop" /home/hadoop/test/ 查看/home/hadoop/test/所有包含hadoop关键字的文件 在/home/hadoop/test 阅读全文

摘要： scala中有方法和函数，两则有一些区别。方法与Java中的方法类似，方法是组成类的一部分。函数则是一个完整的对象，scala 中的函数其实就是继承了 Trait 的类的对象,scala 中使用 val 语句可以定义函数，def 语句定义方法. class Test{ //定义了一个方法，方法是使用 阅读全文

摘要： 一、条件判断 1）if 语句 if(布尔表达式) { // 如果布尔表达式为 true 则执行该语句块 } 2）if else if(布尔表达式){ // 如果布尔表达式为 true 则执行该语句块 }else{ // 如果布尔表达式为 false 则执行该语句块 } 3）if else if el 阅读全文

摘要： Scala 的数据类型和Java是类似的，所有Java的基本类型在scala包中都有对应的类，将Scala代码编译为Java字节码时，Scala编译器将尽可能使用Java的基本类型，从而提供基本类型的性能优势8种基本数据类型，位于scala包中：Byte,Short,Int,Long,Float,D 阅读全文

摘要： 一、注释 注释同Java一样 //单行注释 /*多行注释*/ /** * 文档注释 * @param args */ 二、变量 var a:Int=10；//定义一个整型变量a，赋值为10 var b=20;//定义一个变量b,赋值为20，省略类型，scala有类型推断能力 注： 1）声明变量时，类 阅读全文