2018年9月5日
python 中 numpy array 中的维度
摘要： 简介 numpy 创建的数组都有一个shape属性，它是一个元组，返回各个维度的维数。有时候我们可能需要知道某一维的特定维数。 二维情况 可以看到y是一个两行三列的二维数组，y.shape[0]代表行数，y.shape[1]代表列数。 三维情况 可以看到x是一个包含了3个两行三列的二维数组的三维数组 阅读全文
posted @ 2018-09-05 15:55 静悟生慧 阅读(29040) 评论(0) 推荐(3)
Hive 数据类型
摘要： 日期/时间类型 Hive支持带可选的纳秒级精度的UNIX timestamp。Hive中的timestamp与时区无关，存储为UNIX纪元的偏移量。Hive提供了用于timestamp和时区相互转换的便利UDF：to_utc_timestamp和 from_utc_timestamp。Timesta 阅读全文
posted @ 2018-09-05 15:34 静悟生慧 阅读(17291) 评论(0) 推荐(0)
linux 查看CPU、内存大小
摘要： 查看linux下的cpu、内存和硬盘大小： 查看cpu的方法 1、 cat /proc/cpuinfo 或者 更直观的查看cpu的型号命令：dmesg |grep -i xeon 查看内存的方法 2、 cat /proc/meminfo 或者 更直观的查看内存的命令：free -m 查看硬盘大小 3 阅读全文
posted @ 2018-09-05 12:24 静悟生慧 阅读(21210) 评论(0) 推荐(0)
将 数据从数据库 直接通过 pyspark 读入到dataframe
摘要： from pyspark.sql import SparkSession spark = SparkSession \ .builder \ .appName("Python Spark SQL basic example") \ .master("local") \ .enableHiveSupport() \ .getOrCreate() #try: ... 阅读全文
posted @ 2018-09-05 11:44 静悟生慧 阅读(1274) 评论(0) 推荐(0)
Hive 指定分隔符，将表导出到本地
摘要： hive表的数据源有四种： hbase hdfs 本地 其他hive表 而hive表本身有两种: 内部表和外部表。 而hbase的数据在hive中，可以建立对应的外部表（参看hive和hbase整合） 区别：删除时，内部表删除hadoop上的数据；而外部表不删，其数据在外部存储，hive表只是查看数 阅读全文
posted @ 2018-09-05 10:04 静悟生慧 阅读(9867) 评论(0) 推荐(0)
Hive 显示列名/表头
摘要： set hive.cli.print.header=true; 阅读全文
posted @ 2018-09-05 09:22 静悟生慧 阅读(3526) 评论(0) 推荐(0)