PEAR2020

2020年12月2日

摘要： 1. free -b：以bytes为单位来显示内存的信息。 2. free -b：以kb为单位来显示内存的信息 3. free -m：以m为单位来显示内存的信息 4. free -g：以G为单位来显示内存的信息。 5. free -h：以适于人类可读方式显示内存信息。-h与其他命令最大不同是-h选项阅读全文

posted @ 2020-12-02 11:29 PEAR2020 阅读(111) 评论(0) 推荐(0)

Linux 之 vi 之快速定位到n line

摘要： ① vi进入命令行后 :set number ② n + shift + G >>> 例如：快速定位到第10行：10 + shift + G 阅读全文

posted @ 2020-12-02 11:13 PEAR2020 阅读(502) 评论(0) 推荐(0)

Zeppelin问题之 Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

摘要： hive连接beeline可以，但报错： java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient >>> 把mysql-conne 阅读全文

posted @ 2020-12-02 10:39 PEAR2020 阅读(223) 评论(0) 推荐(0)

2020年12月1日

离线数据分析之人物兴趣取向分析（2-1）数据探索

摘要：一、上传文件 hdfs dfs -mkdir -p /party/data hdfs dfs -put /opt/data/event_data/*.csv /party/data 二、Data Exploration 【数据探索：数据有没有毛病，保证质量】开启spark ./spark-shel 阅读全文

posted @ 2020-12-01 19:50 PEAR2020 阅读(325) 评论(0) 推荐(0)

python中with的用法

摘要： With语句的基本语法格式: with expression [as target]: with_body 参数说明： expression：是一个需要执行的表达式； target：是一个变量或者元组，存储的是expression表达式执行返回的结果，可选参数。 with opened(r'd:\\ 阅读全文

posted @ 2020-12-01 13:48 PEAR2020 阅读(136) 评论(0) 推荐(0)

2020年11月30日

spark hive 数据倾斜

摘要： hive： https://www.cnblogs.com/yanshw/p/12058160.html https://www.cnblogs.com/qingyunzong/p/8847597.html spark： https://www.cnblogs.com/yanshw/p/120581 阅读全文

posted @ 2020-11-30 23:34 PEAR2020 阅读(178) 评论(0) 推荐(0)

Mysql之热备份 mysql dump

摘要：示例： ① mysql dump 连表带数据导出（热备：热备份是系统处于正常运转状态下的备份）导出没有库 mysqldump -u root -p root > ttt.sql ② 导入新数据库 create database new_database;use new_database; sou 阅读全文

posted @ 2020-11-30 23:32 PEAR2020 阅读(356) 评论(0) 推荐(0)

离线数据分析之人物兴趣取向分析（一）项目介绍+数据湖介绍

摘要：一、大数据介绍（一）大数据趋势不局限于Hadoop，格局小了还有Cloud作为存储平台（new data lake）使用Nosql接管 hbase mongodb cassandra Spark & ML 流式处理 + 批处理 => 结合 Spark 2.0+ & Flink 1.9+ Va 阅读全文

posted @ 2020-11-30 11:48 PEAR2020 阅读(490) 评论(0) 推荐(0)

2020年11月29日

Python3 之Linux上安装|操作shell|操作hive

摘要：一、安装 python3 安装：https://www.cnblogs.com/xiujin/p/11477419.html 二、如何写一个py文件 1.找到python解释器的路径 which python 题头： #!/usr/bin/python 或者 #!/usr/bin/env pytho 阅读全文

posted @ 2020-11-29 11:57 PEAR2020 阅读(153) 评论(0) 推荐(0)

2020年11月26日

hive 之类型存String还是varchar？

摘要： String对长度没有限制！阅读全文

posted @ 2020-11-26 18:55 PEAR2020 阅读(2189) 评论(0) 推荐(0)

公告