日拱一卒

摘要： 一、标识符 标识符：就是对变量、常量、函数、类等对象起的名字 Python语音在任何场景都严格区分大小写！ Python对于标识符的命名有如下的规定： 第一个字符必须是字母表中的字母或下划线‘_’ ，标识符的其他的部分由字母、数字和下划线组成a,AK,_set_id,green都可以，￥，~abc, 阅读全文

摘要： 背景： 数据导入到hive后，查询不到数据 原因： MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据 阅读全文

摘要： 背景： 在进行大数据测试的时候，需要删除测试数据，我对ODS层数据也用truncate table 表名进行删除，然后报错，后面知道ODS层数据删除不能这样删 原因： ODS层数据一般是外部表，不是单单删除数据那么简单，它还有数据文件在HDFS上 正确方法： 1.进入容器，切换为能进入HDFS的用户 阅读全文

摘要： 背景： 测试环境需要往标签表里面灌入标签数据， 需求： 短期流失，中期流失，唤醒 ，沉睡 随机20%用户 然后6月30号 5月31号 各补一次 代码： 随机20%用户 select * from wolf_7uxfyecbufj1xuqp.tb_user tablesample(20 percent 阅读全文

摘要： Hive Lateral View + explode 详解 (29条消息) Hive Lateral View + explode 详解_YaoYong_BigData的博客-CSDN博客_hive lateral view原理 Hive之explode()函数和posexplode()函数和la 阅读全文

摘要： 背景： 测试环境经常需要修改大数据里面的一条数据用来满足测试，比如修改一条数据的手机号用来发短信 思路： 1. insert overwrite table table1 select id,修改后的内容 as cols from table1 where id = 你修改行的id 先弄出你要修改的 阅读全文

摘要： join表我理解的就是两个表或者多个表因为有关联字段（或者叫外键）进行关联关系的筛选 一、join 同inner join 筛选出来两个表或多个表的关联字段值相等的数据，只要左边表的关联字段与右表匹配上，就会出现一条数据，所有会出现左边字段多条的情况，比如筛选出来有订单的用户， 二、left joi 阅读全文

摘要： select orderNumber, sum(priceEach * quantityOrdered) as totalvalues from orderdetails where sum(priceEach * quantityOrdered) > 60000; 报错原因： 是由于在where语 阅读全文

摘要： 步骤： 一.xshell上连上hive 的客户端： 1.xshell连接上服务器，需要知道主机的地址、端口号、用户名、密码 2.连接hive客户端：sh client_0.sh 3.输入hive 连接hive或者spark_beeline 二、分区插入两条数据 insert into 表名 part 阅读全文

摘要： 前言 模拟网速 一 1）打开模拟调节速度 2）Rules Customize Rules点击打开 3）弹出来了Fiddler Script页面，找到以下代码进行修改 if (m_SimulateModem) { // Delay sends by 300ms per KB uploaded. oSe 阅读全文