摘要: 原帖地址:http://www.ptbird.cn/mapreduce-tempreture.html 「 Hadoop」mapreduce对温度数据进行自定义排序、分组、分区等 一、需求说明 1、数据文件说明 hdfs中有一些存储温度的数据文件,以文本形式存储,示例如下: 日期和时间中间是空格,为 阅读全文
posted @ 2020-03-12 00:21 凌羽 阅读(472) 评论(0) 推荐(0) 编辑
摘要: 方案1:使用shell脚本进行do while循环,挨个分区输出。从开始的分区一直循环到结束分区即可。本例子为月,若需日,改为%Y-%m-%d即可,-1month改为-1day即可 partition_month=`date -d "$start_date" +"%Y-%m"`partition_m 阅读全文
posted @ 2020-03-10 15:58 凌羽 阅读(1600) 评论(0) 推荐(0) 编辑
摘要: Hive 的collect_set使用详解 https://blog.csdn.net/liyantianmin/article/details/48262109 对于非group by字段,可以用Hive的collect_set函数收集这些字段,返回一个数组; 使用数字下标,可以直接访问数组中的元 阅读全文
posted @ 2018-08-16 17:47 凌羽 阅读(25379) 评论(0) 推荐(1) 编辑
摘要: 原文:https://blog.csdn.net/tianlesoftware/article/details/5826546 Nested Loops,Hash Join 和 Sort Merge Join. 三种不同连接的不同: 一. NESTED LOOP: 对于被连接的数据子集较小的情况,嵌 阅读全文
posted @ 2018-05-03 18:29 凌羽 阅读(366) 评论(0) 推荐(0) 编辑
摘要: 源链接:https://blog.csdn.net/robinson1988/article/details/4980611 index range scan(索引范围扫描): 1.对于unique index来说,如果where 条件后面出现了<,> ,between ...and...的时候,那 阅读全文
posted @ 2018-05-03 16:49 凌羽 阅读(1050) 评论(0) 推荐(0) 编辑
摘要: 一:范围分区 就是根据数据库表中某一字段的值的范围来划分分区,例如: 插入实验数据: 下面查询一下全部数据,然后查询各个分区数据,代码一起写: 全部数据如下: 不及格数据如下: 及格数据如下: 优秀数据如下: 说明:数据中有空值,Oracle机制会自动将其规划到maxvalue的分区中。 二:散列分 阅读全文
posted @ 2018-04-27 16:39 凌羽 阅读(766) 评论(0) 推荐(0) 编辑
摘要: 1 /// 2 /// TXT文件转换成DataSet数据集 3 /// 4 /// 5 /// 6 /// 7 private DataSet TextFileL... 阅读全文
posted @ 2014-09-18 21:11 凌羽 阅读(740) 评论(0) 推荐(0) 编辑
摘要: 原文传送:http://www.cnblogs.com/peterzb/archive/2009/06/18/1505424.html1.ColorListBoxColorListBox.zip2.RadioListBoxRadioListBox.rar3.扩展CheckedListBox控件ExCheckedListBox.rar 每项可以显示多行文本的ListBox控件MultiLineListBox.rar4.ActiveGridActiveGrid.rar5.DragDropListView(演示对ListView项的拖动)DragDropListView.rar6.EXListVi. 阅读全文
posted @ 2014-04-09 10:59 凌羽 阅读(607) 评论(0) 推荐(0) 编辑
摘要: SqlParameterstring strSql = "Insert into News(TypeId,NewsCaption,NewsContent) values(@TypeId,@NewsCaption,@NewsContent)"; SqlParameter[] paras ={ new SqlParameter("@TypeId",SqlDbType.Int), new SqlParameter("@NewsCaption",SqlDbType.NVarChar,200), new SqlParameter("@ 阅读全文
posted @ 2014-02-20 00:27 凌羽 阅读(232) 评论(0) 推荐(0) 编辑
摘要: 使用add方法增加cmd的parameter,有更实用的地方——当网站需要操作数据库的时候,在数据操作类里面写上相应的参数,用于处理诸如gridview里带出来的参数,会比较好。回头贴代码。以及更多的学习。一般来说,在更新DataTable或是DataSet时,如果不采用SqlParameter,那么当输入的Sql语句出现歧义时,如字符串中含有单引号,程序就会发生错误,并且他人可以轻易地通过拼接Sql语句来进行注入攻击。123456789101112131415161718stringsql = "update Table1 set name = 'Pudding' 阅读全文
posted @ 2014-02-20 00:26 凌羽 阅读(360) 评论(0) 推荐(0) 编辑