会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
yy
基础才是编程人员应该深入研究的问题,警告自己问题解决不了时,多从运行原理底层研究后再考虑方案。
博客园
首页
新随笔
联系
管理
订阅
上一页
1
···
11
12
13
14
15
16
17
18
19
···
33
下一页
2017年12月21日
Hive:添加、删除分区
摘要: 添加分区: 已经创建好的分区表: 分区字段包含:p_hour,p_city,p_loctype。 根据分区字段p_loctype删除分区: 删除日志:
阅读全文
posted @ 2017-12-21 14:53 cctext
阅读(95501)
评论(2)
推荐(1)
2017年12月16日
曲面方程
摘要: python实现代码: https://github.com/CatarinaPinheiro/meshless/blob/master/meshless.ipynb
阅读全文
posted @ 2017-12-16 22:34 cctext
阅读(473)
评论(0)
推荐(0)
2017年12月11日
Java-Maven(八):IDEA使用本地maven,并配置远程中央仓库
摘要: 1)maven安装 一般我们从github、码云(https://gitee.com)上获取代码后,实际上我们并没有一个版本管理工具来用来获取(get)、提交(commit and push)代码的工具,因此需要使用一个代码提交管理工具,maven是这类工具中比较好的工具。 声明:maven安装请参
阅读全文
posted @ 2017-12-11 17:16 cctext
阅读(14026)
评论(0)
推荐(0)
2017年11月20日
开源博客系统使用springmvc
摘要: https://github.com/Zephery/newblog http://www.wenzhihuai.com/index.html
阅读全文
posted @ 2017-11-20 22:05 cctext
阅读(259)
评论(0)
推荐(0)
2017年11月13日
.NET反编译工具:de4dot
摘要: de4dot是一款C#编写的基于GPLv3协议的一个开源的.net反混淆脱壳工具,是目前.net下非常不错的一款反编译工具。 支持如下混淆器: Agile.NET (aka CliSecure) Babel.NET CodeFort CodeVeil CodeWall CryptoObfuscato
阅读全文
posted @ 2017-11-13 16:51 cctext
阅读(3836)
评论(0)
推荐(0)
2017年11月10日
Hadoop API:遍历文件分区目录,并根据目录下的数据进行并行提交spark任务
摘要: hadoop api提供了一些遍历文件的api,通过该api可以实现遍历文件目录: 并行执行sh的线程: 执行sh的java代码: submitsparkjob.sh 执行BatchSubmit.jar的命令:
阅读全文
posted @ 2017-11-10 23:32 cctext
阅读(2135)
评论(0)
推荐(0)
hive优化之——控制hive任务中的map数和reduce数
摘要: 一、 控制hive任务中的map数: 1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义
阅读全文
posted @ 2017-11-10 00:48 cctext
阅读(1018)
评论(0)
推荐(0)
2017年11月9日
Spark:将RDD[List[String,List[Person]]]中的List[Person]通过spark api保存为hdfs文件时一直出现not serializable task,没办法找到"spark自定义Kryo序列化输入输出API"
摘要: 声明:本文转自《在Spark中自定义Kryo序列化输入输出API》 在Spark中内置支持两种系列化格式:(1)、Java serialization;(2)、Kryo serialization。在默认情况下,Spark使用的是Java的ObjectOutputStream系列化框架,它支持所有继
阅读全文
posted @ 2017-11-09 01:34 cctext
阅读(671)
评论(0)
推荐(0)
2017年11月8日
spark算子:combineByKey
摘要: 假设我们有一组个人信息,我们针对人的性别进行分组统计,并进行统计每个分组中的记录数。 输出步骤: 上边的信息中,个人信息中只有一个值,如果value是元组的话,需要定义出一个type:
阅读全文
posted @ 2017-11-08 21:23 cctext
阅读(742)
评论(0)
推荐(1)
2017年11月7日
spark分区数,task数目,core数,worker节点个数,excutor数量梳理
摘要: 作者:王燚光链接:https://www.zhihu.com/question/33270495/answer/93424104来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 梳理一下Spark中关于并发度涉及的几个概念File,Block,Split,Task,Pa
阅读全文
posted @ 2017-11-07 20:04 cctext
阅读(1564)
评论(0)
推荐(0)
spark算子:partitionBy对数据进行分区
摘要: def partitionBy(partitioner: Partitioner): RDD[(K, V)] 该函数根据partitioner函数生成新的ShuffleRDD,将原RDD重新分区。 参考:http://lxw1234.com/archives/2015/07/356.htm
阅读全文
posted @ 2017-11-07 20:00 cctext
阅读(9271)
评论(0)
推荐(0)
算子:sample(false, 0.1)抽样数据
摘要: 抽样示例操作:
阅读全文
posted @ 2017-11-07 19:48 cctext
阅读(1864)
评论(0)
推荐(0)
2017年11月6日
hive:默认允许动态分区个数为100,超出抛出异常:
摘要: 在创建好一个分区表后,执行动态分区插入数据,抛出了错误: 解决方案: 在执行插入数据到分区时,添加参数设置:
阅读全文
posted @ 2017-11-06 18:32 cctext
阅读(8443)
评论(0)
推荐(1)
2017年11月2日
Android:触屏事件
摘要: Android触屏事件包含两种: 1)屏幕触屏事件:重写onTouchEvent(MotionEvent event); 2)控件触屏事件:给控件注册触屏事件,setOnTouchEventListener(...)。 屏幕触屏事件 效果: 代码: res/values/colors.xml <?x
阅读全文
posted @ 2017-11-02 05:17 cctext
阅读(695)
评论(0)
推荐(0)
2017年11月1日
Android:CheckBox控件
摘要: 1)ChexkBox继承自CompoundButton组件; 2)isChecked()--确定是否选中;setChecked(bool checked)--设置选中或取消选中; 3)监听事件:CompoundButton.OnCheckedChangeListener 使用checkbox,并实现
阅读全文
posted @ 2017-11-01 18:39 cctext
阅读(3009)
评论(0)
推荐(0)
Android:RadioGroup,RadioButton
摘要: RadioGroup:如果需要实现一组可选项中选择一个,可以使用该控件来实现; RadioButton:继承自CompoundButton,是一个单选按钮; 学习如何使用RadioGroup实现选中,获取选中项: 效果: 源代码: res\layout\activity_main.xml <Rela
阅读全文
posted @ 2017-11-01 17:28 cctext
阅读(605)
评论(0)
推荐(0)
Android:ImageView控件显示图片
摘要: 1)android显示图片可以使用imageView来呈现,而且也可以通过ImageButton来实现给button添加图片。 2)在创建一个ImageView后,显示图片绑定元素是:android:src="@android:drawable/btn_dialog" 3)后台操作绑定图片函数:im
阅读全文
posted @ 2017-11-01 01:38 cctext
阅读(20690)
评论(0)
推荐(0)
2017年10月28日
Spark:reduceByKey函数的用法
摘要: reduceByKey函数API: 该函数利用映射函数将每个K对应的V进行运算。 其中参数说明如下: - func:映射函数,根据需求自定义; - partitioner:分区函数; - numPartitions:分区数,默认的分区函数是HashPartitioner。 返回值:可以看出最终是返回
阅读全文
posted @ 2017-10-28 21:10 cctext
阅读(15005)
评论(0)
推荐(0)
HIve:beeline终端上在输错hive语句时,无论 Backspace还是delete 都删除不掉错误的语句,没有办法退格
摘要: 通过SecureCRT工具连上linux后,通过beeline连接上hive后,在输错hive语句时,无论 Backspace还是delete 都删除不掉错误的语句,没有办法退格。 解决方案: 第一步:SecureCRT菜单选项栏中"选项(O)"-》"会话选项(S)...",点击打开: 第二步:在“
阅读全文
posted @ 2017-10-28 20:32 cctext
阅读(2534)
评论(0)
推荐(1)
2017年10月26日
orchard-1.9.2-1.10.2汉化
摘要: 安装 首先从github上下载orchard源代码:https://github.com/OrchardCMS/Orchard(下载版本最新的1.10.2) 使用vs2017打开源代码,运行进入安装界面,输入后台账户名密码。 安装界面 网站名:xxxx 用户:xxxxx 密码:****** 重复密码
阅读全文
posted @ 2017-10-26 12:56 cctext
阅读(629)
评论(0)
推荐(0)
上一页
1
···
11
12
13
14
15
16
17
18
19
···
33
下一页
公告