摘要: 1、架构与源码分析 :https://www.cnblogs.com/luoxn28/p/6417892.html 、https://www.cnblogs.com/wangdaijun/p/5296830.html 2、执行器篇:https://blog.csdn.net/qingtian211/ 阅读全文
posted @ 2018-11-06 08:50 李克华 阅读(419) 评论(0) 推荐(0) 编辑
摘要: 1、Didi Chuxing's Jean Liu on The Future of Cities https://www.youtube.com/watch?v=G9uPGoN0dvQ 2、Didi-Chuxing's Jean Liu Charlie Rose video https://www 阅读全文
posted @ 2018-07-25 13:02 李克华 阅读(731) 评论(0) 推荐(0) 编辑
摘要: 1、union Logging initialized using configuration in file:/home/xiaoju/hadoop/apache-hive-1.2.1-bin/conf/hive-log4j.propertiesAdded [target/publiclog-se 阅读全文
posted @ 2017-02-22 19:53 李克华 阅读(4883) 评论(0) 推荐(0) 编辑
摘要: 读一张表,对其进行二值化特征转换。可以二值化要求输入类型必须double类型,类型怎么转换呢? 直接利用spark column 就可以进行转换: DataFrame dataset = hive.sql("select age,sex,race from hive_race_sex_bucktiz 阅读全文
posted @ 2016-12-20 17:38 李克华 阅读(17402) 评论(0) 推荐(0) 编辑
摘要: 今天本来想写一个spark dataframe unionall的demo,由于粗心报下面错误: Exception in thread "main" org.apache.spark.sql.AnalysisException: Union can only be performed on tab 阅读全文
posted @ 2016-12-20 17:32 李克华 阅读(3595) 评论(0) 推荐(0) 编辑
摘要: Application ID is application_1481285758114_422243, trackingURL: http://***:4040Exception in thread "main" org.apache.hadoop.mapred.InvalidInputExcept 阅读全文
posted @ 2016-12-16 10:48 李克华 阅读(654) 评论(0) 推荐(0) 编辑
摘要: 熟悉或了解分布性系统的开发者都字段一致性算法的重要性,Paxos一致性算法从90年提出到现在已经有二十几年了,而Paxos流程太过于繁杂实现起来也比较复杂,可能也是以为过于复杂 现在我听说过比较出名使用到Paxos的也就只是Chubby、libpaxos,搜了下发现Keyspace、Berkeley 阅读全文
posted @ 2016-09-06 14:12 李克华 阅读(10430) 评论(1) 推荐(1) 编辑
摘要: 在windows下开发,写好的shell脚本,放到linux上执行,往往会因为编码格式的问题存在兼容问题:-bash: ./lbs-circle-server.sh: /bin/sh^M: bad interpreter: No such file or directory这是由于文件编码格式win... 阅读全文
posted @ 2015-08-19 17:58 李克华 阅读(6572) 评论(0) 推荐(0) 编辑
摘要: 扩展ik原生代码:public class IKAnalyzerTokenizerFactory extends TokenizerFactory{ private boolean useSmart; public boolean useSmart() { return this.use... 阅读全文
posted @ 2015-06-29 17:55 李克华 阅读(957) 评论(0) 推荐(0) 编辑
摘要: 在上一节中,我们讲述了maven私服搭建,那么本章,我们讲述如何使用maven将代码打包并上传到maven私服上。一、maven pom.xml关键配置信息。 releases Nexus Release Repository http://19... 阅读全文
posted @ 2015-06-04 18:39 李克华 阅读(11409) 评论(0) 推荐(1) 编辑