jeffery1010

2016年12月29日

示例数据模型 HBase中扩展和负载均衡的基本单元成为region，region本质上是以行健排序的连续存储区间。如果region太大，系统会把它们自动拆分，相反的，就是把多个region合并，以减少存储文件的数量。 HBase中的region等同于数据库分区中的范围划分，它们可以被分配到若干物理 Read More

posted @ 2016-12-29 16:17 jeffery1010 Views(302) Comments(0) Diggs(0)

spark-submit 分发应用

Spark 提供了一个名为spark-submit 的单一工具来跨集群管理器的提交作业，命令如下： bin/spark-submit [options] <app jar | python file> [app options]1、[options]是spark-submit 的标志列表。你可以运行 Read More

posted @ 2016-12-29 13:49 jeffery1010 Views(361) Comments(0) Diggs(0)

Spark 宏观架构&执行步骤

Spark 使用主从架构，有一个中心协调器和许多分布式worker。中心协调器被称为driver。Driver 和被称为executor 的大量分布式worker 通信 Driver 运行在它自己的Java 进程，而每个executor 是单独的Java 进程。Driver 和它的所有execut Read More

posted @ 2016-12-29 12:01 jeffery1010 Views(973) Comments(0) Diggs(0)

2016年12月28日

Hive&Hbase

1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能 Read More

posted @ 2016-12-28 17:09 jeffery1010 Views(186) Comments(0) Diggs(0)

SPARK支持的常见文件格式

SequenceFile读写文件Scala\java类型对应表 Read More

posted @ 2016-12-28 14:16 jeffery1010 Views(908) Comments(0) Diggs(0)

2016年12月27日

解决git .ignore文件无效

在用 Git 进行代码管理的时候，我们会用 .gitignore 文件来描述哪些文件是不需要进行版本管理的，也就是被忽略掉。如果我们在第一次提交的时候，忘记添加 .gitignore 文件或者在首次添加了 .gitignore 文件之后，又对 .gitignore 文件进行了修改，你会发现这两种 Read More

posted @ 2016-12-27 10:14 jeffery1010 Views(305) Comments(0) Diggs(0)

git http\https\git免密设置记住用户名和密码的方法

设置记住密码（默认15分钟）： git config --global credential.helper cache如果想自己设置时间，可以这样做： git config credential.helper 'cache --timeout=3600'这样就设置一个小时之后失效长期存储密码： g Read More

posted @ 2016-12-27 09:21 jeffery1010 Views(4851) Comments(0) Diggs(0)

2016年12月22日

WPF部署问题解决：The application requires that the assembly...be installed in the GAC

vs-->引用-->找到问题类库-->邮件属性 >特定版本-->false done Read More

posted @ 2016-12-22 17:36 jeffery1010 Views(317) Comments(0) Diggs(0)

2016年12月20日

reporting service & wpf

WPF做Windows程序界面很好很强大，RDLC做报表免费又好用，如何将两者强强联合呢？方法1：可以直接在WPF项目中加入一个WinForm窗体，在这个窗体上进行报表操作，与一般的WinForm编程没有什么区别。用WindowFormHost控件，直接集成报表到WPF窗体中，可以保持程序风格的 Read More

posted @ 2016-12-20 16:59 jeffery1010 Views(301) Comments(0) Diggs(0)

2016年12月12日

洪应明《菜根谭》

岁月本长而忙者自促；天地本宽而卑者自隘；风花雪月本闲,而劳忧者自冗；天行健,君子以自强不息；地势坤,君子以厚德载物；宠辱不惊,闲看庭前花开花落；去留无意,漫随天外云卷云舒. 生固欣然，死亦无憾；花落还开，水流不断；我兮何有，谁欤安息？明月清风，不劳寻觅。 Read More

posted @ 2016-12-12 17:12 jeffery1010 Views(238) Comments(0) Diggs(0)

公告