摘要：
目录： hdfs 命令操作本地 hbase Azure HDInsight HBase表数据导入本地 hbase hdfs命令操作本地hbase: 参见 HDP2.4安装(五)：集群及组件安装 , 创建本地 hbase集群后，使用hadoop hdfs 命令在访问 hbase 存储数据时，数据在hd 阅读全文
posted @ 2016-09-03 05:46 天戈朱 阅读(1218) 评论(0) 推荐(0)
摘要：
hdfs dfs -cat URI : 查看文件内容 -ls <args>： 查文件列表 -mkdir <paths> ： 创建目录 The behavior is much like unix mkdir -p creating parent directories along the path 阅读全文
posted @ 2016-09-03 05:43 天戈朱 阅读(2456) 评论(0) 推荐(0)
摘要：
SparkSQL是指整合了Hive的spark-sql cli, 本质上就是通过Hive访问HBase表，具体就是通过hive-hbase-handler, 具体配置参见：Hive(五):hive与hbase整合 目录： SparkSql 访问 hbase配置 测试验证 SparkSql 访问 hb 阅读全文
posted @ 2016-09-01 21:25 天戈朱 阅读(9410) 评论(0) 推荐(0)
摘要：
参见 HDP2.4安装(五)：集群及组件安装 ，安装配置的spark版本为1.6, 在已安装HBase、hadoop集群的基础上通过 ambari 自动安装Spark集群，基于hadoop yarn 的运行模式。 目录： Spark集群安装 参数配置 测试验证 Spark集群安装： 在ambari 阅读全文
posted @ 2016-08-31 23:49 天戈朱 阅读(5020) 评论(0) 推荐(0)
摘要：
Spark 作为一个以擅长内存计算为优势的计算引擎，内存管理方案是其非常重要的模块； Spark的内存可以大体归为两类：execution和storage，前者包括shuffles、joins、sorts和aggregations所需内存，后者包括cache和节点间数据传输所需内存；在Spark 1 阅读全文
posted @ 2016-08-31 23:47 天戈朱 阅读(7275) 评论(0) 推荐(0)
摘要：
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： Spark提供了一个全面、统 阅读全文
posted @ 2016-08-30 21:51 天戈朱 阅读(70385) 评论(4) 推荐(8)
摘要：
在新能源汽车的整个平台架构中，VCU （Vehicle Control Unit 整车控制器）、MCU (Moter Control Unit 电机控制器）和 BMS （BATTERY MANAGEMENT SYSTEM 电池管理系统）是最重要的核心技术，对整车的动力性、经济性、可靠性和安全性等有着 阅读全文
posted @ 2016-08-30 21:14 天戈朱 阅读(9732) 评论(1) 推荐(2)
摘要：
在分类上，按照汽车的燃料，烧油还是用电，还是两者兼具，又或者是加氢气，基于国内主流新能源汽车品牌和相关车型区分为纯电动汽车、混合动力汽车、燃料电池汽车. （参考：http://news.china.com.cn/2015lianghui/2015-02/28/content_34913062.htm 阅读全文
posted @ 2016-08-30 06:08 天戈朱 阅读(1104) 评论(0) 推荐(0)
摘要：
hadoop参数配置，主要是配置 core-site.xml,hdfs-site.xml,mapred-site.xml 三个配置文件，core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置，core-default.x 阅读全文
posted @ 2016-08-23 05:13 天戈朱 阅读(2807) 评论(0) 推荐(0)
摘要：
基于Centos7安装过程中常用工具及操作技术总结回顾。 操作技巧： tab键，命令自动补全 xshell 默认： Ctrl + Insert （复制） Shift + Insert (粘贴） systemctl 服务操作命令： systemctl start postfix.service 启动一 阅读全文
posted @ 2016-08-21 21:09 天戈朱 阅读(661) 评论(0) 推荐(0)
浙公网安备 33010602011771号