摘要：
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： Spark提供了一个全面、统 阅读全文
posted @ 2016-08-30 21:51 天戈朱 阅读(68565) 评论(4) 推荐(8) 编辑
摘要：
在新能源汽车的整个平台架构中，VCU （Vehicle Control Unit 整车控制器）、MCU (Moter Control Unit 电机控制器）和 BMS （BATTERY MANAGEMENT SYSTEM 电池管理系统）是最重要的核心技术，对整车的动力性、经济性、可靠性和安全性等有着 阅读全文
posted @ 2016-08-30 21:14 天戈朱 阅读(9469) 评论(1) 推荐(2) 编辑
摘要：
在分类上，按照汽车的燃料，烧油还是用电，还是两者兼具，又或者是加氢气，基于国内主流新能源汽车品牌和相关车型区分为纯电动汽车、混合动力汽车、燃料电池汽车. （参考：http://news.china.com.cn/2015lianghui/2015-02/28/content_34913062.htm 阅读全文
posted @ 2016-08-30 06:08 天戈朱 阅读(1064) 评论(0) 推荐(0) 编辑
摘要：
hadoop参数配置，主要是配置 core-site.xml,hdfs-site.xml,mapred-site.xml 三个配置文件，core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置，core-default.x 阅读全文
posted @ 2016-08-23 05:13 天戈朱 阅读(2684) 评论(0) 推荐(0) 编辑
摘要：
基于Centos7安装过程中常用工具及操作技术总结回顾。 操作技巧： tab键，命令自动补全 xshell 默认： Ctrl + Insert （复制） Shift + Insert (粘贴） systemctl 服务操作命令： systemctl start postfix.service 启动一 阅读全文
posted @ 2016-08-21 21:09 天戈朱 阅读(641) 评论(0) 推荐(0) 编辑
摘要：
client 向 Active NN 发送写请求时，NN为这些数据分配DN地址，HDFS文件块副本的放置对于系统整体的可靠性和性能有关键性影响。一个简单但非优化的副本放置策略是，把副本分别放在不同机架，甚至不同IDC，这样可以防止整个机架、甚至整个IDC崩溃带来的错误，但是这样文件写必须在多个机架之 阅读全文
posted @ 2016-08-21 17:06 天戈朱 阅读(2579) 评论(0) 推荐(0) 编辑
摘要：
早期的hadoop版本，NN是HDFS集群的单点故障点，每一个集群只有一个NN,如果这个机器或进程不可用，整个集群就无法使用。为了解决这个问题，出现了一堆针对HDFS HA的解决方案（如：Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Quo 阅读全文
posted @ 2016-08-21 16:09 天戈朱 阅读(16529) 评论(2) 推荐(2) 编辑
摘要：
在配置hbase集群将 hdfs 挂接到其它镜像盘时，有不少困惑的地方，结合以前的资料再次学习; 大数据底层技术的三大基石起源于Google在2006年之前的三篇论文GFS、Map-Reduce、 Bigtable，其中GFS、Map-Reduce技术直接支持了Apache Hadoop项目的诞生， 阅读全文
posted @ 2016-08-21 11:13 天戈朱 阅读(6451) 评论(2) 推荐(4) 编辑
摘要：
分析文本内容基本的步骤：提取文本中的词语 -> 统计词语频率 -> 词频属性可视化。词频：能反映词语在文本中的重要性，一般越重要的词语，在文本中出现的次数就会越多。词云：让词语的频率属性可视化，更加直观清晰。文本下载地址（http://www.yuandn.com/booktxt/59797/#do 阅读全文
posted @ 2016-08-18 22:51 天戈朱 阅读(1539) 评论(0) 推荐(0) 编辑