08 2016 档案

HDFS
摘要：HDFS：Hadoop分布式文件系统 特性：1、可扩展，高性能，适用于特定类型的应用，不是通用的分布式文件系统。 2、HDFS针对高速流式读取，对随机查找性能差 3、支持写入、删除、追加和读取，不支持更新。它假定的应用场景是数据一次性写入HDFS，然后多次读取（访问模型）。 4、HDFS不提供本地数 阅读全文
posted @ 2016-08-30 11:27 鎏鑫岁月 阅读(199) 评论(0) 推荐(0)
spark从hbase读取数据以及zookeeper坑
摘要：1、遇到错误，认真查看日志，这才是解决问题的王道啊！ 不过很多时候，尤其是开始摸索的时候，一下要接触的东西太多了，学东西也太赶了，加上boss不停的催进度，结果欲速则不达，最近接触大数据，由于平台是别人搭建的，搭没搭好不知道，也不清楚细节，出了问题也不知道是自己这边的还是平台的问题。有的时候就是小问 阅读全文
posted @ 2016-08-25 11:01 鎏鑫岁月 阅读(7898) 评论(0) 推荐(0)
hadoop+spark+hbase
摘要：spark web UI: http://xxx.xx.xxx:8180/ HBASE web: http://10.3.9.135:16010/master-status HADOOP: xxx.xx.xxx:8088 Hadoop资源管理 xxx.xx.xxx:50070 HDFS文件管理，节点 阅读全文
posted @ 2016-08-24 09:37 鎏鑫岁月 阅读(222) 评论(0) 推荐(0)
HBase命行及读取
摘要：列出表：list 获取表描述：describe 'CityWeather' 例子： 这里只有一列，列族名为cf，qualifier是在插入数据时指定的所以没有在表的描述里面 浏览表：scan ‘CityWeather’ , {VERSIONS => 10}浏览最近更新的前十个版本 scan ‘Cit 阅读全文
posted @ 2016-08-22 11:22 鎏鑫岁月 阅读(784) 评论(0) 推荐(0)
java 打包与运行
摘要：问题1：java -jar xxx.jar，运行jar包没有主属性清单 解决：打开压缩包打开文件夹META-INF，找到MANIFEST.MF文件，增加： Main-Class: hadoop.HdfsTest（注意：冒号后面要有个空格，不然会提示invalid or corrupt jarfile 阅读全文
posted @ 2016-08-22 09:49 鎏鑫岁月 阅读(525) 评论(0) 推荐(0)
腾讯云访问不了80端口，与8080问题
摘要：遇到问题：开始在ubuntu用户下安装jdk,tomcat,tomcat默认8080端口能访问，我改成80就不能访问了，又改成8080还是不能，纳闷了不知道什么原因，坑 腾讯云真的有点慢访问，不知道为什么，第一次访问8080或80时很慢，而阿里云不会这样，所以有的时候都不知道它连上没有，第一次连上了 阅读全文
posted @ 2016-08-19 22:43 鎏鑫岁月 阅读(17124) 评论(0) 推荐(0)
hadoop
摘要：上传文件到hdfs上：hadoop fs -put 本地 hdfs目录 阅读全文
posted @ 2016-08-19 16:14 鎏鑫岁月 阅读(119) 评论(0) 推荐(0)
Ubuntu安装Mysql+sdk+tomcat
摘要：安装Mysql,更新软件列表：apt-get update 安装mysql-sever：apt-get install mysql-server 安装mysql-client：apt-get install mysql-client（提供命令行操作，还有其它功能吧） 安装开发库：apt-get in 阅读全文
posted @ 2016-08-18 22:48 鎏鑫岁月 阅读(201) 评论(0) 推荐(0)
eclipse与tomcat及javaweb和mysql相关内容
摘要：开发了一个web应用好久没看了，都又不知道怎么回事了，怎么当时没有记呢，现在记一下吧。 1、安装eclipse与tomcat，这两个都是解压缩就安装，然后配置相应的环境变量。 2、打开eclipse,window-> perference,配置server->runtime environment, 阅读全文
posted @ 2016-08-18 01:59 鎏鑫岁月 阅读(534) 评论(0) 推荐(0)
getFragmentManager与getChildFragmentManager，解决fragment白屏
摘要：getFragmentManager到的是activity对所包含fragment的Manager，而如果是fragment嵌套fragment，那么就需要利用getChildFragmentManager()了。getFragmentManager到的是activity对所包含fragment的M 阅读全文
posted @ 2016-08-11 11:29 鎏鑫岁月 阅读(1543) 评论(0) 推荐(0)
Spark+hadoop+mllib及相关概念与操作笔记
摘要：Spark+hadoop+mllib及相关概念与操作笔记 作者： lw 版本： 0.1 时间： 2016-07-18 1、调研相关注意事项 a) 理解调研 调研的意义在于了解当前情况，挖掘潜在的问题，解决存在的疑问，并得到相应的方案。 b) 调研流程 首先明确和梳理现有的疑问是什么，要通过调研解决什 阅读全文
posted @ 2016-08-09 17:24 鎏鑫岁月 阅读(633) 评论(0) 推荐(0)