随笔分类 -  大数据

上一页 1 2 3 4
redhat6.2下的ssh密钥免密码登录（原创）
摘要：这个是我自己写的，鼓励转载，请说明转载地址：http://www.cnblogs.com/nucdy/p/5664840.html 在进行hadoop的免密码的登录操作是，老是发生no route等错误，这个源于是查了一下午，原因是ssh免密码没有做好 下面我说一下我这个是如何做到免密码的问题 在m 阅读全文
posted @ 2016-07-12 20:54 dy9776 阅读(1923) 评论(0) 推荐(0)
hadoop中常见的问题
摘要：一.在root下进行格式化 这样很糟糕 这样的话，若是第一次装的话，我的建议是将生成的文件都删掉，恢复到最开始的状态， 1. 首先你需要删除 vi conf/hdfs-site.xml 配置文件的dfs.name.dir和dfs.data.di的路径位置，我的是：/home/hadoop/dfs 故 阅读全文
posted @ 2016-07-12 18:57 dy9776 阅读(5060) 评论(0) 推荐(0)
RedHat中敲sh-copy-id命令报错：-bash: ssh-copy-id: command not found
摘要：RedHat中敲sh-copy-id命令报错：-bash: ssh-copy-id: command not found 在多台Linux服务器SSH相互访问无需密码， 其中进入一台Linus中，对其进行拷贝一下到host中，出现 会不会是用户的权限问题，在root下执行： [root@host6 阅读全文
posted @ 2016-07-12 17:28 dy9776 阅读(14120) 评论(1) 推荐(0)
查看Linus中自带的jdk ,设置JAVA_HOME
摘要：在配置hadoop是，进行格式化hadoop的时候，出现找不到jdk 我用Red hat是32位的，没有现成的32位的，敲java , 发现本机有java ,就找了一下其位置 找到了jdk-1.6.0 which java [root@host2 hadoop-1.1.2]# which java/ 阅读全文
posted @ 2016-07-11 19:16 dy9776 阅读(4822) 评论(0) 推荐(1)
配置hadoop-1.2.1出现localhost: Error: JAVA_HOME is not set.
摘要：配置hadoop-1.2.1出现localhost: Error: JAVA_HOME is not set. 具体为： hadoop@dy-virtual-machine:~/hadoop-1.2.1$ start-all.shstarting namenode, logging to /home 阅读全文
posted @ 2016-07-10 13:41 dy9776 阅读(3219) 评论(0) 推荐(0)
CentOS下配置Hadoop集群：java.net.NoRouteToHostException: No route to host问题的解决
摘要：我用的是hadoop 1.2.1 遇到的问题是： hadoop中datanode无法启动，报Caused by: java.net.NoRouteToHostException: No route to host 切换root用户将所有机器上的防火墙都关闭。 重新启动。成功。 一定要从新启动，是因为 阅读全文
posted @ 2016-07-09 23:25 dy9776 阅读(1222) 评论(0) 推荐(0)
Hadoop系统通信协议介绍（转）
摘要：转载自 http://weilaiyxj.iteye.com/blog/913166 本文约定： DN: DataNode TT: TaskTracker NN: NameNode SNN: Secondry NameNode JT: JobTracker 本文介绍Hadoop各节点和Client之 阅读全文
posted @ 2016-07-09 14:14 dy9776 阅读(4255) 评论(0) 推荐(0)
Hadoop生态圈介绍及入门（转）
摘要：问题导读 1.Hadoop生态圈介绍了哪些组件，分别都是什么？ 2.大数据与Hadoop是什么关系？ 本章主要内容： 理解大数据的挑战 了解Hadoop生态圈 了解Hadoop发行版 使用基于Hadoop的企业级应用 你可能听别人说过，我们生活在“大数据”的环境中。技术驱动着当今世界的发展，计算能力 阅读全文
posted @ 2016-07-09 13:19 dy9776 阅读(1693) 评论(0) 推荐(0)
数据质量及数据清洗方法
摘要：先对其进行介绍： 数据清洗(Data cleaning)– 对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。[1] 数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为 阅读全文
posted @ 2016-06-22 20:11 dy9776 阅读(4007) 评论(0) 推荐(0)
开源爬虫Labin，Nutch，Neritrix介绍和对比
摘要：crawler 开发 语言 功能 单一 支持分布式 爬取 效率 镜像 保存 Nutch Java × √ 低 × Larbin C++ √ × 高 √ Heritrix Java √ × 中 √ ************** Larbin开发语言：C++http://larbin.sourcefor 阅读全文
posted @ 2016-06-20 17:03 dy9776 阅读(1303) 评论(0) 推荐(0)
在CentOs6.5安装jdk
摘要：Linux CentOS 6.5 中安装与配置JDK-7：http://jingyan.baidu.com/article/fc07f9891d186512ffe51935.html jdk7的下载：http://www.oracle.com/technetwork/java/javase/down 阅读全文
posted @ 2016-06-04 16:13 dy9776 阅读(250) 评论(0) 推荐(0)
学硕和专硕
摘要：专业硕士有多少？ 学术硕士专业的划分与本科专业相差不多，同学们都比较熟悉，在此重点说一说大家都比较陌生的专硕。按照一级学科划分，截止目前，全日制专业硕士一共有39种，涵盖11大学科门类（哲学和理学两大门类没有开设专硕学位）。 此外，去年教育部发布通知，新增中医专硕。今年9月份，2016年考研招生简章 阅读全文
posted @ 2016-02-26 19:11 dy9776 阅读(1249) 评论(0) 推荐(0)
大数据处理分析的六大最好工具
摘要：来自传感器、购买交易记录、网络日志等的大量数据，通常是万亿或EB的大小，如此庞大的数据，寻找一个合适处理工具非常必要，今天我们为大家分享在大数据处理分析过程中六大最好用的工具。 【编者按】我们的数据来自各个方面，在面对庞大而复杂的大数据，选择一个合适的处理工具显得很有必要，工欲善其事，必须利其器，一 阅读全文
posted @ 2016-02-19 09:54 dy9776 阅读(924) 评论(0) 推荐(0)
了解 hadoop
摘要：《Hadoop基础教程》之初识Hadoop 博客分类： 读后感 《Hadoop基础教程》之初识Hadoop 读后感 Hadoop一直是我想学习的技术，正巧最近项目组要做电子商城，我就开始研究Hadoop，虽然最后鉴定Hadoop不适用我们的项目，但是我会继续研究下去，技多不压身。 《Hadoop基础 阅读全文
posted @ 2016-02-18 20:13 dy9776 阅读(356) 评论(0) 推荐(0)

上一页 1 2 3 4