上一页 1 ··· 8 9 10 11 12 13 14 15 16 ··· 18 下一页
摘要: jdk 下载jdk安装包,解压到/usr/java/jdk 配置环境变量: #vi /etc/profile 在该profile文件中最下面添加: JAVA_HOME=/usr/java/jdk1.7.0//自己的jdk路径 JRE_HOME=/usr/java/jdk1.7.0/jre PATH= 阅读全文
posted @ 2017-12-16 17:38 rickiyang 阅读(374) 评论(0) 推荐(0) 编辑
摘要: 前面我们基本学习了HDFS的原理,hadoop环境的搭建,下面开始正式的实践,语言以java为主。这一节来看一下HDFS的java操作。 1 环境准备 上一篇说了windows下搭建hadoop环境,开始之前先启动hadoop。我本地的编译器是idea。搭建maven工程: pom.xml文件: < 阅读全文
posted @ 2017-12-16 17:33 rickiyang 阅读(203) 评论(0) 推荐(0) 编辑
摘要: 因为我们不能在线上环境进行调试hadoop,这样就只能在本地先调试好了再放到线上去啦。我本地是windows环境,今天先记下windows下搭建hadoop2.7的步骤。 1 本地环境 windows7 64位 hadoop-2.7.3.tar.gz hadoop在apache下载,看别的教程都说是 阅读全文
posted @ 2017-12-16 17:29 rickiyang 阅读(284) 评论(0) 推荐(0) 编辑
摘要: 今天我们来完成hadoop2.x的完全分布式环境搭建,话说学习本来是一件很快乐的事情,可是一到了搭环境就怎么都让人快乐不起来啊,搭环境的时间比学习的时间还多。都是泪。话不多说,走起。 1 准备工作 开工之前先说一下我们的机器环境: 一共是4台主机,主机1,2,3都是从master克隆过来的: 主机名 阅读全文
posted @ 2017-12-16 17:24 rickiyang 阅读(271) 评论(0) 推荐(0) 编辑
摘要: git常用指令一览表 GIT指令 说明 ... 阅读全文
posted @ 2017-12-16 17:10 rickiyang 阅读(380) 评论(0) 推荐(0) 编辑
摘要: HDFS所有命令: [uploaduser@rickiyang ~]$ hadoop fs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [- 阅读全文
posted @ 2017-11-30 16:40 rickiyang 阅读(207) 评论(0) 推荐(0) 编辑
摘要: 前面我们讲过了urllib模块,知道他是用于网络请求的,这一节讲的requests还是用于网络请求的,只不过urllib是官方模块,而requests是第三方的模块。用过的人都说他才是’人类使用的’,哈哈,我也没觉得urllib有多么尿性啊!下面我们试着回归人类的生活吧。 这是第三方的模块,所以需要 阅读全文
posted @ 2017-11-27 19:54 rickiyang 阅读(211) 评论(0) 推荐(0) 编辑
摘要: python标准库中带有一个Queue模块,顾名思义,队列。该模块也衍生出一些基本队列不具有的功能。 我们先看一下队列的方法: put 存数据 get 取数据 empty 判断队列是否为空 qsize 显示队列中真实存在的元素长度 maxsize 最大支持队列长度 join 等到队列为空,该行语句下 阅读全文
posted @ 2017-11-27 19:52 rickiyang 阅读(278) 评论(0) 推荐(0) 编辑
摘要: pickle提供了一个简单的持久化功能。可以将对象以文件的形式存放在磁盘上。 基本接口: pickle.dump(obj, file, [,protocol]) 注解:将对象obj保存到文件file中去。 protocol为序列化使用的协议版本, 0:ASCII协议,所序列化的对象使用可打印的ASC 阅读全文
posted @ 2017-11-27 19:51 rickiyang 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 在爬虫的学习中,我们爬取网页信息之后就是对信息项匹配,这个时候一般是使用正则。但是在使用中发现正则写的不好的时候不能精确匹配(这其实是自己的问题!)所以就找啊找。想到了可以通过标签来进行精确匹配岂不是比正则要快。所以找到了lxml。 因为lxml是对xml格式的解析,支持html格式,而对于xml格 阅读全文
posted @ 2017-11-27 19:49 rickiyang 阅读(334) 评论(0) 推荐(0) 编辑
上一页 1 ··· 8 9 10 11 12 13 14 15 16 ··· 18 下一页