agentfitz - 博客园

2018年6月19日

摘要： 1. MongoDB的安装方法（1）下载MongoDB 相应的版本；（2）设置数据文件和日志文件的存放目录；（3）启动MongoDB服务；（4）将MongoDB作为服务启动。 2. MongoDB文档基本操作的方法（1）插入并保存文档；（2）删除文档；（3）修改文档。一、数据库操作阅读全文

posted @ 2018-06-19 18:22 agentfitz 阅读(312) 评论(0) 推荐(0)

HBase环境搭建、shell操作及Java API编程

摘要：一、 1.掌握Hbase在Hadoop集群体系结构中发挥的作用和使过程。 2.掌握安装和配置HBase基本方法。 3.掌握HBase shell的常用命令。 4.使用HBase shell命令进行表的创建，增加删除修改操作。 5.使用Java API进行表的创建，增加删除修改操作。二、 1.完成Z 阅读全文

posted @ 2018-06-19 18:19 agentfitz 阅读(385) 评论(0) 推荐(0)

HDFS shell操作及HDFS Java API编程

摘要： HDFS shell操作及HDFS Java API编程 1.熟悉Hadoop文件结构。 2.进行HDFS shell操作。 3.掌握通过Hadoop Java API对HDFS操作。 4.了解Hadoop文件操作原理。 1.查看HDFS的NameNode和DataNode目录结构。 2.通过HDF 阅读全文

posted @ 2018-06-19 18:18 agentfitz 阅读(718) 评论(0) 推荐(0)

Hadoop集群搭建

摘要： Hadoop集群搭建搭建文档： https://pan.baidu.com/s/1dPUHiwhcDNrMsKNIgOjj0Q 一、实验环境虚拟机数量：3台操作系统：Ubuntu 14.04 Hadoop：Hadoop 2.6.5 Java：java version "1.7.0_51" 二、阅读全文

posted @ 2018-06-19 18:16 agentfitz 阅读(553) 评论(0) 推荐(0)

大数据综合案例-网站日志分析

摘要：第一部分:项目介绍一、项目背景与数据情况 1.1 项目来源本次要实践的数据日志来源于国内某技术学习论坛，该论坛由某培训机构主办，汇聚了众多技术学习者，每天都有人发帖、回帖，如图1所示: 图1 项目来源网站-技术学习论坛本次实践的目的就在于通过对该技术论坛的apache common日志进行分析阅读全文

posted @ 2018-06-19 18:09 agentfitz 阅读(4036) 评论(1) 推荐(0)

2017年11月23日

python爬虫---selenium库的用法

摘要： selenium是一个自动化测试工具，支持Firefox，Chrome等众多浏览器在爬虫中的应用主要是用来解决JS渲染的问题。 1.使用前需要安装这个第三方库，CMD下： pip install selenium 2.为你的测试浏览器下载驱动，我用的是Chrome，对应的去百度一下Chrome w 阅读全文

posted @ 2017-11-23 21:11 agentfitz 阅读(13052) 评论(3) 推荐(1)

2017年11月22日

python爬虫---requests库的用法

摘要： requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多因为是第三方库，所以使用前需要cmd安装 pip install requests 安装完成后import一下，正常则说明可以开始使用了。基本用法： requests.get()用于请求目标网站，类型是一个H 阅读全文

posted @ 2017-11-22 21:21 agentfitz 阅读(192770) 评论(1) 推荐(9)