随笔分类 -  大数据和爬虫java

1. 大数据的学习 2. 爬虫java的学习
java爬虫中jsoup的使用
摘要：java爬虫中jsoup的使用 jsoup可以用来解析HTML的内容，其功能非常强大,它可以向javascript那样直接从网页中提取有用的信息 例如1： 从html字符串中解析数据 //直接从字符串中获取 public static void getParByString() { String h 阅读全文
posted @ 2019-11-29 16:46 云计算（互联网） 阅读(365) 评论(0) 推荐(0)
hadoop+zookeeper集群高可用搭建
摘要：hadoop+zookeeper集群高可用搭建 Senerity 发布于 2016/12/12 09:19 【推荐阅读】滴滴出行的数据架构和信息流处理思路解析->>> Hadoop集群搭建步骤 1. 架构图 2. 准备5台机器 centosa: 192.168.42.128 centosb: 192 阅读全文
posted @ 2019-11-29 16:27 云计算（互联网） 阅读(442) 评论(0) 推荐(0)
部署zookeepe高可用集群
摘要：部署zookeepe高可用集群 部署规划 Nno1 192.168.1.31 Nno2 192.168.1.37 Node32 192.168.1.32 Node33 192.168.1.33 Node34 192.168.1.34 1)主机01 [root@node31 bin]# vim /et 阅读全文
posted @ 2019-11-29 16:09 云计算（互联网） 阅读(155) 评论(0) 推荐(0)
hadoop（学习）
摘要：hadoop Hadoop是一个用于海量数据统计分析的分布式计算框架，封装了分布式计算中比较困难的进程间通信、负载均衡，任务调度等模块，降低了学习门槛。在最简单的程序实现中，仅仅需要重写map和reduce方法，并实现任务提交逻辑。接下来，就让我们一起推开Hadoop的大门，走进大数据的神奇世界。 阅读全文
posted @ 2019-11-29 16:07 云计算（互联网） 阅读(203) 评论(0) 推荐(0)
Hadoop（学习·2）
摘要：Hadoop 操作步骤： 192.168.1.110-113 主机名分别为 nn01(zhuji) node1 node2 node3 个个主机之间要免密 互通/etc/host 1. 安装openjdk-devel # yum -y install java-1.8.0-openjdk-devel 阅读全文
posted @ 2019-11-29 16:02 云计算（互联网） 阅读(150) 评论(0) 推荐(0)
大数据学习路线（完整详细版）
摘要：大数据学习路线（完整详细版） 2018年01月05日 20:15:06 阅读数：5550 大数据学习路线 java(Java se,javaweb) Linux(shell,高并发架构,lucene,solr) Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase 阅读全文
posted @ 2019-11-29 14:47 云计算（互联网） 阅读(179) 评论(0) 推荐(0)
大数据hadoop安装
摘要：hadoop集群搭建--CentOS部署Hadoop服务 在了解了Hadoop的相关知识后，接下来就是Hadoop环境的搭建，搭建Hadoop环境是正式学习大数据的开始，接下来就开始搭建环境！我们用到环境为：VMware 12+CentOS6.4 hadoop安装步骤大纲： 1、准备硬件（一台虚拟主 阅读全文
posted @ 2019-11-29 14:43 云计算（互联网） 阅读(356) 评论(0) 推荐(0)