随笔分类 -  大数据学习之路

摘要:Centos 6.8安装python3.5.2 因为学习所需,需要用到python3.x的环境,目前Linux系统默认的版本都是python2.x的,还有一些自带的工具需要用到python2.6版本,所以要求的是python3 和 python2 共存,pip2 和** pip3共存,如何安装pyt 阅读全文
posted @ 2018-11-16 16:59 从来不虚场合 阅读(471) 评论(0) 推荐(0)
摘要:1.phoenix安装 1.安装phoenix a)下载apache-phoenix-4.10.0-HBase-1.2-bin.tar.gz 下载网址:https://phoenix.apache.org/download.html b)tar 解压压缩包 c)复制xxx-server.jar到hb 阅读全文
posted @ 2018-11-16 13:03 从来不虚场合 阅读(2821) 评论(0) 推荐(0)
摘要:1.XFTP 建立连接的时候要选择SFTP 2.关于如何删除Linux自带的JDK https://www.linuxidc.com/Linux/2016-12/138043.htm 1.#java -version 查看jdk版本2.#rpm -qa |grep jdk 查看jdk安装包3.#rp 阅读全文
posted @ 2018-09-22 18:28 从来不虚场合 阅读(534) 评论(0) 推荐(0)
摘要:1、什么是hadoop hadoop中有3个核心组件: 分布式文件系统:HDFS —— 实现将文件分布式存储在很多的服务器上 分布式运算编程框架:MAPREDUCE —— 实现在很多机器上分布式并行运算 分布式资源调度平台:YARN —— 帮用户调度大量的mapreduce程序,并合理分配运算资源 阅读全文
posted @ 2018-09-22 18:14 从来不虚场合 阅读(559) 评论(0) 推荐(0)
摘要:1、什么是大数据 基本概念 《数据处理》 在互联网技术发展到现今阶段,大量日常、工作等事务产生的数据都已经信息化,人类产生的数据量相比以前有了爆炸式的增长,以前的传统的数据处理技术已经无法胜任,需求催生技术,一套用来处理海量数据的软件工具应运而生,这就是大数据! 处理海量数据的核心技术: 海量数据存 阅读全文
posted @ 2018-09-22 18:00 从来不虚场合 阅读(194) 评论(0) 推荐(0)