随笔分类 -  大数据&云计算

大数据面试题
摘要：Java部分: 1.什么是构造函数,构造代码块,静态代码块?分别的作用是什么?三者的顺序 构造函数是类用来创建对象使用的一种函数可以有有参构造函数也可以有无参构造函数 构造代码块的作用和构造函数类似可以完成类中的成员变量进行初始化也可以调用成员方法 静态代码块属于类的,静态代码块可以随着类的加载而加 阅读全文
posted @ 2018-10-09 22:41 sandywei 阅读(543) 评论(0) 推荐(0) 编辑
最近经历的一些大数据（Spark/Hadoop）面试题
摘要：1、简答说一下hadoop的map reduce编程模型 首先map task会从本地文件系统读取数据，转换成key value形式的键值对集合 使用的是hadoop内置的数据类型，比如longwritable、text等 将键值对集合输入mapper进行业务处理过程，将其转换成需要的key val 阅读全文
posted @ 2018-09-08 21:24 sandywei 阅读(2388) 评论(0) 推荐(0) 编辑
hbase分布式集群搭建
摘要：hbase和hadoop一样也分为单机版、伪分布式版和完全分布式集群版本，这篇文件介绍如何搭建完全分布式集群环境搭建。 hbase依赖于hadoop环境，搭建habase之前首先需要搭建好hadoop的完全集群环境，因此看这篇文章之前需要先看我的上一篇文章：hadoop分布式集群搭建。本文中没有按照 阅读全文
posted @ 2018-09-07 20:56 sandywei 阅读(138) 评论(0) 推荐(0) 编辑
CentOS7搭建 Hadoop + HBase + Zookeeper集群
摘要：摘要: 本文主要介绍搭建Hadoop、HBase、Zookeeper集群环境的搭建 一、基础环境准备 1、下载安装包（均使用当前最新的稳定版本，截止至2017年05月24日） 1）jdk 8u131 下载地址：Java SE Development Kit 8 2）hadoop 2.7.3 下载地址 阅读全文
posted @ 2018-09-07 20:55 sandywei 阅读(747) 评论(0) 推荐(0) 编辑
Hadoop及Zookeeper+HBase完全分布式集群部署
摘要：Hadoop及HBase集群部署 一、 集群环境 1. 系统版本 虚拟机：内存 16G CPU 双核心 系统： CentOS 7 64位 系统下载地址： http://124.202.164.6/files/417500000AB646E7/mirrors.163.com/centos/7/isos 阅读全文
posted @ 2018-09-07 20:54 sandywei 阅读(1382) 评论(0) 推荐(0) 编辑
Java编程MapReduce实现WordCount
摘要：Java编程MapReduce实现WordCount 1.编写Mapper package net.toocruel.yarn.mapreduce.wordcount; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop 阅读全文
posted @ 2018-09-07 20:48 sandywei 阅读(517) 评论(0) 推荐(0) 编辑
linux安装卸载MySQL以及密码设置+Hive测试
摘要：linux系统卸载MYSQL 1,先通过yum方式卸载mysql及相关组件 命令：yum remove mysql 2.通过命令：rpm qa|grep i mysql 查找系统的有关于mysql的文件 3.然后通过命令：sudo rpm e nodeps 包名删除mysql有关软件 4.卸载后/e 阅读全文
posted @ 2018-09-07 20:35 sandywei 阅读(632) 评论(0) 推荐(0) 编辑
BAT大数据面试题
摘要：1、kafka的message包括哪些信息 一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成 header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。 当magic的值为1的时候，会在magic和crc3 阅读全文
posted @ 2018-09-07 20:18 sandywei 阅读(6889) 评论(2) 推荐(6) 编辑
知识工程
摘要：知识工程与知识管理 第一章知识工程与知识管理概念 一、知识工程 1.知识工程概念 知识工程是以知识为处理对象，研究知识系统的知识表示、处理和应用的方法和开发工具的学科。主要研究知识获取、知识表示、推理策略和开发方法及环境，是人工智能、知识库、数理逻辑、认知科学和心理学等多学科交叉发展的结果。 知识系统包括专家系统、知识库系统、智能决策系统等。专家系统是利用专家知识解决特定领域问题的计算机程序系统... 阅读全文
posted @ 2017-07-25 11:15 sandywei 阅读(696) 评论(0) 推荐(0) 编辑
认知升级：如何正确看待大数据与云计算技术？
摘要：战国《风赋》：“夫风生于地，起于青苹之末，侵淫溪谷，盛怒于土囊之口，……” DT时代，未来已来——数据“大爆炸” 首先要明白大家为何从前几年开始谈大数据了？这是一个基本问题，包含着对当下数据现实的基本认识。一个不可忽视的事实是，随着网络和信息技术的不断普及，人类产生的数据量正在呈指数级增长。大约每两 阅读全文
posted @ 2017-07-25 11:10 sandywei 阅读(336) 评论(0) 推荐(0) 编辑
Hadoop，大数据，云计算三者之间的关系
摘要：大数据和云计算是何关系?关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说，分别做一句话直白解释就是：云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。大数据、hadoop及云计算之间到底是什么关系呢? 大数据开发入门 课程：hadoop大数据与hadoop云计算，Hadoop 阅读全文
posted @ 2017-07-25 11:09 sandywei 阅读(3598) 评论(0) 推荐(0) 编辑
什么叫大数据，与云计算有何关系
摘要：大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。 大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单 阅读全文
posted @ 2017-07-25 11:07 sandywei 阅读(623) 评论(0) 推荐(0) 编辑
未来机器时代 马云担心的居然是男性找不到工作
摘要：月10日，由阿里巴巴集团主办的第二届全球女性创业者大会在杭州举行，在压轴演讲中，马云用大数据分析了男女差异，并表示只要是理性的东西，在人工智能时代，机器时代，更容易被彻底打垮，所以应该担心的不是女性未来找不到工作，而是男性未来会找不到工作，因为机器会把你的理性做得完美和极致。 并且认为女性和好公司之 阅读全文
posted @ 2017-07-25 11:06 sandywei 阅读(159) 评论(0) 推荐(0) 编辑
移动支付乡村推广员：互联网时代的神经末梢
摘要：虽然从事着像在大城市里一样“洋气”的互联网行业，今年28岁的唐亚兵工作的场景却挺“反转”，他最常出现的地方是乡镇、城中村。从事移动支付的乡村推广员这份工作，唐亚兵辛劳中也有不少收获。 移动支付，没我们不行 晋东南的夏天，尽管比晋南其他地方凉快稍许，但中午蒸腾起来的热量，还是让大部分人躲在家里。可唐亚 阅读全文
posted @ 2017-07-25 11:05 sandywei 阅读(183) 评论(0) 推荐(0) 编辑
邬贺铨：互联网经济跟实体经济并不对立
摘要：中国互联网协会理事长邬贺铨院士 人民网北京7月11日电 上午，2017（第16届）中国互联网大会在北京国家会议中心开幕。中国互联网协会理事长邬贺铨院士就网络经济与实体经济的关系、人工智能等话题发表了自己的观点。 以下是邬贺铨院士发言精华： “互联网经济跟实体经济不是对立的” 互联网经济，顾名思义是基 阅读全文
posted @ 2017-07-25 11:04 sandywei 阅读(186) 评论(0) 推荐(0) 编辑