[置顶] Kindeditor富文本使用
摘要： KindEditor是一套开源的HTML可视化编辑器，主要用于让用户在网站上获得所见即所得编辑效果，兼容IE、Firefox、Chrome、Safari、Opera等主流浏览器。 1、在KindEditor的官网上 http://kindeditor.net/demo.php，下载所需要的js。安装 阅读全文
posted @ 2021-05-25 14:42 大数据同盟会 阅读(127) 评论(0) 推荐(0)
[置顶] VirtualBox安装及网络配置
摘要： 前言：之前Oracle数据库一直安装在VMware虚拟机里，后来公司不允许使用破解版的虚拟机，担心被罚款，所以让我们使用开源免费的虚拟机——VirtualBox。 步骤一：VirtualBox下载 去VirtualBox官网 https://www.virtualbox.org/ 按自己笔记本操作系 阅读全文
posted @ 2021-05-25 02:33 大数据同盟会 阅读(360) 评论(0) 推荐(0)
2021年12月20日
大数据之flume数据采集
摘要： Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 它可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。 一、flume结构 Flume分布式系统中最核心的角色是agent，每一个agen 阅读全文
posted @ 2021-12-20 15:19 大数据同盟会 阅读(792) 评论(0) 推荐(0)
hadoop-ha集群搭建
摘要： 一、背景 在Hadoop 2.0.0之前，HDFS集群中只有一个namenode，如果namenode故障，那么这个集群将不可用，直到namenode重启或者其他namenode接入。 有两种方式会影响集群的整体可用性： 1、意外的突发事件，比如物理机器crash，集群将不可用，直到管理员重启nam 阅读全文
posted @ 2021-12-20 15:06 大数据同盟会 阅读(211) 评论(0) 推荐(0)
selenium爬取页面数据入数据库
摘要： Selenium是一个用于Web应用程序测试的工具，但是也可以爬取页面中的数据。 开发环境是内网（局域网），项目工程是web项目，jdk使用的1.8，tomcat使用的 8。 web项目： 启动时使用tomcat， tomcat会先加载web.xml配置文件里内容；maven项目： 和web项目的区 阅读全文
posted @ 2021-12-20 14:57 大数据同盟会 阅读(355) 评论(0) 推荐(0)
大数据之Mapreduce
摘要： Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架。 Mapreduce分布式运算程序往往分2个阶段： map阶段：并发实例，各司其职，互不干涉，完全并行；reduce阶段：并发实例，互补干涉，但它们的数据依赖上一个阶段实例输出；mrapplic 阅读全文
posted @ 2021-12-20 14:27 大数据同盟会 阅读(65) 评论(0) 推荐(0)
大数据之HDFS
摘要： 一、HDFS角色 1、nameNode：负责管理整个文件系统的元数据;2、dataNode ：负责管理用户的文件数据块;3、secondary Namenode：负责管理image镜像文件; dataNode会定期向nameNode汇报自身所保存的文件block信息，而namenode则会负责保持文 阅读全文
posted @ 2021-12-20 14:19 大数据同盟会 阅读(215) 评论(0) 推荐(0)
自动化部署脚本
摘要： 自动进行配置免密登录、安装jdk boot.sh #!/bin/bash SERVERS="hadoop02 hadoop03" PASSWORD=hadoop BASE_SERVER=192.168.1.11 auto_ssh_copy_id() { expect -c "set timeout 阅读全文
posted @ 2021-12-20 14:16 大数据同盟会 阅读(71) 评论(0) 推荐(0)
shell编程语法
摘要： 运行shell命令，需要在前面加echo shell中变量： $HOME ：当前用户主目录 $PWD ：当前运行命令的目录 $USER： 当前用户 set： 显示当前shell所有变量 export+ 变量名 ：可把变量提升为全局环境变量 定义变量： STR=“hello world” A=9 A= 阅读全文
posted @ 2021-12-20 14:06 大数据同盟会 阅读(78) 评论(0) 推荐(0)
如何克隆虚拟机
摘要： 因为搞大数据，需要多台虚拟机联合使用，一遍一遍安装linux系统比较费时费力，所以可以安装好一个linux系统后，进行克隆使用。 1、将打算复制的虚拟机右键选择复制 2、勾选重新初始化mac地址 3、选择完全复制 就可以得到新的虚拟机。 网卡设置： 克隆后的虚拟机，hostname 查看主机名vi 阅读全文
posted @ 2021-12-20 14:01 大数据同盟会 阅读(675) 评论(0) 推荐(0)
Linux常用命令
摘要： 显示当前目录： pwd 查看当前用户： whoami 创建文件夹： mkdir aaa 创建多级文件夹： mkdir -p ccc/bbb/aaa 删除文件夹： rm -r aaa 删除aaa文件夹及其子文件夹 rm -rf aaa 强制删除aaa文件夹 修改文件夹名称： mv aaa bbb 创建 阅读全文
posted @ 2021-12-20 14:00 大数据同盟会 阅读(66) 评论(0) 推荐(0)
HBase批量写入数据
摘要： 一、HBase安装 1、上传解压 2、修改环境变量 vi /etc/profile export HBASE_HOME=/home/hadoop/hbase export PATH=$PATH:$HBASE_HOME/bin 3、修改配置文件 vi hbase-env.sh export JAVA_ 阅读全文
posted @ 2021-12-20 13:56 大数据同盟会 阅读(1025) 评论(0) 推荐(0)
下一页