老姐姐拜托的某省大数据大赛培训

 

不要用xshell；
可视化全部python+Echarts；
分析和搭建是分开的，可以并行处理；
每做一步都要赶快按提交按钮，不然会影响得分；
网络爬虫优先选择八爪鱼和火车头；
每个人有三次机会哈，一定要珍惜，本周末你们先练一组，下周一咱们碰头总结一下，一定要把题目copy下来；
我梳理了两条线，搭建是单独得一部分，数据爬取+数据分析是单独得一部分，不冲突；
spark是搭建好得，离线数据部分数据分析用spark或者是hive都可以，我看没pyspark，不用写java；

 

***
实时分析会有spark ，比赛会有AB卷，到时候跟绝实际挂载的赛题进行分析

 

 

 

1. 更改主机名
hostnamectl set-hostname master
hostnamectl set-hostname slave1
hostnamectl set-hostname slave2

2.修改主机名与IP映射表
vim /etc/hosts

172.18.39.171 master
172.18.14.131 slave1
172.18.39.180 slave2

3.设置主机时区为上海时区
timedatectl set-timezone 'Asia/Shanghai'

4.环境已经安装NTP，修改master节点NTP配置，设置master为本地时间服务器，屏蔽默认server，服务器层级设为10
vim /etc/ntp.conf

server 127.127.1.0
fudge  127.127.1.0 stratum 10

systemctl stop firewalld

systemctl start ntpd


5.添加定时任务--在早十-晚五时间段内每隔半个小时同步一次本地服务器时间（24小时制、使用用户root任务调度crontab，服务器地址使用主机名）
crontab -e

*/30 10-17 * * * /usr/sbin/ntpdate master > /dev/null



6.主节点生成公钥文件id_rsa.pub(数字签名RSA，用户root，主机名master)
ssh-keygen
cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys
ssh-copy-id root@slave1
ssh-copy-id root@slave2


7.将jdk安装包解压到/usr/java目录（安装包存放于/usr/package277/，路径自行创建，解压后文件夹为默认名称，其他安装同理）
mkdir -p  /usr/java
tar -xzf jdk-8u221-linux-x64.tar.gz -C /usr/java/
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin