环境搭建 - 随笔分类 - Simple-Sir

spark 之 windows下基于IDEA2021.3.3搭建spark开发环境实现wordcount功能

摘要：注* [写的很细，内容有点长，可以选择目录跳转] 环境准备因为Spark是scala语言开发的，scala是java语言开发的，所以需要安装JDK和scala。 JDK1.8 maven-3.8.5 Scala-2.12.15 IDEA-2021.3.3 JDK 注意：是安装JDK不是JAVA( 阅读全文

posted @ 2022-05-26 13:50 Simple-Sir 阅读(800) 评论(0) 推荐(0)

hadoop 之 spark on yarn 安装

摘要：目录规划 Hadoop、spark都放在/apps下。附：Hadoop HA(高可用) 详细安装步骤角色规划官网下载 https://spark.apache.org/downloads.html 压缩包存放目录 /apps/software/spark-3.0.1-bin-hadoop2.7 阅读全文

posted @ 2022-01-17 18:00 Simple-Sir 阅读(783) 评论(0) 推荐(0)

linux 之虚拟机基础环境配置(固定IP)

摘要：虚拟机 linux 虚拟机网络设置 linux系统网卡配置 vi /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=Ethernet BOOTPROTO=none DEFROUTE=yes PEERDNS=yes PEERROUTES=no IPV4_F 阅读全文

posted @ 2022-01-11 15:19 Simple-Sir 阅读(202) 评论(0) 推荐(0)

hadoop 之 hadoop2.7.7升级到hadoop2.8.5

摘要：服务器规划准备阶段停服务 stop-yarn.sh stop-dfs.sh 备份备份NameNode目录 101,102操作 hdfs-site.xml中的 dfs.namenode.dir vi /app/hadoop-2.7.7/etc/hadoop/hdfs-site.xml <prop 阅读全文

posted @ 2021-12-23 10:26 Simple-Sir 阅读(341) 评论(0) 推荐(0)

初识python 之 ImportError: No module named _ssl

摘要：场景安装好python之后，导入ssl模块报错： ImportError: No module named _ssl 解决方法查看openssl、openssl-devel是否安装 rpm -qa|grep openssl openssl-devel-1.0.1e-30.el6.x86_64op 阅读全文

posted @ 2021-11-03 14:18 Simple-Sir 阅读(1102) 评论(0) 推荐(0)

hadoop 之某一个datanode启动失败(Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to)

摘要：环境集群7台 master 3台 datanode 4台每个datanode有12个硬盘场景启动集群之后，发现有一台datanode未启动，手动启动，还是未启动。查看日志，发现： Initialization failed for Block pool <registering> (Data 阅读全文

posted @ 2021-09-05 11:36 Simple-Sir 阅读(963) 评论(0) 推荐(0)

初识python 之离线搭建pyhive环境(含python3安装)

摘要：系统版本： centos6.5 python版本：python3.6.8 相关包存放目录：software 注意：以下操作需要用到root权限安装python3 root操作 cd /lzh/software tar -zxvf Python-3.6.8.tgz cd /lzh/software/ 阅读全文

posted @ 2021-08-11 11:44 Simple-Sir 阅读(1072) 评论(0) 推荐(0)

linux 之 DolphinScheduler(海豚调度) 安装步骤

摘要：下载安装包直接进官网下载 https://dolphinscheduler.apache.org/zh-cn/download/download.html 参考官方文档 https://dolphinscheduler.apache.org/zh-cn/docs/1.3.2/user_doc/cl 阅读全文

posted @ 2021-04-26 16:56 Simple-Sir 阅读(3049) 评论(0) 推荐(0)

linux 之 nginx安装步骤

摘要：配置规划用户 lzh 用户目录 /lzh 下载进入官网下载nginx http://nginx.org/download/ 安装解压 cd /lzh/app tar -zxvf nginx-1.17.8.tar.gz 编译安装 cd /lzh/app/ nginx-1.17.8 ./confi 阅读全文

posted @ 2021-04-16 16:09 Simple-Sir 阅读(220) 评论(0) 推荐(0)

linux 之误删openssl文件夹重装openssl

摘要：背景使用 scp、ssh 都报错 error while loading shared libraries: libcrypto.so.1.0.0: cannot open shared object file: No such file or directory 网上查找原因，才知道是opens 阅读全文

posted @ 2021-04-15 21:25 Simple-Sir 阅读(2669) 评论(0) 推荐(0)

Hadoop 之高可用不自动切换(ssh密钥无效 Caused by: com.jcraft.jsch.JSchException: invalid privatekey )

摘要：案例在安装hadoop ha之后，验证HDFS高可用时，怎么都不能实现自动切换。查看zkfc日志发现错误信息如下： WARN org.apache.hadoop.ha.SshFenceByTcpPort: Unable to create SSH sessioncom.jcraft.jsch.JS 阅读全文

posted @ 2021-04-13 19:06 Simple-Sir 阅读(1709) 评论(0) 推荐(0)

Hadoop HA(高可用) 详细安装步骤

摘要：什么是HA？ HA是High Availability的简写,即高可用，指当当前工作中的机器宕机后，会自动处理这个异常，并将工作无缝地转移到其他备用机器上去，以来保证服务的高可用。（简言之，有两台机器，一台工作，一台备用，当工作机挂了之后，备用机自动接替。） HAdoop的HA模式是最常见的生产环境阅读全文

posted @ 2021-04-13 01:40 Simple-Sir 阅读(4432) 评论(0) 推荐(0)

linux 之非root用户安装mysql5.7.27

摘要：下载下载 mysql-5.7.27-linux-glibc2.12-x86_64.tar.gz 详见linux(CentOS7) 之 MySQL 5.7.30 下载及安装。配置规划用户: zhjsapp压缩包存放路径： /zhjsapp/software安装目录： /zhjsapp/app/m 阅读全文

posted @ 2021-04-09 17:28 Simple-Sir 阅读(752) 评论(1) 推荐(0)

linux(CentOS7) 之 zookeeper 下载及安装

摘要：下载搜索apache ，进入apache官网(https://www.apache.org/)下载选择downloads 下的distribution 点击archive site 找到zookeeper目录找到3.5.6目录选择二进制包下载 apache-zookeeper-3.5.6 阅读全文

posted @ 2021-04-05 15:54 Simple-Sir 阅读(972) 评论(0) 推荐(0)

linux(CentOS7) 之 ntp时间同步配置步骤

摘要：下载百度搜索 ntp rpm 下载(或直接进入官网https://pkgs.org/download/ntp) 搜多ntp,选择centos7 64位下载，ntpdata 是依赖包也要下载基础环境三台centos7最小化安装 ip hostname 192.168.100.10 big 阅读全文

posted @ 2021-04-05 00:46 Simple-Sir 阅读(3770) 评论(0) 推荐(0)

linux(CentOS7) 之克隆虚拟机并配置网络(固定ip)

摘要：克隆机器原机关机状态下，克隆。下一步选择当前状态，下一步选择创建完整克隆，下一步设置虚拟机名称(完成后可以修改)、克隆机安装位置，下一步等待克隆完成克隆完成配置网络添加网卡（因为物理地址不能一直，所以需要在添加一张网卡，配置好后，删除原来的网卡）右键 -》设置添加 -> 网络阅读全文

posted @ 2021-04-04 17:41 Simple-Sir 阅读(1353) 评论(0) 推荐(0)

linux(CentOS7) 之 MySQL 5.7.30 下载及安装

摘要：一、下载 1、百度搜索mysql,进入官网（或直接进入官网https://www.mysql.com） 2、选择 downloads 3、翻到最下面，选择MySQL Community (GPL) Downloads 4、选择MySQL Community Server 5、选择archives（历阅读全文

posted @ 2021-04-03 21:36 Simple-Sir 阅读(3168) 评论(0) 推荐(0)

linux(CentOS7) 之 jdk1.8 下载及安装

摘要：下载一、百度搜索oracle,进入官网（或直接进入官网https://www.oracle.com）二、选择 products 下的 java 三、选择Download Java 四、往下翻找到Java SE 8 ，点击JDK Download 五、下载linux对应版本（需要登陆oracle账阅读全文

posted @ 2021-04-03 18:18 Simple-Sir 阅读(1150) 评论(0) 推荐(0)

MYSQL修改配置文件之后无法重启服务

摘要：错误：修改配置文件my.ini之后无法重启服务。原因：以记事本方式打开my.ini文件修改完之后保存。保存之后文本编码格式为操作系统默认格式utf-8。my.ini格式要是ANSI才可以正常启动服务。解决方法：用其他编辑器修改my.ini，保存时选择格式为ANSI。阅读全文

posted @ 2020-07-08 11:33 Simple-Sir 阅读(1154) 评论(0) 推荐(0)

随笔分类 - 环境搭建