ysk0904

摘要： 首先切换到hadoop用户 su - hadoop 启动hdfs集群 start-dfs.sh 启动yarn集群 start-yarn.sh 启动hive 首先切换到hive文件夹 cd /export/server/hive 然后再运行下述命令 #先启动metastore服务 然后启动hivese 阅读全文

摘要： 本周花在学习上的时间大概为23小时，花在代码上的时间大概为11小时。花在解决问题上的时间大概为4小时。本周学习到的内容有HDFS集群启停命令，如何使用命令操作HDFS文件系统，并在DataGrip中安装了图形化Big Data Tools插件用于对HDFS中文件的操作，HDFS的存储原理及数据的读写 阅读全文

摘要： 点击右侧设置键，将Compact Middle Packages的勾去掉 阅读全文

摘要： 1.在电脑的开始菜单中，搜索 PowerShell , 然后以管理员身份运行，如下所示： 2.以管理员身份运行后，会出现命令窗口，接下来，输入命令 get-ExecutionPolicy 查看权限, 会看到它的返回值是 Restricted , 意思是 当前是禁用的。 3.执行命令：set-Exec 阅读全文

摘要： 启动元数据管理服务（必须启动，否则无法工作） 前台启动：bin/hive --service metastore 后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 & 启动客户端 Hive Shell方式（可以直接写 阅读全文

摘要： hdfs: node1:9870 yarn: node1:8088 Spark: Spark master:node1:8081(8080端口被zookeeper占用) Spark History Server:node1:18080 阅读全文

摘要： 一键启停脚本 # 一键启动yarn集群 start-yarn.sh # 一键关闭yarn集群 stop-yarn.sh 单进程启停 start和stop决定启动和停止可控制resourcemanager、nodemanager、proxyserver三种进程 yarn --daemon start| 阅读全文

摘要： 本周花在学习上的时间大概为22小时，花在代码上的时间大概为12小时。花在解决问题上的时间大概为4小时。本周完成了对Linux系统的学习，安装了vm虚拟机，配置了3个centos虚拟机，完成了虚拟机之间的免密登录等一系列的操作，虚拟机配置了java环境，hadoop环境，部署了HDFS集群。了解了大数 阅读全文

摘要： 一键启停脚本 # 一键启动hdfs集群 start-dfs.sh # 一键关闭hdfs集群 stop-dfs.sh 单进程启停 $HADOOP_HOME/sbin/hadoop-daemon.sh，此脚本可以单独控制所在机器的进程的启停 用法: hadoop-daemon.sh (start|sta 阅读全文

摘要： 完成软件工程1500字总结 网址:https://www.cnblogs.com/ysk0904/p/17437301.html 故申请加分3分。 阅读全文