随笔分类 -  Spark sql

摘要：应该是端口问题，找不到spark节点。手动设置端口号 spark-shell --conf spark.shuffle.service.enabled=true --conf spark.replClassServer.port=15002 阅读全文

摘要：#!/bin/bash iplist=( #10.130.2.20 10.130.2.22 10.130.2.40 10.130.2.41 10.130.2.42 10.130.2.44 10.130.2.45) kill -9 `lsof -i:11000|awk 'NR>1 {print $2} 阅读全文

摘要：在master的/conf/spark-defaults.conf中配置 spark.shuffle.service.enabled true spark.shuffle.service.port 7337 但是在从节点的spark-defaults.conf中注释上面两个配置选项，不然web 界面 阅读全文

摘要：spark-shell on Yarn /opt/spark-1.6.1-bin-hadoop2.6/bin/spark-shell --master yarn --deploy-mode client --conf spark.shuffle.service.enabled=true --conf 阅读全文

摘要：需求：使用spark sql 的执行引擎来操作hive数据仓库中的数据，使用hive thriftserver 服务 cd /opt/modules/spark-1.6.1-bin-hadoop2.6/sbin/sudo vim start-thriftserver-withJDBC.sh修改如下： 阅读全文