摘要：
Spark配置参数说明 Spark提供三个位置用来配置系统： Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置 环境变量：可以通过每个节点的conf/spark-env.sh脚本设置，例如IP地址、端口等信息 日志配置：可以通过log4j.propert 阅读全文
posted @ 2020-10-19 15:38
十一vs十一
阅读(334)
评论(0)
推荐(0)
摘要：
python数据类型详解 内容大纲 1、字符串 2、布尔类型 3、整数 4、浮点数 5、数字 6、列表 7、元组 8、字典 9、日期 1、字符串 1.1、如何在Python中使用字符串 a、使用单引号(') 用单引号括起来表示字符串，例如： str='this is string'; print s 阅读全文
posted @ 2020-10-19 15:36
十一vs十一
阅读(120)
评论(0)
推荐(0)
摘要：
游戏运营分析项目 1. 课程目标 1.1. 熟练使用Spark解决实现生产问题 1.2. 熟悉游戏领域大数据分析相关概念 1.3. 掌握游戏领域大数据分析的步骤和方法 2. 项目背景 2.1. 概述 目前大数据已经在各个领域得到广泛应用，在游戏领域玩家的各种行为会产生大量的数据，这些数据可以帮助游戏 阅读全文
posted @ 2020-10-19 15:00
十一vs十一
阅读(121)
评论(0)
推荐(0)
摘要：
Redis3集群安装 1. 什么是Redis Redis是目前一个非常优秀的key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set有序集合)和hash（哈希类型）。 2. 阅读全文
posted @ 2020-10-19 14:59
十一vs十一
阅读(75)
评论(0)
推荐(0)
摘要：
1. 全文检索基础 1.1. 我们身边的搜索功能 Windows系统中的有搜索功能：打开“我的电脑”，按“F3”就可以使用查找的功能，查找指定的文件或文件夹。搜索的范围是整个电脑中的文件资源。 Eclipse中的帮助子系统：点击HelpàHelp Contents，可以查找出相关的帮助信息。搜索的范 阅读全文
posted @ 2020-10-19 14:52
十一vs十一
阅读(133)
评论(0)
推荐(0)
摘要：
1.安装zk集群 2.config/server.properties添加zk地址:zookeeper.connect=node-1:2181,node-2:2181,node-3:2181修改broker.id(唯一的)：broker.id=0 3.启动/bin/kafka-server-star 阅读全文
posted @ 2020-10-19 14:37
十一vs十一
阅读(66)
评论(0)
推荐(0)
摘要：
Spark Streaming 1. 课程目标 1.1. 掌握Spark Streaming的原理 1.2. 熟练使用Spark Streaming完成流式计算任务 2. Spark Streaming介绍 2.1. Spark Streaming概述 2.1.1. 什么是Spark Streami 阅读全文
posted @ 2020-10-19 11:56
十一vs十一
阅读(86)
评论(0)
推荐(0)
摘要：
1.从TCP端口中读取数据yum install ncnc -lk 9000#注意：要指定并行度，如在本地运行设置setMaster("local[2]")，相当于启动两个线程，一个给receiver，一个给computer。#如果是在集群中运行，必须要求集群中可用core数大于1 #提交spark 阅读全文
posted @ 2020-10-19 11:53
十一vs十一
阅读(86)
评论(0)
推荐(0)
摘要：
1.上传zk安装包 2.解压 3.配置（先在一台节点上配置） 3.1添加一个zoo.cfg配置文件 $ZOOKEEPER/conf mv zoo_sample.cfg zoo.cfg 3.2修改配置文件（zoo.cfg） dataDir=/itcast/zookeeper-3.4.5/data se 阅读全文
posted @ 2020-10-19 11:52
十一vs十一
阅读(66)
评论(0)
推荐(0)
摘要：
setJars start-all.sh -> start-master.sh -> start-slaves.sh //Master启动的脚本start-master.sh -> spark-daemon.sh start org.apache.spark.deploy.master.Master 阅读全文
posted @ 2020-10-19 11:16
十一vs十一
阅读(98)
评论(0)
推荐(0)
浙公网安备 33010602011771号