数据驱动

摘要： 1. 什么是Anaconda？ Anaconda是一个开源的Python发行版本，python是一个编译器，如果不使用Anaconda那么安装起来会比较痛苦，各个库之间的依赖性就很难连接的很好。Anaconda可以看做Python的一个集成安装,里面集成了很多关于python科学计算的第三方库，安装 阅读全文

摘要： 前言 由于AI的发展，包括Python集成了很多计算库，所以淡入了人们的视野，成为一个极力追捧的语言。 首先概括下Python中文含义是蟒蛇，它是一个胶水语言和一个脚本语言，胶水的意思是能和多种语言集成，脚本的意思是没有强制类型，直接解释执行，和PHP类似。 下面是对Python的一些基础语法介绍。 阅读全文

摘要： 一、项目简介 这是一个车辆监控项目。主要实现了三个功能： 1.计算每一个区域车流量最多的前3条道路。 2.计算道路转换率 3.实时统计道路拥堵情况（当前时间，卡口编号，车辆总数，速度总数，平均速度） 二、项目结构 ├─TrafficBySparkAndKafka ├─data └─src ├─mai 阅读全文

摘要： 通过继承AccumulatorV2可以实现自定义累加器。 官方案例可参考:http://spark.apache.org/docs/latest/rdd-programming-guide.html#accumulators 下面是我自己写的一个统计卡种数量的案例。 package com.shua 阅读全文

摘要： 一. Spark简介 1.1 前言 Apache Spark是一个基于内存的计算框架，它是Scala语言开发的，而且提供了一站式解决方案，提供了包括内存计算（Spark Core）,流式计算（Spark Streaming）,交互式查询（Spark SQL），图形计算（GraphX），机器学习（ML 阅读全文

摘要： 前言 上一章介绍了Kafka是什么，这章就讲讲怎么搭建以及如何使用。 快速开始 Step 1:Download the code Download the 2.4.1 release and un-tar it. > tar -xzf kafka_2.12-2.4.1.tgz > cd kafka_ 阅读全文

摘要： 今天运行Idea，好端端的项目居然报了这个莫名其妙的错误Build completed with 1 error and 0 warnings in 20 ms。 首先排查下代码是否有问题，然后我就建立了一个新的类，print了一个hello，然后还是提示同样错误，可以看出是环境出了问题。 然后试了 阅读全文

摘要： 参照官网执行如下代码的时候，报了Cannot resolve symbol window错误。 val windowedCounts = words.groupBy( window($"timestamp", "10 minutes", "5 minutes"), $"word" ).count() 阅读全文

摘要： 前言 今天运行Spark Structured Streaming官网的如下 报了 截图如下： 解决方案 是spark examples_2.11 2.4.5.jar里面内容不全导致的，去 "官网" 下载spark安装包，并将服务器上的 examples\jars 下面的spark examples 阅读全文

摘要： 作者：Jules S. Damji 译者：足下 本文翻译自 A Tale of Three Apache Spark APIs: RDDs, DataFrames, and Datasets ，翻译已获得原作者 Jules S. Damji 的授权。 最令开发者们高兴的事莫过于有一组 API，可以大 阅读全文