上一页 1 ··· 9 10 11 12 13 14 15 16 17 ··· 19 下一页
摘要: 前面我们已经完成了scala的第一个程序,本文将在其基础之上阐述scala的基本语法。 1 系统、软件以及前提约束 win10 64位 已在idea中完成scala的helloworld程序 https://www.jianshu.com/p/ec64c70e6bb6 2 操作 1 数据类型 pyt 阅读全文
posted @ 2020-03-26 19:48 张力的程序园 阅读(162) 评论(0) 推荐(0)
摘要: 前面我们了解了类和对象,本节我们将了解scala当中的抽象类、扩展类以及特质【相当于java中的接口】。 1 系统、软件以及前提约束 win10 64位 已了解scala中的类与对象,并进行code https://www.jianshu.com/p/92f555f859c2 idea2018.1 阅读全文
posted @ 2020-03-26 19:47 张力的程序园 阅读(157) 评论(0) 推荐(0)
摘要: 前面我们已经完成了scala的第一个程序,本文将在其基础之上阐述scala的基本语法。 1 系统、软件以及前提约束 win10 64位 已在idea中完成scala的helloworld程序 https://www.jianshu.com/p/ec64c70e6bb6 2 操作 1 数据类型 sca 阅读全文
posted @ 2020-03-26 19:46 张力的程序园 阅读(271) 评论(0) 推荐(0)
摘要: 常用的分类器有逻辑斯蒂回归分类器和决策树分类器,本文将阐述在scala中使用逻辑斯蒂回归完成判断是否有某字段。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200,主机名为danji,请读者根据自己实际情况设置 已完成spark访问hive h 阅读全文
posted @ 2020-03-26 19:45 张力的程序园 阅读(161) 评论(0) 推荐(0)
摘要: 前面我们使用Spark Streaming去监听了端口数据,接下来我们将使用Spark Streaming作为kafka的消费者。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200,主机名为danji,请读者根据自己实际情况设置 已完成spa 阅读全文
posted @ 2020-03-26 19:44 张力的程序园 阅读(202) 评论(0) 推荐(0)
摘要: 前面我们了解了RDD编程,RDD优点极多,但是不包含schema信息,即列的信息,只能通过反复的迭代处理获取期待的数据,本文将阐述DataFrame的用法,所谓DataFrame就是包含schema信息的RDD。 RDD【弹性分布式数据集】是spark的核心,它是只读的,基于内存的,RDD结合算子会 阅读全文
posted @ 2020-03-26 19:43 张力的程序园 阅读(221) 评论(0) 推荐(0)
摘要: 前面我们熟悉了通过spark访问mysql,这一节我们将了解通过spark通过hive 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200,主机名为danji,请读者根据自己实际情况设置 已完成spark访问mysql https://www. 阅读全文
posted @ 2020-03-26 19:42 张力的程序园 阅读(310) 评论(0) 推荐(0)
摘要: 我们已经了解了在spark命令行当中使用交互方式完成词频统计,本节将阐述在idea当中使用sbt环境完成scala代码,并进行词频统计。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200,主机名为danji,请读者根据自己实际情况设置 已在l 阅读全文
posted @ 2020-03-26 19:41 张力的程序园 阅读(566) 评论(0) 推荐(0)
摘要: 本节将展示如何在spark中通过python进行词频统计。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200,主机名为danji,请读者根据自己实际情况设置 已完成scala方式的词频统计 https://www.jianshu.com/p/ 阅读全文
posted @ 2020-03-26 19:40 张力的程序园 阅读(1015) 评论(0) 推荐(0)
摘要: spark是新一代的大数据组件,包括sparkcore, sparksql,sparkstreaming,mllib,graphx等,在实际生产中作用极大,与HDFS, Hbase, hive等都可以交互。本文将阐述如何在CentOS7中安装spark。 1 系统、软件以及前提约束 CentOS 7 阅读全文
posted @ 2020-03-26 19:38 张力的程序园 阅读(362) 评论(0) 推荐(0)
摘要: 数据分两类,一类是静态处理,多做批量处理,属于OLAP,一类是流式数据,多做实时处理,属于OLTP。Spark Streaming属于微批处理,并非真正意义上的实时处理。本节将介绍一个真正意义上的流处理框架Storm,本文将阐述Storm的安装。 1 系统、软件以及前提约束 CentOS 7 64 阅读全文
posted @ 2020-03-26 19:37 张力的程序园 阅读(226) 评论(0) 推荐(0)
摘要: 数据分两类,一类是静态处理,多做批量处理,属于OLAP,一类是流式数据,多做实时处理,属于OLTP。Spark Streaming属于微批处理,并非真正意义上的实时处理。本节将介绍一个顶级的流处理框架Flink。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.1 阅读全文
posted @ 2020-03-26 19:36 张力的程序园 阅读(1490) 评论(0) 推荐(0)
摘要: 在大数据组件之间进行数据的迁移是必不可少的,本文将阐述数据迁移的重要工具之一sqoop。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200,请读者根据自己实际情况设置 sqoop 1.4.7.bin__hadoop 2.6.0 下载链接:ht 阅读全文
posted @ 2020-03-26 19:26 张力的程序园 阅读(173) 评论(0) 推荐(0)
摘要: 问题: JVM的内存机制是什么 答案: JVM中的内存分为五个部分: (1)方法区:存储加载的class字节码,通过该区域我们能寻址到类中的方法的入口。除此之外,方法区还包括运行时常量区和静态常量区。这个区域是所有线程共享的。 (2)堆:存储new出来的对象,垃圾回收器主要监控和回收的就是这块区域。 阅读全文
posted @ 2020-03-24 22:00 张力的程序园 阅读(131) 评论(0) 推荐(0)
摘要: 1、前提约束 完成nodejs,vue cli,webpack,webpack dev server的安装 https://www.jianshu.com/p/eb4d9e132f62 提供一个后台api可以完成文件上传 https://www.jianshu.com/p/2262beb31378 阅读全文
posted @ 2020-03-24 14:53 张力的程序园 阅读(322) 评论(0) 推荐(0)
摘要: 在安装了相关工具之后,我们现在就可以创建一个分模块的vue项目了。 1、前提约束 完成nodejs,vue cli,webpack,webpack dev server的安装 https://www.jianshu.com/p/eb4d9e132f62 2、打开命令行,执行以下命令 以下是项目结构: 阅读全文
posted @ 2020-03-24 13:55 张力的程序园 阅读(891) 评论(0) 推荐(0)
摘要: 上一节我们完成了使用vue脚手架创建了nuxt的第一个demo,这一节我们熟悉一下nuxt中的路由。 1、前提约束 完成nuxt的第一个demo,假设名称为nuxt demo https://www.jianshu.com/p/a931b7ba8935 2、普通路由 2.1 在nuxt demo/p 阅读全文
posted @ 2020-03-24 13:53 张力的程序园 阅读(374) 评论(0) 推荐(0)
摘要: Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境,运行在服务器端。nodejs所携带的npm包管理命令可以方便的安装vue cli, webpack, webpack dev server等命令,而这些命令是创建或者运行vue项目的基础。 1、安装nodejs 阅读全文
posted @ 2020-03-24 13:49 张力的程序园 阅读(495) 评论(0) 推荐(0)
摘要: 在安装了相关工具之后,我们现在就可以创建一个分模块的vue项目了。 1、前提约束 完成nodejs,vue cli,webpack,webpack dev server的安装 https://www.jianshu.com/p/eb4d9e132f62 2、操作步骤 打开命令行,执行以下命令,创建项 阅读全文
posted @ 2020-03-24 13:46 张力的程序园 阅读(522) 评论(0) 推荐(0)
摘要: 1、前提约束 完成nodejs,vue cli,webpack,webpack dev server的安装 https://www.jianshu.com/p/eb4d9e132f62 2、操作步骤 创建项目: 项目结构: 访问启动日志打印的路径,作者项目启动路径是 http://localhost 阅读全文
posted @ 2020-03-24 13:44 张力的程序园 阅读(250) 评论(0) 推荐(0)
上一页 1 ··· 9 10 11 12 13 14 15 16 17 ··· 19 下一页