AI_Engineer - 博客园

2020年4月28日

摘要： \?：查看命令帮助 cmd：进入命令行 dir：查看当前目录文件 cd：切换目录 \：windows路径分割符 cls：clear screen，清屏 mkdir：创建目录 exit：退出 echo：回音 >：重定向，覆盖操作 >>：重定向，追加操作 type：输出文件内容 rmdir：删除文件 t 阅读全文

posted @ 2020-04-28 11:02 AI_Engineer 阅读(120) 评论(0) 推荐(0)

2020年4月25日

spark实现word count

摘要： package com.bjsxt.scala import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD import org.apache.spark 阅读全文

posted @ 2020-04-25 15:11 AI_Engineer 阅读(228) 评论(0) 推荐(0)

2020年4月24日

scala中的函数

摘要：函数基本用法 1.方法定义用def,函数的参数要写类型，不写类型不可以。2.函数的返回值类型可以不写，会自动推断3.scala会将函数体中最后一行计算的结果当做返回值返回4.可以写“return”,写了return要显式的声明方法体的返回类型。5.定义方法时，如果不写“=”，那么无论方法体中最后一阅读全文

posted @ 2020-04-24 17:45 AI_Engineer 阅读(177) 评论(0) 推荐(0)

scala中的类和对象

摘要： 1.scala中定义在object中的变量，方法都是静态的,object叫对象，相当于java中的单例对象。object不可以传参,Trait也不可传参。2.scala 中一行代码后可以写“;”也可以不写，会有分号推断机制。多行代码写在一行要用分号隔开。3.定义变量用var,定义常量用val ， a 阅读全文

posted @ 2020-04-24 17:17 AI_Engineer 阅读(310) 评论(0) 推荐(0)

scala简介

摘要： scala简介 Scala 是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala 运行在Java虚拟机上，并兼容现有的Java程序。 Scala 源代码被编译成Java字节码，所以它可以运行于JVM之上，并可以调用现有的Java类库阅读全文

posted @ 2020-04-24 10:31 AI_Engineer 阅读(158) 评论(0) 推荐(0)

2020年4月23日

Spark实现tf-idf

摘要： scala代码： package offline import org.apache.spark.ml.feature.{HashingTF, IDF} import org.apache.spark.ml.linalg.Vectors import org.apache.spark.sql.Spa 阅读全文

posted @ 2020-04-23 20:37 AI_Engineer 阅读(372) 评论(0) 推荐(0)

2020年4月22日

spark实现UserCF

摘要： spark实现UserCF package cf import breeze.numerics.{pow, sqrt} import org.apache.spark.sql.SparkSession object UserCF { def main(args: Array[String]): Un 阅读全文

posted @ 2020-04-22 23:20 AI_Engineer 阅读(517) 评论(0) 推荐(0)

pyspark操作实例

摘要：计算切好词的两个句子的LCS（最长公共子序列） # -*- coding: utf-8 -*- from pyspark.sql.functions import udf from pyspark.sql.types import IntegerType from pyspark.sql impor 阅读全文

posted @ 2020-04-22 11:27 AI_Engineer 阅读(828) 评论(0) 推荐(0)

2020年4月21日

Hbase实践

摘要：取Hive中的数据写入Hbase中 package hbase import org.apache.hadoop.hbase.{HBaseConfiguration, TableName} import org.apache.hadoop.hbase.client.{HTable, Put} imp 阅读全文

posted @ 2020-04-21 11:35 AI_Engineer 阅读(162) 评论(0) 推荐(0)

2020年4月18日

Spark Streaming

摘要： Spark Streaming简介 Spark Streaming架构 Spark Streaming作业提交 Spark Streaming窗口操作 Spark Streaming全局统计量 Spark Streaming容错性分析 WAL工作原理 Spark Streaming消费Kafka D 阅读全文

posted @ 2020-04-18 09:56 AI_Engineer 阅读(105) 评论(0) 推荐(0)

xd_xumaomao

公告