茅坤宝骏氹

2021年5月5日

摘要：一、基于用户的推荐公式其中，S(u,K)表示与用户u最相似的K个用户，N(i)代表喜欢物品i的用户集合，rm表示用户v对物品i的评分。二、代码 public class UserCFRecommendApp { public static void main(String[]args){ Spa 阅读全文

posted @ 2021-05-05 22:55 茅坤宝骏氹阅读(11) 评论(0) 推荐(0)

Spark SQL（八）之基于物品的相似度公式

摘要：一、基于物品的Jaccard相似度公式其中，i、j表示任意两个物品，N(i)表示喜欢物品i的用户数，N(j)表示喜欢物品j的用户数。代码： public class ItemCFApp { public static void main(String[]args){ SparkConf spar 阅读全文

posted @ 2021-05-05 22:03 茅坤宝骏氹阅读(10) 评论(0) 推荐(0)

Spark SQL（七）之基于用户的相似度公式

摘要：一、基于用户的Jaccard相似度公式其中，u、v表示任意两个用户，N(u)表示用户u喜欢的物品集合,N(v)表示用户v喜欢物品的集合。代码 public class UserCFApp { public static void main(String[]args){ SparkConf spa 阅读全文

posted @ 2021-05-05 21:53 茅坤宝骏氹阅读(9) 评论(0) 推荐(0)

2021年4月17日

Arthas - 开源 Java 诊断工具

摘要：转载自 Arthas使用 Authas — 开源的java诊断工具下载安装 authas是一个jar包，可以直接下载后运行 wget https://alibaba.github.io/arthas/arthas-boot.jar java -jar arthas-boot.jar 就可以启动起来阅读全文

posted @ 2021-04-17 10:39 茅坤宝骏氹阅读(10) 评论(0) 推荐(0)

2021年4月5日

Spark Structure Streaming（一）之简介

摘要：一、Structure Streaming 结构化流是基于Spark SQL引擎构建的可伸缩且容错的流处理引擎。可以像对静态数据进行批处理计算一样，来表示流计算。当流数据继续到达时，Spark SQL引擎将负责递增地，连续地运行它并更新最终结果。可以在Scala，Java，Python或R中使用D 阅读全文

posted @ 2021-04-05 20:15 茅坤宝骏氹阅读(6) 评论(0) 推荐(0)

2021年3月31日

Spark SQL（六）之加载数据的参数配置

摘要：一、配置忽略损坏的文件、忽略丢失的文件、路径全局过滤器、递归文件查找和修改时间路径过滤器等选项/配置仅在使用基于文件的源（parquet，orc，avro，json，csv，txt）时才有效。以下示例中使用的目录层次结构为： dir/ ├── childDir/ │ └── test.json 阅读全文

posted @ 2021-03-31 21:28 茅坤宝骏氹阅读(19) 评论(0) 推荐(0)

2021年3月29日

Spark SQL（五）之数据加载与存储

摘要：一、数据加载（1）默认数据源（parquet）最简单加载数据的方式，所有操作都使用默认数据源（parquet）。如果指定默认数据源需要配置 spark.sql.sources.default参数。 Dataset<Row> manDF = spark.read().load("hdfs://ma 阅读全文

posted @ 2021-03-29 23:36 茅坤宝骏氹阅读(8) 评论(0) 推荐(0)

Spark SQL（四）之DataSet与RDD转换

摘要：一、创建DataSet DataSet与RDD相似，但是，它们不使用Java序列化或Kryo，而是使用专用的Encoder对对象进行序列化以进行网络处理或传输。虽然编码器和标准序列化都负责将对象转换为字节，但是编码器是动态生成的代码，并使用一种格式，该格式允许Spark执行许多操作，例如过滤，排序和阅读全文

posted @ 2021-03-29 23:07 茅坤宝骏氹阅读(7) 评论(0) 推荐(0)

2017年12月31日

java jsp总结

摘要：一、jsp简介 JSP（全称Java Server Pages）是由 Sun Microsystems 公司倡导和许多公司参与共同创建的一种使软件开发者可以响应客户端请求，而动态生成 HTML、XML 或其他格式文档的Web网页的技术标准。 JSP 技术是以 Java 语言作为脚本语言的，JSP 网阅读全文

posted @ 2017-12-31 10:55 茅坤宝骏氹阅读(306) 评论(0) 推荐(0)

2017年11月21日

毕业设计的十几大问题

摘要：一、vue的跨域问题 1、前端本地用代理软件代理服务器在vue项目下的 config/index.js 文件里面配置代理proxyTable: 2、后台服务器开启允许跨域的响应头直接在tomcat安装目录下的lib中添加cors-filter-1.7.jar，java-property-util 阅读全文

posted @ 2017-11-21 12:02 茅坤宝骏氹阅读(611) 评论(0) 推荐(0)

公告