摘要： 两种机器学习库ml 与 mlib mllib contains old RDD-based API ml contains new API build around Dataset and ML Pipelines GBDT 二分类 支持回归 多分类问题： 1、逻辑回归 def multiclass 阅读全文

摘要： val urlOfClass = classOf[Nothing].getClassLoader.getResource("org/slf4j/spi/LocationAwareLogger.class")System.out.println(urlOfClass)找到所在类的jar 阅读全文

摘要： javac 编译 linux平台下：javac -cp ./hadoop-common-2.7.1.jar:./hadoop-mapreduce-client-core-2.7.4.jar: WordCount.java window 需要把上面的: 换成; 执行jar里面的class java - 阅读全文

摘要： 写在前面： 需要保证hadoop版本 各个jar版本一致，否则可能出现各种哦莫名奇妙的错误！ maven 依赖： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xml 阅读全文

摘要： spring-boot使用thymeleaf时，避免要求过于严格，运行报错，可以进行如下配置 maven配置： application.properties 阅读全文

摘要： 使用本地模式，不需要安装spark，引入相关JAR包即可： 创建spark： 加载本地文件： 文件操作： 遍历处理： 附其他函数： package scala.learn import top.letsgogo.rpc.ThriftProxy import scala.util.matching.R 阅读全文

摘要： hadoop的核心：HDFS（负责数据存储）、MapReduce（计算模型）、YARN（资源调度管理） 事先需要安装JDK 和 ssh 安装ssh sudo apt install openssh-server 配置ssh无密登陆 ssh-keygen -t rsa # 一直回车 cat ~/.ss 阅读全文

摘要： 1、删除本地镜像 sudo docker rmi luckypt/myalice 2、提交镜像到docker hub step1——找到本地镜像的ID：docker images step2——登陆Hub：docker login --username=username --password=pas 阅读全文

摘要： 基于开源项目MyAlice智能客服学习ElasticSearch https://github.com/hpgary/MyAlice/wiki/%E7%AC%AC01%E7%AB%A0%E5%AE%89%E8%A3%85 首先和常用的关系型数据库做一个对比，明确一下概念： HEAD 插件安装： ./ 阅读全文

摘要： 写在前面 最开始认识zookeeper是在工作一年左右的时候，当时项目中引进了kafka，于是乎就按照网上kafka的“helloworld”搭建了一套测试环境，kafka的分布式管理是通过zookeeper实现的，就这样算是和zookeeper初相识，之后在网上搜罗了一堆关于zk的文章，看的也是云 阅读全文