12 2018 档案

scala wordcount
摘要：一.不使用spark 二.在spark集群上运行wordcount 新建一个maven工程 pom.xml 导出jar并上传,同时上传word.txt到hdfs上 编写scalawordcount.sh chmod 777 scalawordcount.sh ./scalawordcount.sh 阅读全文
posted @ 2018-12-23 19:16 tele 阅读(521) 评论(0) 推荐(0)
spark 2.0.2 集群搭建
摘要：由于之前已经搭建过hadoop相关环境,现在搭建spark的预备工作只有scala环境了 一,配置scala环境 1.解压tar包后,编辑/etc/profile 2.source /etc/profile 3.scala -version 4.分发到其他两台机器上 二.搭建spark集群 1.配置 阅读全文
posted @ 2018-12-20 16:49 tele 阅读(519) 评论(0) 推荐(0)
scala 加载与保存xml文档
摘要：1 package scala_enhance.xml 2 3 import scala.xml.XML 4 import scala.io.Source 5 import jdk.internal.org.xml.sax.InputSource 6 import java.io.FileInputStream 7 import java.io.InputStreamReader... 阅读全文
posted @ 2018-12-18 19:02 tele 阅读(432) 评论(0) 推荐(0)
scala文件读取报错“java.nio.charset.MalformedInputException: Input length = 1”
摘要：读取文件时设置的字符编码错误,查看原文件的编码,在Source.fromFile中重新设置即可 阅读全文
posted @ 2018-12-17 14:56 tele 阅读(1207) 评论(0) 推荐(0)
scala读写文件 comparing values of types Unit and Int using `!=' will always yield true
摘要：由于scala没有对写入文件的支持,所以写文件时通常借助java进行IO操作 阅读全文
posted @ 2018-12-17 14:50 tele 阅读(763) 评论(0) 推荐(0)
scala 判断对象相等/equals
摘要：关于重写equals为什么需要重写hashCode请参考https://www.cnblogs.com/wang-meng/p/7501378.html 总结:在scala中,== 默认比较内存地址,但如果重写了equals,则调用该类型重写的equals进行比较(前提是两个对象均不为null,否则 阅读全文
posted @ 2018-12-16 22:06 tele 阅读(3865) 评论(0) 推荐(0)
tomcat 去除端口和项目名/使用域名访问/修改超链接为IP地址
摘要：1.打开tomcat/conf/server.xml 在host标签中加入 <Context docBase="项目名" path="" reloadable="true"/> 然后把8080端口改成80,需要注意的是sqlserver的reporting services会对该端口有影响,之前有次 阅读全文
posted @ 2018-12-05 22:29 tele 阅读(701) 评论(0) 推荐(0)