摘要:
val spark = SparkSession .builder.master("local").config("spark.testing.memory", "2147480000") .appName("HdfsTest") .getOrCreate() val spark = SparkSe
阅读全文
posted @ 2020-12-24 14:17
bug_x
阅读(515)
推荐(0)
摘要:
class SparkTest { } import java.util.concurrent.TimeUnit import org.apache.spark.sql.SparkSession object SparkDemo { def main(args: Array[String]) { p
阅读全文
posted @ 2020-12-24 13:34
bug_x
阅读(120)
推荐(0)
摘要:
注解之前spring怎么装配bean 传统的Spring做法是使用.xml文件来对bean进行注入或者是配置aop、事务。我们先看一个不使用注解的Spring示例,在这个示例的基础上,改成注解版本的,这样也能看出使用与不使用注解之间的区别,先定义一个老师: public class Teacher{
阅读全文
posted @ 2020-12-23 15:28
bug_x
阅读(423)
推荐(0)
摘要:
使用dir(obj) 这将输出所有属性和方法 from io import BytesIO f=BytesIO() print('object:',f) print('details:',dir(f)) 输出 object: <_io.BytesIO object at 0x104168e08> d
阅读全文
posted @ 2020-12-23 09:56
bug_x
阅读(805)
推荐(0)
摘要:
logging函数根据它们用来跟踪的事件的级别或严重程度来命名。标准级别及其适用性描述如下(以严重程度递增排序): 级别何时使用 DEBUG 详细信息,一般只在调试问题时使用。 INFO 证明事情按预期工作。 WARNING 某些没有预料到的事件的提示,或者在将来可能会出现的问题提示。例如:磁盘空间
阅读全文
posted @ 2020-12-21 16:29
bug_x
阅读(824)
推荐(0)
摘要:
HDFS适合做: 存储大文件。上G、T甚至P。 一次写入,多次读取。并且每次作业都要读取大部分的数据。 搭建在普通商业机群上就可以了。虽然会经常宕机,但HDFS有良好的容错机制。 HDFS不适合做: 实时数据获取。如果有这个需求可以用HBase。 很多小文件。因为namenode要存储HDFS的me
阅读全文
posted @ 2020-12-17 14:22
bug_x
阅读(2296)
推荐(0)
摘要:
java 版本太高 降低jdk版本
阅读全文
posted @ 2020-12-16 20:08
bug_x
阅读(1310)
推荐(0)
摘要:
import org.apache.log4j.{Level, Logger} object MySparkApp { def main(args: Array[String]): Unit = { Logger.getLogger("org.apache.spark").setLevel(Leve
阅读全文
posted @ 2020-12-08 20:05
bug_x
阅读(117)
推荐(0)
摘要:
1、In Eclipse go to Run > Run Configurations... > Arguments > VM arguments and set max heapsize like -Xmx512m. 2、idea 同样 3、Intellij IDEA运行报Command line
阅读全文
posted @ 2020-11-27 10:02
bug_x
阅读(78)
推荐(0)
摘要:
创建一个文件夹 hdfs dfs -mkdir /myTask 创建多个文件夹 hdfs dfs -mkdir -p /myTask1/input1 上传文件 hdfs dfs -put /opt/wordcount.txt /myTask/input 查看总目录下的文件和文件夹 hdfs dfs
阅读全文
posted @ 2020-11-17 20:36
bug_x
阅读(99)
推荐(0)