zhou_jun

摘要： 1，执行 hdfs dfs -copyFromLocal 命令报错！ 解决办法： 关闭防火墙： 永久关闭防火墙: 也可以永久关闭selinux：使用 vim /etc/selinux/config 命令修改/etc/selinux/config 文件 设置“SELINUX=disabled” ，再次 阅读全文

摘要： 最近使用hibernate+spring+jsp的小项目制作过程中出现一些错误，例如： java.lang.UnsupportedOperationException: Not supported by BasicDataSource 解决方法为：将对应打dataSource换成 阅读全文

摘要： Hibernate负责从Java类到数据库表的映射，以及从Java数据类型到SQL数据类型的映射。另外还提​​供数据查询和检索功能。它可以显着减少在SQL和JDBC中手动处理数据的开发时间。Hibernate的设计目标是通过消除使用SQL和JDBC进行手动，手工数据处理的需要。(对象关系映射（英语： 阅读全文

摘要： 最近搭建自己的博客网站的时候使用了阿里云的云服务器ESC，搭建了一个mysql数据库，在windows下使用navicat连接mysql的时候，总是连接不上，出现了1130的问题等等错误信息。 下面将自己遇到的一些问题解决方法总结如下： 首先设置mysql的配置信息： sudo vim /etc/m 阅读全文

摘要： 一、首先来看ObserverCoprocessor:1.观察者协处理器的静态加载的配置是在hbase-site.xml中配置如下属性：通过hbase.coprocessor.region.classes 配置 RegionObservers 和 Endpoints.通... 阅读全文

摘要： 近期在处理HBase的业务方面常常遇到各种瓶颈，一天大概一亿条数据，在HBase性能调优方面进行相关配置和调优后取得了一定的成效，于是，特此在这里总结了一下关于HBase全面的配置，主要参考我的另外两篇文章：（1）http://blog.csdn.net/u01429... 阅读全文

摘要： 1、列族的数量及列族的势建议将HBase列族的数量设置的越少越好。当强，对于两个或两个以上的列族HBase并不能处理的很好。这是由于HBase的Flushing和压缩是基于Region的。当一个列族所存储的数据达到Flushing的阈值时，该表中所有列族将同时进行Fl... 阅读全文

摘要： spark SQL 性能调整对于某些工作负载，可以通过在内存中缓存数据或打开一些实验选项来提高性能。1，在内存中缓存数据 Spark SQL可以通过调用spark.catalog.cacheTable("tableName")或使用内存中的列格式缓存表da... 阅读全文

摘要： 1，JSON数据集 Spark SQL可以自动推断JSON数据集的模式，并将其作为一个Dataset[Row]。这个转换可以SparkSession.read.json()在一个Dataset[String]或者一个JSON文件上完成。 请注意，作为json文件提供的文件不是典型的JSON文件。每行 阅读全文

摘要： spark SQL Parquet 文件的读取与加载 是由许多其他数据处理系统支持的柱状格式。Spark SQL支持阅读和编写自动保留原始数据模式的Parquet文件。在编写Parquet文件时，出于兼容性原因，所有列都会自动转换为空。1， 以编程方式加载数据... 阅读全文