厚积！！ - 博客园

ubuntu中wifi显示被硬件禁用的解决方法

摘要：本人使用的电脑是华硕X550C，安装了ubuntu16.04版本。联网的时候显示“wifi已经通过硬件开关禁用”。按Fn+F2无法开启wifi。通过rfkill命令无法也无法开启wifi。经过了解，可以通过挂起笔记本然后重新登陆，wifi就就会开启，以后每一次的重启电脑都需要挂起一次，才能使用w 阅读全文

posted @ 2017-10-09 22:53 厚积！！阅读(9216) 评论(0) 推荐(0)

idea导入svn项目

摘要：查看svn的资源库：下面的多出了一个svn的窗口，在左边有加号可以添加一个svn的库输入svn的地址，我用的是本地的测试，所以地址为svn://127.0.0.1/newproject 根据服务不同这个地址也不一样可能是http或着https 添加上svn库的地址后，我们可以浏览库上的文件，当阅读全文

posted @ 2017-08-20 12:00 厚积！！阅读(9715) 评论(0) 推荐(0)

Intellij IDEA常用配置详解

摘要： Intellij IDEA常用配置详解 1. IDEA内存优化先看看你机器本身的配置而配置. \IntelliJ IDEA 8\bin\idea.exe.vmoptions -Xms64m -Xmx256m -XX:MaxPermSize=92m -ea -server -Dsun.awt.kee 阅读全文

posted @ 2017-08-17 17:30 厚积！！阅读(394) 评论(0) 推荐(0)

HBase 写优化之 BulkLoad 实现数据快速入库

摘要：在第一次建立Hbase表的时候，我们可能需要往里面一次性导入大量的初始化数据。我们很自然地想到将数据一条条插入到Hbase中，或者通过MR方式等。但是这些方式不是慢就是在导入的过程的占用Region资源导致效率低下，所以很不适合一次性导入大量数据。本文将针对这个问题介绍如何通过Hbase的BulkL 阅读全文

posted @ 2017-08-17 17:28 厚积！！阅读(2373) 评论(0) 推荐(0)

Spark性能优化之道——解决Spark数据倾斜（Data Skew）的N种姿势

摘要：原创文章，转载请务必将下面这段话置于文章开头处。本文转发自技术世界，原文链接　http://www.jasongj.com/spark/skew/ 摘要本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义Partitioner，使用Map 阅读全文

posted @ 2017-08-15 10:57 厚积！！阅读(562) 评论(0) 推荐(0)

avro序列化详细操作

摘要： Intellij 15.0.3 Maven avro 1.8.0 Avro是一个数据序列化系统。它提供以下： 1 丰富的数据结构类型 2 快速可压缩的二进制数据形式 3 存储持久数据的文件容器 4 远程过程调用RPC 5 简单的动态语言结合功能，Avro和动态语言结合后，读写数据文件和使用RPC协阅读全文

posted @ 2017-08-11 15:03 厚积！！阅读(9988) 评论(0) 推荐(0)

wordcount代码实现详解

摘要：阅读目录 1、MapReduce整体流程 2、WordCount源码 3、WordCount逐行解析阅读目录 1、MapReduce整体流程 2、WordCount源码 3、WordCount逐行解析 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储阅读全文

posted @ 2017-07-13 16:58 厚积！！阅读(4190) 评论(1) 推荐(0)

idea配置maven

摘要： 1. 下载Maven 官方地址：http://maven.apache.org/download.cgi 解压并新建一个本地仓库文件夹 2.配置本地仓库路径 3.配置maven环境变量 4.在IntelliJ IDEA中配置maven 打开-File-Settings 5.新建maven WEB项目阅读全文

posted @ 2017-07-11 10:37 厚积！！阅读(157) 评论(0) 推荐(0)

scala数组

摘要： scala 数组分可变数组(缓冲数组)和不可变数组(定长数组) 1. 定长数组即长度不可变的数组例： val array = new Array[String](10) //10个字符串数组，初始值为null val a = Array("Hello","world") //长度为2的Strin 阅读全文

posted @ 2017-04-14 16:33 厚积！！阅读(327) 评论(0) 推荐(0)

安装Scala 找不到或无法加载主类 scala.tools.nsc.MainGenericRunner 错误

摘要：对于安装Scala时找不到或无法加载主类 scala.tools.nsc.MainGenericRunner 错误，不管是linux还是window系统，原因很大可能是scala的安装路径中出现空格。检查路径是否有问题，如果有空格，去掉空格即可。如果没有空格依然报错，可以删除已安装好的Scala 阅读全文

posted @ 2017-02-05 17:55 厚积！！阅读(1531) 评论(0) 推荐(0)