云山之巅

摘要： 一.Client 包含访问HBase的接口并维护cache来加快对HBase的访问。 二.Zookeeper 1.保证任何时候，集群中只有一个master。 2.存储所有Region的寻址入口。 3.实时监控Region server的上线和下线信息，并实时通知Master。 4.存储HBase的s 阅读全文

摘要： 一.简介 HDFS【Hadoop Distributed File System】是Hadoop组件中的分布式存储系统，提供高可靠性、高扩展性和高吞吐率的数据存储服务。 二.存储模型 1.文件线性切割成块【Block】，块分散存储在集群的各个节点中。 2.单一文件Block大小一致，不同的文件可以设 阅读全文

摘要： 电力系统各元件的参数和数学模型 2.1电力系统各元件的参数和数学模型 2.1.1电力系统的参数 电力系统的电气参数包括导线的电阻、电导，以及由交变电磁场引起的电感和电容4个参数。线路的电感以电抗的形式表示，而线路的电容则以电纳的形式表示。 备注：所谓等值网络，是指电力系统或电力网的等效电路。 1.线 阅读全文

摘要： 一.简介 HBase中Scan从大的层面来看主要有三种常见用法：ScanAPI、TableScanMR以及SnapshotScanMR。三种用法的原理不尽相同，扫描效率当然相差甚远，最重要的是这几种用法适用于不同的应用场景，业务需要根据自己的使用场景选择合适的扫描方式。 二.ScanAPI 一.简介 阅读全文

摘要： 一.异常信息 19/03/21 15:01:52 WARN scheduler.TaskSetManager: Lost task 4.0 in stage 21.0 (TID 14640, hntest07, executor 64) org.apache.hadoop.hbase.client. 阅读全文

摘要： 一.简介 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。Kafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式，先进先出（FIFO）保证顺序，本身不 阅读全文

摘要： 1.未被external修饰的是内部表【managed table】，被external修饰的为外部表【external table】。 2.内部表数据由Hive自身管理，外部表数据由HDFS管理。 3.内部表数据存储在hive.metastore.warehouse.dir【默认:/user/hi 阅读全文

摘要： 电力系统概述 1.电力系统、电力及动力系统 电力系统通常是指发电机、变压器、电力线路、用户等组成的三相交流系统。 由电源向电力负荷中心输送电能的线路，称为输电线路，包含输电线路的电力网称为输电网。而主要担负分配电能任务的线路称为配电线路，包含配电线路的电力网称为配电网。 2.电力系统运行的特点和要求 阅读全文

摘要： 一.简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十 阅读全文

摘要： 一.Client提交模式 提交命令： ./spark-submit --master spark://node1:7077 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadooop2.6.0.jar 1 阅读全文

摘要： 一.使用数据 二.实现代码 三.计算结果 阅读全文

摘要： 一.HashShuffle 普通机制：产生磁盘小文件的数量为：M(map task number)*R(reduce task number) 过程： 1.map task处理完数据之后，写到buffer缓冲区，buffer的大小为32k，个数与reduce task个数一致 2. 每个buffer 阅读全文

摘要： 一.Spark on yarn模式下，client的模式时没有OOM而cluster模式下出现OOM 异常分析 由于client模型没有出现OOM而cluster模式出现OOM，那么出现OOM的原因必然是Driver引起的。Driver在client模式或cluster模型运行所占用的内存是一致的， 阅读全文

摘要： 一.简介 基于Linked List实现，元素是字符串类型，列表头尾增删快，中间增删慢，增删元素是常态。 元素可以重复出现，最多包含2^32-1个元素。 二.命令 1.说明 1.1 B block 块，阻塞 1.2 L left 左 1.3 R right 右 1.4 X exist 存在 2.弹入 阅读全文

摘要： 1.启动Redis客户端 进入src目录下，执行:redis-cli启动Redis客户端 2.help 帮助 帮助命令，用来查看redis命令的使用方式 3.set 设置 3.1设置 3.2不存在才设置，否则报错，相当于添加 3.3存在才设置，否则报错，相当于修改 3.4 nx 秒,px 毫秒，设置 阅读全文

摘要： 一.KV存储 包括：Redis,Memcached 特点：使用key快速查到其value，Memcached支持string类型的value,Redis除string类型外还支持set,hash,sort set等类型 二.文档存储 包括：MongoDB,CouchDB 特点：使用JSON或者类JS 阅读全文

摘要： Redis简介 Redis是一个开源（BSD许可），内存数据结构存储，用作数据库，缓存和消息代理。它支持数据结构，如 字符串，散列，列表，集合，带有范围查询的排序集，位图，超级日志，具有半径查询和流的地理空间索引。Redis具有内置复制，Lua脚本，LRU驱逐，事务和不同级别的磁盘持久性，并通过Re 阅读全文

摘要： 一.腾讯招聘网 二.代码实现 1.spider爬虫 2.管道 3.实体 三.结果【部分展示】 四.详情 阅读全文

摘要： 一.代码实现 二.结果 三.解析 VGGNet是牛津大学计算机视觉组（Visual Geometry Group）和Google DeepMind公司的研究员一起研发的深度卷积神经网络。VGG探索了卷积神经网络的深度与其性能之间的关系，通过反复堆叠3*3的小型卷积核和2*2的最大池化层，VGG成功构 阅读全文

摘要： 一.创建索引库 执行：，索引库的名称为zhen 结果（我已经创建过了，重复执行会报错）： 二.创建索引 1.添加索引 2.添加索引（动态添加新列） 3.添加指定id的索引【根据id可以直接修改一前的索引】 三.搜索 1.根据id搜索 2.根据字段搜索【每一个_source对应一条索引】 3.多条件组 阅读全文