Joe's Blog

摘要： 什么是最小化日志(Minimal Logging)？ 当数据库的恢复模式为SIMPLE或者BULK_LOGGED时，对于最小化日志类型的操作，事务日志不记录单独每个数据行的日志，而是记录对应页和区结构的修改日志。这样显著减少了操作产生的事务日志数量。例如，向某个数据页上插入200行数据，在最小化日志... 阅读全文

摘要： 索引修改的大致规则：对表的任何修改操作(UDI)，总会对表上的非聚集索引执行等价的操作。某些更新操作除外。对表的任何修改操作，都会先修改堆或者聚集索引，然后再修改非聚集索引。如果修改的数据行，正是过滤索引过滤掉的行(过滤索引的叶级页不包含的行)，则不会对过滤索引产生任何操作。插入数据行 对于聚集... 阅读全文

摘要： Latch是什么 Latch是SQL Server引擎保证内存中的结构的一致性的轻量同步机制。比如索引，数据页和内部结构(比如非叶级索引页)。SQL Server使用Buffer Latch保护缓冲池中的页，用I/O Latch保护还未加载到缓冲池的页，用Non-Buffer Latch保护内存中的 阅读全文

摘要： 堆的修改需要使用到PFS页(PageFreeSpace)。PFS记录着数据页的空间使用情况。PFS页上使用1个字节(Byte)表示一个页的使用情况。一个PFS页可以表示8088个数据页，于是每8088个数据页就会有一个PFS页。一个数据文件的第二个页就是PFS页。PFS页上1个字节的结构：Bit ... 阅读全文

摘要： 环境：CentOS 6.4,Hadoop 2.6.0,ZooKeeper 3.4.6,HBase 1.0.1.1集群角色规划：HostNameHBase RoleZooKeeperHadoop RoleHDP1MasterYESSlaveHDP2Backup Master & RegionServe... 阅读全文

摘要： 4节点Hadoop安装ZooKeeper。环境：CentOS 6.4，Hadoop 2.6.0，ZooKeeper 3.4.6HostNameHadoop RolemyidHDP1Slave1HDP2Master2HDP3Slave3HDP4Slave41. 在任一节点上解压安装zookeeper。... 阅读全文

摘要： 1.角色分配IPRoleHostname192.168.18.37Master/NameNode/JobTrackerHDP1192.168.18.35Slave/DataNode/TaskTrackerHDP2192.168.18.36Slave/DataNode/TaskTrackerHDP32... 阅读全文

摘要： Hive中有一表，列分隔符为冒号(:)，有一列utime是Timestamp格式，需要转成Weekday存到新表。利用Python写一个Pipeline的Transform，weekday.py的代码也很简单：import sysimport datetimefor line in sys.stdi... 阅读全文

摘要： 介绍 Audit是SQL Server 2008之后才有的功能，它能告诉你“谁什么时候做了什么事情”。具体是指审核SQL Server 数据库引擎实例或单独的数据库涉及到跟踪和记录数据库引擎中发生的事件。它的底层是基于扩展事件(Extented Event)，所以其性能和灵活性相对较好。审核数据可... 阅读全文

摘要： 介绍 SQL Server 2008引入了CDC(Change Data Capture),它能记录： 1. 哪些数据行发生了改变 2. 数据行变更的历史记录，而不仅仅是最终值。 跟CT(Change Tracking)相比，它通过作业实现异步变更跟踪(像事务复制)，而CT是同步实现的。因此它... 阅读全文