摘要： java两个线程互相访问的时候并不能按照你的思路运行，因为执行语句可能有前后快慢之分，比如a=1和flag=true。下面线程B访问的时候 这两个赋值语句不一定按顺序执行 产生这种原因是因为指令重排序造成的。这种重排只会出现在不影响串行的结构下进行指令的优化（去掉等待的气泡，这是一种编译器的自动优化 阅读全文

摘要： 华为负责人本来想用这种表来做大数据开发，先前就听前辈讲过性能存在问题。实际开发过程确实存在不少问题。然后放弃换方案去做了。 1.底层meta映射字段问题。默认4000，如果再做修改会涉及到挺多源码。 2.性能问题join大表之间过慢问题。（本质应该是因为hbase查询时候不走rowkey过慢，之前听 阅读全文

摘要： sqoop import \-Doraoop.disabled=true \--connect jdbc:oracle:thin:@"(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=XX.XX.XX.XX)(PORT=1521))(CONNECT_DATA=(SE 阅读全文

摘要： Hbase作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(<0.92)Hbase中，统计数据表的总行数，需要使用Counter方法，执行一次MapReduce Job才能得到。虽然HBase在数据存储层中集成了MapReduce，能 阅读全文

摘要： window eclipse下有hadoop 服务插件可以安装方便开发，今天突然发现连接不上做测试，鼓捣了一下。大多是因为端口问题 9000是DFS端口 50020是IPC服务端口，50070是webui 端口 阅读全文

摘要： 三种同步方式 简要概括为 对象锁，实例锁，class锁。（加锁是为了同步块操作） 阅读全文

摘要： suspend（）不会释放锁 如果加锁发生在resume（）之前会发生死锁 t.join()是阻塞此方法,此线程再继续；通常用于在main()主线程内，等待其它线程完成再结束main()主线程.图中join时候线程被挂起， 此时会出现T1执行完了，T2执行由于先resume 再挂起，导致死锁出现。所 阅读全文

摘要： 今天公司抽取了4千万的表大概十几G 用sqoop抽取是30--40分钟 开了两个map。模型是oracle hdfs（hive）。以前只抽过几十万级别，所以千万级别感觉还是spilt做好切分和定好切分字段。尽量避免木桶效应。才能把sqoop时间缩到最短。另外。hdfs load到hive 加了ove 阅读全文

摘要： 摘要 本文主要内容是通过合理Hbase 行键（rowkey)设计实现快速的多条件查询，所采用的方法将所有要用于查询中的列经过一些处理后存储在rowkey中，查询时通过rowkey进行查询，提高rowkey的利用率，加快查询速度。行键（rowkey)并不是简单的把所有要查询的列的值直接拼接起来，而是将 阅读全文

摘要： sqoop import DB 2 hive（hdfs）是采用JDBC的过程，与传统hive区别在与多走了thrift server接口（稳定性待学习现在还比较模糊没做过大数据量测试），而export是通过hive cli 直接走了hive driver不存在稳定性问题。 阅读全文