麦哲思科技

摘要：以superagent为例1.设置lib目录requirejs.config({ baseUrl: 'libs' });2. 使用SuperAgent require(['superagent'], function (request) { var req = request.... 阅读全文

摘要：spark Hive表操作之前很长一段时间是通过hiveServer操作Hive表的,一旦hiveServer宕掉就无法进行操作。比如说一个修改表分区的操作一.使用HiveServer的方式val tblName = "hive_table"def dropPartitions(t... 阅读全文

摘要：环境centOS6.6 gmetad节点关闭iptablegmetad和httpd只需要在一台节点安装，gmond需要在每台节点上安装。一.安装epel源sudo wget http://download.fedoraproject.org/pub/epel/6/i386/epel... 阅读全文

摘要：结束了在武汉四天的校招行程。第一天判笔试题到晚上十二点，接着连续技术面试两天半。校招不仅仅是脑力上考验，也是体力上的考验。但相比去年在成都的招聘行程，今年感觉轻松许多，从而也有精力写写这几天的感想。从笔试说起技术笔试很少有选择题，一般都是各种各样的算法题。在网络没有那么发达的时候，要准备笔试，基本... 阅读全文

摘要：在分布式计算中，为了提高计算速度，数据本地性是其中重要的一环。 不过有时候它同样也会带来一些问题。一.问题描述在分布式计算中，大多数情况下要做到移动计算而非移动数据，所以数据本地性尤其重要，因此我们往往也是将hdfs和spark部署在相同的节点上，有些人可能会发现即使他已经... 阅读全文

摘要：在大量数据中对一些字段进行关联。举例ipTable：需要进行关联的几千条ip数据(70k) hist：历史数据（百亿级别） 直接join将会对所有数据进行shuffle，需要大量的io操作，相同的key会在同一个partition中进行处理，任务的并发度也收到了限制。使用broad... 阅读全文

摘要：1.几种缓存数据的方法例如有一张hive表叫做activity1.CACHE TABLE//缓存全表sqlContext.sql("CACHE TABLE activity")//缓存过滤结果sqlContext.sql("CACHE TABLE activity_cached a... 阅读全文

摘要：与map方法类似，map是对rdd中的每一个元素进行操作，而mapPartitions(foreachPartition)则是对rdd中的每个分区的迭代器进行操作。如果在map过程中需要频繁创建额外的对象(例如将rdd中的数据通过jdbc写入数据库,map需要为每个元素创建一个链接... 阅读全文

摘要：android 修改系统的dialog样式 一、觉得自定义配置文件麻烦？那就来修改系统自定义XML文件来实现修改系统dialog的样式吧。 如果是在XML中样式：首先来说下样式。 在 Style.xml 文件（如果没有该文件就创建一个XML名为Style.xml） 如... 阅读全文

摘要：升级python到2.7后$ ansible报错Traceback (most recent call last): File "/usr/bin/ansible", line 36, in from ansible.runner import RunnerImportE... 阅读全文

摘要：spark1.5发布了，赶紧去下了源码尝鲜git clone git://github.com/apache/spark.git -b branch-1.5输入命令进行编译./make-distribution.sh --tgz -Phadoop-2.4 -Pyarn -Dskip... 阅读全文

摘要：上篇文章中我们提到了图片加载其实是用了三条线程，如果没看过的同学可以先了解下这里。 fackbook的Fresco的Image Pipeline以及自身的缓存机制 那么今天我们就来探索一下如何在代码中改变图片实现的状态和内容，前面我们已经使用过SimpleDraweeVi... 阅读全文

摘要：什么是一个好的应用架构？怎么才能搭建大型的应用架构？其实每个人在工作几年之后都会有这个疑问，都在寻求好点的框架，那么小编我总结一下我的经验给大家。 其实对于客户端，一个好的应用架构，复杂度不亚于服务端，因为需要承载需求和产品的变更，如果前期没弄好，后期要么成烂尾，要么就重... 阅读全文

摘要：Fresco源码解析 - DataSource怎样存储数据 datasource是一个独立的 package，与FB导入的guava包都在同一个工程内 - fbcore。 datasource的类关系比较简单，一张类图基本就可以描述清楚它们间的关系。 DataSource... 阅读全文

摘要：开发者经验谈：如何一天时间搞定iOS游戏开发？ 在一天时间里将完成iPhone游戏开发由梦想变为现实？ 本文作者给出了从创意转变成现实的详细答案。使用苹果原生游戏引擎SpriteKit，遵循一定的原则可以保证开发顺利进行，最大程度避免意外情况的发生。 CSDN移动将持续为您优选... 阅读全文

摘要：最近项目要求屏蔽EditText 长按出来的ActionMode菜单，但是要保留选择文本功能。这个屏蔽百度会出现各种方法，这里说一下我的思路： 1.屏蔽百度可知setCustomSelectionActionModeCallback即可, editTextExt.setCustomSelec... 阅读全文

摘要：场景现在餐厅老板已经不满足仅仅统计历史用户消费金额总数了，他想知道每个用户半年，每个月，每天，或者一小时消费的总额，来店消费的次数以及平均金额。给出的例子计算的是每5秒,每30秒,每1分钟的用户消费金额，消费次数，平均消费。数据格式{"user":"zhangsan","payme... 阅读全文

摘要：场景餐厅老板想要统计每个用户来他的店里总共消费了多少金额，我们可以使用updateStateByKey来实现从kafka接收用户消费json数据，统计每分钟用户的消费情况，并且统计所有时间所有用户的消费情况(使用updateStateByKey来实现)数据格式{"user":"zh... 阅读全文

摘要：fackbook的Fresco的Image Pipeline以及自身的缓存机制 配置之前、首先需要知道两点：一点是Bitmap缓存、一点是如果你仅仅需要一个缓存，那么不调用setSmallImageDiskCacheConfig即可。Image pipeline 默认会使用同一个... 阅读全文

摘要：【Android开发经验】FaceBook推出的Android图片加载库-Fresco 欢迎关注ndroid-tech-frontier开源项目，定期翻译国外Android优质的技术、开源库、软件架构设计、测试等文章 原文链接:Introducing Fresco: A ... 阅读全文

摘要：在Fresco源码解析 - 初始化过程分析章节中， 我们分析了Fresco的初始化过程，两个initialize方法中都用到了 ImagePipelineFactory类。 ImagePipelineFactory.initialize(context); 会创建一个所有参数... 阅读全文

摘要：（Facebook开源项目）Fresco：一个新的Android图像处理类库 在Facebook的Android客户端上快速高效的显示图片是非常重要的。然而多年来，我们遇到了很多如何高效存储图片的问题。图片太大，而设备太小。一个像素点就占据了4个字节数据（分别代表R G B和alph... 阅读全文