麦哲思科技

摘要： 题记：很多做游戏开发的人，估计都或多或少地接过渠道SDK，什么UC，当乐，91，小米，360......据统计国内市场当前不下于100家渠道，还包括一些没有SDK的小渠道。每个渠道SDK接入的方法呢，多是大同小异。但是，正是这些小异，又让SDK的接入，产生了无穷无尽的变数。所以，接入... 阅读全文

摘要： 一. 运维1. Master挂掉,standby重启也失效Master默认使用512M内存，当集群中运行的任务特别多时，就会挂掉，原因是master会读取每个task的event log日志去生成spark ui，内存不足自然会OOM，可以在master的运行日志中看到，通过HA启... 阅读全文

摘要： 下面是我在spark user list的求助贴,很快就得到了正确回答，有遇到问题的同学解决不了也可以去上面提问。I can use it under spark1.4.1,but error on spark1.5.1,how to deal with this problem... 阅读全文

摘要： 浏览器有一个非常有用的特性：自动解压。在使用AJAX请求数据的时候，数据在服务器端压缩传输，在浏览器端自动解压，请求直接得到解压后的结果。在Request Header中，一般会列出浏览器支持的压缩格式，如ChromeAccept-Encoding:gzip, deflate, sdchIE11和... 阅读全文

摘要： READING BINARY DATA USING JQUERY AJAXhttp://www.henryalgus.com/reading-binary-files-using-jquery-ajax/Query is an excellent tool to make web developm... 阅读全文

摘要： 使用 elasticsearch-hadoop 包，可在 github 中搜索到该项目项目地址exampleimport org.elasticsearch.spark._import org.elasticsearch.spark.sql._val conf = new Spar... 阅读全文

摘要： 以前为了在一台机器上启动多个executor都是通过instance多个worker来实现的，因为standalone模式默认在一台worker上启动一个executor，造成了很大的不便利，并且会造成不同节点间任务负载不均衡，后来发现了另一种解决方法，方法如下。设置参数设置每个e... 阅读全文

摘要： 以superagent为例1.设置lib目录requirejs.config({ baseUrl: 'libs' });2. 使用SuperAgent require(['superagent'], function (request) { var req = request.... 阅读全文

摘要： spark Hive表操作之前很长一段时间是通过hiveServer操作Hive表的,一旦hiveServer宕掉就无法进行操作。比如说一个修改表分区的操作一.使用HiveServer的方式val tblName = "hive_table"def dropPartitions(t... 阅读全文

摘要： 环境centOS6.6 gmetad节点关闭iptablegmetad和httpd只需要在一台节点安装，gmond需要在每台节点上安装。一.安装epel源sudo wget http://download.fedoraproject.org/pub/epel/6/i386/epel... 阅读全文