摘要:
S4(Simple Scalable Streaming System)是一个分布式流处理引擎,开发者可以在这个引擎基础上开发面向无界的,不间断的流数据处理应用。 什么是流数据处理应用?例如,为了个性化搜索广告,系统需要实时处理来自几百万唯一用户每秒成千上万次的查询,并即时分析用户的会话特征来提高广告相关性预测模型的准确度。流数据处理应用要求我们的系统可以接受大量的,不间断的数据(称为流式数据),并可以迅速做出数据处理,S4正是完成这样一个需求。 S4的设计思想 S4将一个流抽象为由(K,A)形式的元素组成的序列,这里K和A分别是键和属性。在这种抽象的基础上S4设计了能够消费和发出这些(K,. 阅读全文
阅读排行榜
老大让我学Linux之echo指令,awk,grep,sed指令及shell上的socket程序实例
2011-07-22 10:42 by Aga.J, 5417 阅读, 收藏,
摘要:
下文摘自网络文章Linux echo命令功能说明:显示文字。语 法:echo [-ne][字符串] 或 echo [--help][--version]补充说明:echo默认会将结果字符串送往标准输出。输出的字符串间以空白字符隔开, 并在最后加上换行号。参 数:-n 不要在最后自动换行-e 若字符串中出现以下字符,则特别加以处理,而不会将它当成一般文字输出:\a 发出警告声;\b 删除前一个字符;\c 最后不加上换行符号;\f 换行但光标仍旧停留在原来的位置;\n 换行且光标移至行首;\r 光标移至行首,但不换行;\t 插入tab;\v 与\f相同;\\ 插入\字符;\nnn 插入nnn(八进 阅读全文
Linux TCP server系列(6)-select模式下的多线程server
2011-09-18 20:00 by Aga.J, 5333 阅读, 收藏,
摘要:
目标: 修改上一篇的select模式下的server,让它使用多线程来处理客户端请求(多进程的模式已经在上篇中加了注释)。思路: (1)服务器 我们已经在之前的客户端模型多个并发用户的过程中使用过多线程的技术了(其中还涉及到多线程利用条件变量进行线程同步),在这里我们可以很轻松的在上篇文章代码中加入线程部分代码。//for thread int *lptr; pthread_t pid; //for thread for(i=0;i<=maxi;i++) { if((sockfd=client[i]) <0) continue; if(FD_ISSET(sockfd,&rs 阅读全文
Linux TCP server系列(3)-fork注意事项
2011-09-15 17:17 by Aga.J, 4827 阅读, 收藏,
摘要:
前两篇文章都是使用fork子进程来处理客户端请求,所以我们需要在这里了解一下fork的具体信息。 当server从accept返回时,它获得socket连接另一端的client socket 文件描述符和socket地址信息,然后使用fork创建子进程来执行对应client socket上的操作。 使用fork应该注意以下几点: (1)子进程可以关闭不必要的文件描述符或者释放其他资源,因为使用fork后,如果子进程不调用exec以使用新的进程空间的话,子进程会复制父进程的进程空间内容,包括数据段等(代码段是共享的,数据段等采用一种写时复制的策略来提高性能)。所以不必要的资源可以尽快释放。 (2 阅读全文
关于使用OpenNetCF完成windows mobile上的wifi通信
2010-08-09 00:20 by Aga.J, 4518 阅读, 收藏,
摘要:
最近接到任务,基本要求是开发一个windows mobile平台上的wifi交互程序,一开始上面的人把需求定义错了,结果我做的东西全部从头来过,而最终的要求就是要程序能在后台运行,然后自动打开wifi,自动选择接入点进行连接。 google得知可以使用OpenNetCF的OpenNETCF.Net.NetworkInformation命名空间里的WirelessZeroConfigNetworkInterface和 AccessPoint来完成。然而不管是在OpenNetCF还是在其他牛人的blog里,都只有使用这个类库来进行搜索周围的热点信息,没有提供connect上热点的信息。一开始在使用 阅读全文
浙公网安备 33010602011771号