摘要：从sina网站上获取，获取下来可以做分析使用，用于搭建自己的交易模型，选取符合自己交易系统的股票。 代码1： package com.xiaole.stock;import java.util.ArrayList;import java.util.List;import org.jsoup.Jso... 阅读全文

摘要：杭州摇号网站分页显示，浏览起来非常的不方便，于是写了几行代码将它给全部下载到一个文件中。代码很简单，先通过httpwatch观察，http是如何拼接请求的，然后在代码中将链接拼接好，批量下载下来。PrintStream ps = null; try { ps = new PrintStrea... 阅读全文

摘要：Httpclient用途很广泛，用来处理各种http请求，这里举个简单的例子去查询ＱＱ邮件登陆账号检测是的verifycode,一直想怎么能够代码登陆QQ邮箱，但是ＱＱ的登陆机制做的太ＴＭＤ牛逼了，验证码一关还没找到办法过去。 1 import java.io.IOException; 2 import java.io.UnsupportedEncodingException; 3 import java.net.URI; 4 import java.net.URISyntaxException; 5 import java.util.ArrayList; 6 import jav... 阅读全文

摘要：简单的示范代码如下：package xls.test;import java.io.File;import jxl.Workbook;import jxl.write.Label;import jxl.write.Number;import jxl.write.WritableSheet;import jxl.write.WritableWorkbook;public class XlsExample { public static void main(String[] args) { try { WritableWorkbook book = Workbook.createWorkbo... 阅读全文

摘要：悲剧啊，发现原来写入数据库的数据有些问题，需要对这批数据进行处理只有写几行代码连接到数据库批量修改了。 需要操作的字段数据：public class GarbageData { private long id; private String comment; public void setID(long id){ this.id = id; } public long getID(){ return this.id; } public void setComment(String comment){ this.comment = comment; } public String ... 阅读全文

摘要：1. 为什么要使用Http Trunked协议？ 一般http通信时会使用content_length头信息来表示服务器发送的文档内容长度，这是因为我们已经提前知道了文档内容的长度，但有时候我们无法提前知道我们需要传输的文档的长度，这时我们就要采用分块传输的方式来发送内容，也就是通过我们的http trunked协议。Http1.1x协议的chunked编码方式，可以确保接收端能够准确的判断不定长内容收取是否完整。2. http RFC文档中的chunked编码格式chunked编码一般使用若干个chunk串联而成，最后一个chunk的长度为0，表示chunk数据结束。每个chunked分为头 阅读全文

摘要：前言：前段时间在网上看到腾讯后台开发总监bison分享的一篇文章《浅谈过载保护》，读来受益匪浅。刚好自己也在处理系统请求过载的问题，把自己的一些心得体会总结出来拿来与大家一起探讨。在bison的文章中谈到：对于延时敏感的服务，当外部请求超过系统处理能力，如果系统没有做相应保护，可能导致历史累计的超时请求达到一定的规模，像雪球一样形成恶性循环，由于系统处理的每个请求都因为超时而无效，系统对外呈现的服务能力为0，且这种情况不能自动恢复。我们的系统就是要尽量避免这种情况的出现，下面将详细来分析一个现实中的案例。一 有过载问题的系统数据处理流程: 1) 前端将请求发送给数据解析及转发系统， 2）数据解 阅读全文

摘要：前言：最近在做分布式海量数据处理项目，使用到了java的线程池，所以搜集了一些资料对它的使用做了一下总结和探究，前面介绍的东西大多都是从网上搜集整理而来。文中最核心的东西在于后面两节无界队列线程池和有界队列线程池的实例使用以及线上问题处理方案。1. 为什么要用线程池？在Java中，如果每当一个请求到达就创建一个新线程，开销是相当大的。在实际使用中，每个请求创建新线程的服务器在创建和销毁线程上花费的时间和消耗的系统资源，甚至可能要比花在实际处理实际的用户请求的时间和资源要多的多。除了创建和销毁线程的开销之外，活动的线程也需要消耗系统资源。如果在一个JVM中创建太多的线程，可能会导致系统由于过度消 阅读全文