使用Java HttpURLConnection抓取网页内容（一）限制返回的网页大小

　　最近接到一个新的需求，要求给定一个url地址，获取该网页的title和图标地址，大致的思路是使用HttpUrlConnection抓取网页的源码，然后使用正则表达式匹配网页的标题和图标。

开发测试的过程中遇到了N多问题，简单总结一下;

（一）.限制返回的网页大小

　　在使用HttpUrlConnection获取网页内容时，最基本的做法就是获取http输入流，然后读取完整的网页内容，最后关闭输入流和http连接，但这里需要考虑的就是由于需求只是为了获取网页头信息中的title和icon，因此不需要下载完整的网页内容，只需要保证取到完整的头信息就行，思路就是从http输入流中读取指定大小的数据。

try (InputStream inputStream = httpURLConnection.getInputStream();
      InputStreamReader inputStreamReader = new InputStreamReader(inputStream);
      BufferedReader reader = new BufferedReader(inputStreamReader);) {

                // 只获取10KB的数据
                char[] chars = new char[10 * 1024];
                reader.read(chars, 0, 10 * 1024);

                httpURLConnection.disconnect();
                return new String(chars);
            }

　　验证了几个比较大型的网站，10KB的数据足够获取到head信息。