利用jsonp抓取某网站数据详细示例

一、使用chrome浏览器自带web开发工具(F12,也可以使用fildder等工具)，找到请求的地址

 

这里的request url 就是我们需要请求的地址

然后点击response会发现返回的数据格式，

 

 

二、

新建html页面,代码如下

<!DOCTYPE html>
<html>
<head>
    <meta charset="utf-8">
    <meta http-equiv="X-UA-Compatible" content="IE=edge">
    <title></title>
    <style type="text/css">
ul li{ list-style-type:none;}
    </style>
    <script src="http://libs.baidu.com/jquery/2.0.0/jquery.js"></script>
    <script type="text/javascript">
    jQuery(document).ready(function($){
        $("#btnsearch").on("click",function(){
            for(i=0;i<=1000;i++)
            {
                
                search(i);
            }
            //$('ul li').remove();
            
        });
        
        
        }

        );

    function search(val){
    var str={cityName:"合肥",sid:1012,address:val,size:30,brands:"KFC",encode:"UTF-8"}
    $.post("http://xxx.xxx.xx/search/gate?callback=?",str ,function(data){ 
    
        $.each(data.data, function(i,item){
            var htmlstr="<li>INSERT INTO `xxxx` (`address`) VALUES(\""+item.address+"\");</li>";
          $(htmlstr).appendTo('#address_list');
    });


    },"jsonp");
    }
    </script>

</head>
<body>
    
    <input type="button" id="btnsearch" value="查询">
    <ul id="address_list"></ul>

</body>
</html>
View Code

 

三、按照插入mysql数据库的格式将数据打印到页面，现在将数据插入mysql数据库就完成采集啦，这里吐槽一下，5000多条数据就插了好久伤不起啊

 

posted @ 2014-09-18 18:02  xpolars  阅读(1225)  评论(0)    收藏  举报