网站是怎么无人化运行的【三-采集去重复】

在昨天大致介绍了网站信息自动化采集的基础步骤，但是各位需要在做自动化采集的时候做一个很关键的步骤：排除重复信息！实例方法如下：

 

        private bool CheckUrl(string url) //铜梁视窗 http://www.5atl.com 去重
        {
            string sql = "  SELECT COUNT(1) FROM CMS_Collection WHERE NewsFrom='" + url + "'";

            object obj = DBHelper.ExecuteScalar(sql);

            if (obj != null && obj != DBNull.Value)
            {
                if (Convert.ToInt32(obj) > 0)
                {
                    return false;
                }
                else
                {
                    return true;
                }
            }

            return true;
        }

　　

看铜梁视窗是怎么无人化运行的【二】

看铜梁视窗是怎么无人化运行的【一】

更多案例请登陆铜梁视窗预览