陋室铭
永远也不要停下学习的脚步(大道至简至易)

摘要: 简介 CefSharp简单来说就是一款.Net编写的浏览器包,方便你在Winform和WPF中内嵌的Chrome浏览器组件。 资源 GitHub地址:传送门wiki帮助文档地址:传送门CefSharp最小的示例工程:传送门gitter交流讨论区:传送门 快速入门 本文使用版本cefsharp/71 阅读全文
posted @ 2021-07-23 02:16 宏宇 阅读(47) 评论(0) 推荐(0) 编辑
摘要: 整理一下最近做的几个项目。总结几个用到的知识点和关键部分代码,以供大家学习交流。1、爬虫抓取网页内容信息。可以用System.Net.WebRequest、webclient等类来处理。2、对于某些动态网页,生成页面信心由javascript动态生成链接信息的。也可以进行分析传值的方式,在post的 阅读全文
posted @ 2021-07-23 02:14 宏宇 阅读(31) 评论(0) 推荐(0) 编辑
摘要: 由于别的项目组在做舆情的预言项目,我手头正好没有什么项目,突然心血来潮想研究一下爬虫、分析的简单原型。网上查查这方面的资料还真是多,眼睛都看花了。搜了搜对于我这种新手来说,想做一个简单的爬虫程序,所以HttpClient + jsoup是一个不错的选择。前者用来管理请求,后者用来解析页面,主要是后者 阅读全文
posted @ 2021-07-23 02:05 宏宇 阅读(66) 评论(0) 推荐(0) 编辑
摘要: 简介 上篇Python爬虫爬取动态页面思路+实例(一)提到,爬取动态页面有两种方法 分析页面请求 selenium模拟浏览器行为(这篇介绍这个) 理论上来讲,这种方法可以应对各种动态加载,因为模拟人的行为嘛,如果人自己用浏览器来看网页都加载不出数据来,这网站吃枣药丸。但是它的显著缺点就是——慢。所以 阅读全文
posted @ 2021-07-23 01:58 宏宇 阅读(80) 评论(0) 推荐(0) 编辑
摘要: 简介 有时候,我们天真无邪的使用urllib库或Scrapy下载HTML网页时会发现,我们要提取的网页元素并不在我们下载到的HTML之中,尽管它们在浏览器里看起来唾手可得。 这说明我们想要的元素是在我们的某些操作下通过js事件动态生成的。举个例子,我们在刷QQ空间或者微博评论的时候,一直往下刷,网页 阅读全文
posted @ 2021-07-23 01:55 宏宇 阅读(62) 评论(0) 推荐(0) 编辑
摘要: 1.HtmlUnit简要介绍 HtmlUnit是一款java的无界面浏览器程序库。它模拟HTML文档,并提供相应的API,允许您调用页面,填写表单,点击链接等操作,就像您在“正常”浏览器中做的一样。它有相当不错的JavaScript支持(还在不断改进),甚至能够处理相当复杂的AJAX库,模拟Chro 阅读全文
posted @ 2021-07-23 01:50 宏宇 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 准确条件加入依赖jar包<dependency> <groupId>net.sourceforge.htmlunit</groupId> <artifactId>htmlunit</artifactId> <version>2.15</version></dependency>代码示例private 阅读全文
posted @ 2021-07-23 01:48 宏宇 阅读(43) 评论(0) 推荐(0) 编辑
摘要: https://blog.csdn.net/johnson_moon/article/details/78457543 HtmlUnit简介 官网介绍 HtmlUnit is a "GUI-Less browser for Java programs". It models HTML documen 阅读全文
posted @ 2021-07-23 01:46 宏宇 阅读(48) 评论(0) 推荐(0) 编辑
摘要: 目前可以在NuGet直接引用 (此博客文章纯属个人记录,转载请注明出处!) 官方地址:NHtmlUnit 编译获取dll方法: 1.下载nuget.exe (nuget所在网站:http://www.nuget.org/) 2.打开DOS命令对话框, 进入nuget.exe文件所在目录(我的exe文 阅读全文
posted @ 2021-07-23 01:45 宏宇 阅读(20) 评论(0) 推荐(0) 编辑
摘要: 用IKVMC将jar转成dll供c#调用 目录 前言 ikvmc介绍 ikvmc下载安装 下载并解压 设置环境变量 jar->dll 常用参数说明 具体操作 解决方案 前言 实习到现在所需要的工具类给的都是jar包,但是我需要在.net环境下去实现,如果重新下的话回合那麻烦,因此如果能将c#能够调用 阅读全文
posted @ 2021-07-23 01:44 宏宇 阅读(26) 评论(0) 推荐(0) 编辑