摘要: 夏泽网链接 阅读全文
posted @ 2019-09-27 13:49 wangmeihong 阅读(243) 评论(0) 推荐(0) 编辑
摘要: 在我们开发中通过虚拟域名来访问一个指定的项目确实很方便,接下来教大家如何通过手动的方式去配置虚拟域名(已apache服务器为例) 一、首页我们得找到host文件、windows下这个文件在c盘中WINDOWS\system32\drivers\etc\hosts中 加入如下内容: 127.0.0.1 阅读全文
posted @ 2017-12-13 09:46 wangmeihong 阅读(1340) 评论(0) 推荐(0) 编辑
摘要: wampserver的localhost下点击项目,url不对 找到wamp 的www 目录下的index.php 文件打开后 找到399行这里 $handle=opendir("."); $projectContents = ''; while (($file = readdir($handle) 阅读全文
posted @ 2017-12-11 10:43 wangmeihong 阅读(1074) 评论(0) 推荐(1) 编辑
摘要: 官网的demo: 使用MAP和REDUCE关键字是SELECT TRANSFORM关键字的别名,下面的等价代码阅读跟清洗一点: MAP中,SELECT TRANSFORM() 等价于 关键字MAP REDUCE中, SELECT TRANSFORM() 等价于 关键字 REDUCE ; CLUSTE 阅读全文
posted @ 2017-11-22 09:31 wangmeihong 阅读(1100) 评论(0) 推荐(0) 编辑
摘要: Apache Avro: Avro是Hadoop中的一个子项目,也是Apache中一个独立的项目,Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的Client端与服务端的数据传输也采用了这个工具,Avro可以做到将数据进行序列化 阅读全文
posted @ 2017-11-22 09:18 wangmeihong 阅读(502) 评论(0) 推荐(0) 编辑
摘要: 第一种 spark-shell ,根据官网的example 统计词频: 第一步: shell中新建一个脚本: vi wordCount.sh ; 第二步: 编写脚本: 几点注意 : 第一,spark集群下core和momery都需要分配和释放,因此,调试程序时,建议master 用 local模式 阅读全文
posted @ 2017-11-15 16:40 wangmeihong 阅读(1170) 评论(0) 推荐(0) 编辑
摘要: vmware提供4种模式: 1. 桥接模式(直接连接物理网络) 2. NAT模式(用于共享主机的IP地址) 3. 仅主机模式(与主机共享的专用网络) 4. 自定义模式(特定虚拟网络) 如果自己的电脑在公网上,第一种方式即可。只是我的笔记本在单位的局域网内运行,所以需要价格IP地址设置在同一个网段才行 阅读全文
posted @ 2017-11-13 11:13 wangmeihong 阅读(294) 评论(0) 推荐(0) 编辑
摘要: 前提: 安装好mysql ,新建数据库hive,新建用户hive:hive ,并且允许远程登录和访问 开始: <?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="co 阅读全文
posted @ 2017-11-10 13:39 wangmeihong 阅读(239) 评论(0) 推荐(0) 编辑
摘要: scala> val textFile = sc.textFile("file:///home/hadoop/mooc_data/wc.txt")scala> val counts = textFile.flatMap(line => line.split(" ")).map(word => (wo 阅读全文
posted @ 2017-11-09 15:42 wangmeihong 阅读(1403) 评论(0) 推荐(0) 编辑
摘要: 今天在IDEA中使用Maven和Scala新建项目,没有自动产生src ,而且一直显示在下载文件,百度了一下,应该是国内的网速限制了到Maven的访问。 第一种解决方案: 在创建项目的这一步时,加一句下面的参数 name: archetypeCatalogvallue: internal 如图(懒得 阅读全文
posted @ 2017-11-08 18:01 wangmeihong 阅读(5242) 评论(0) 推荐(0) 编辑