熟悉常用的HDFS操作

摘要: 编程实现以下指定功能,并利用Hadoop提供的Shell命令完成相同任务: 向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件; if $(hdfs dfs -test -e text.txt); then $(hdfs dfs -ap 阅读全文
posted @ 2018-04-25 20:46 嘻嘻嘻宸 阅读(232) 评论(0) 推荐(0) 编辑

数据结构化与保存

摘要: 1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) 3. 安装pandas,用pand 阅读全文
posted @ 2018-04-12 21:16 嘻嘻嘻宸 阅读(133) 评论(0) 推荐(0) 编辑

爬取校园网新闻首页的新闻

摘要: import requests from bs4 import BeautifulSoup url="http://news.gzcc.cn/html/xiaoyuanxinwen/" res=requests.get(url) res.encoding="utf-8" soup=Beautiful 阅读全文
posted @ 2018-04-03 18:04 嘻嘻嘻宸 阅读(163) 评论(0) 推荐(0) 编辑

字符串练习

摘要: 字符串练习: http://news.gzcc.cn/html/2017/xiaoyuanxinwen_1027/8443.html 取得校园新闻的编号 https://docs.python.org/3/library/turtle.html 产生python文档的网址 http://news.g 阅读全文
posted @ 2018-03-21 15:08 嘻嘻嘻宸 阅读(101) 评论(0) 推荐(0) 编辑

熟悉linux的基本操作

摘要: cd命令:切换目录 (1)切换到目录 /usr/local cd /usr/local (2)去到目前的上层目录 cd .. (3)回到自己的主文件夹 cd ~ ls命令:查看文件与目录 (4)查看目录/usr下所有的文件 ls -a /usr mkdir命令:新建新目录 (5)进入/tmp目录,创 阅读全文
posted @ 2018-03-14 15:32 嘻嘻嘻宸 阅读(857) 评论(0) 推荐(0) 编辑

1.大数据概述

摘要: 1.大数据时代,我们需要与胡乱的数据做斗争,当我们掌握了大量新型数据时,精确性就不那么重要了,不因为依赖精确性,我们同样可以掌握事情的发展趋势。思维方式的一个改变,不执着于对精确性的追求,拥抱混乱。另外一个思维方式的转变则是,更加重视相关关系,而不偏执于基于假设基础上对因果关系的追寻。 2.物联网产 阅读全文
posted @ 2018-03-07 14:46 嘻嘻嘻宸 阅读(121) 评论(0) 推荐(0) 编辑

词法

摘要: 程序→<程序外部声明>|<外部声明> 外部声明→<函数定义>|<内部声明> 函数定义→<类型>|<语句> 类型→VOID| CHAR| INT| FLOAT <声明符>--><指针直接声明符>|<直接声明符> <指针>-->’ * ’ | ’ * ’ <指针> 阅读全文
posted @ 2016-10-28 21:20 嘻嘻嘻宸 阅读(79) 评论(0) 推荐(0) 编辑

词法分析实验报告

摘要: #include <stdio.h> #include <string.h> #include <iostream.h> /*全局变量*/ char * chr_form[100]; int q=0,temp; char *word[6]={"begin","end","if","then","do 阅读全文
posted @ 2016-10-16 22:37 嘻嘻嘻宸 阅读(116) 评论(0) 推荐(0) 编辑

2016.9.9

摘要: 编译原理就是什么?编译原理就是介绍编译程序构造的一般原理和基本方法的课程 。编译原理及技术从本质上来讲就是一个算法问题而已。学习编译原理有什么好处?有利于提高软件人员的素质和能力,在编程时能够做出更加简便的程序。不学有什么损失?有很多复杂的问题可以通过编译原理中所教的算法简便快捷的解决,不学习编译原 阅读全文
posted @ 2016-09-09 19:06 嘻嘻嘻宸 阅读(97) 评论(0) 推荐(0) 编辑