复合数据类型，英文词频统计

作业来自于 https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753

1.列表，元组，字典，集合分别如何增删改查及遍历。

列表的增删改查

list = ['张三', 66, 'jack']
# 按索引号插入元素
list.insert(0,'王一')
print(list)
# 增加到最后
list.append(78)
print(list)
list1 = [999]
# 可以与其它list合并
list.extend(list1)
print(list)
# 按索引查找
print(list[0])
# 删掉最后一个元素
list.pop()
print(list)
# 按索引删除
list.pop(0)
print(list)
# 按切片删除
del list[0:2]
print(list)
# 按元素删除
list.remove(78)
print(list)
# 删除整个列表
list = ['张三', 66, 'jack']
# 改变第一个元素
list[0] = '李四'
print(list)
list.clear()
print(list)
# 遍历
for i in list:
    print(i)

运行结果：

 

元组的增删改查

tuple = ('张三', 66, 'jack')
# 按索引查找
print(tuple[0])
# 遍历
for i in tuple:
    print(i)

运行结果

 

集合的增删改查

list = ['张三', 66, 'jack']
set = set(list)
# 增加一个元素，位置随机
set.add('李四')
print("add('李四'):" + set.__str__())
# 按元素删除
set.remove(66)
print('remove(66):' + set.__str__())
# 删除并返回任意set元素。
set.pop()
print('pop():' + set.__str__())
# 删除整个集合
set.clear()
print('clear():' + set.__str__())
# 遍历
for i in set:
    print(i)

运行结果

字典的增删改查

age_dict = {'李四': 15, 'jack': 17, '王五': 20, '刘一':17}
# 按照key来取item的value
print(age_dict['刘一'])
# 修改value
age_dict['刘一'] = 50
print(age_dict['刘一'])
# 整个字典
print(age_dict.items())
# 字典所有的value
print(age_dict.values())
# 字典所有的key
print(age_dict.keys())
# 按key删除一个item 并返回被删除item的value
print(age_dict.pop('李四'))
print(age_dict)
# 根据key得到value的值
print(age_dict.get('jack'))
# 删除字典最后一个item
age_dict.popitem()
print(age_dict)
# z设置一个item添加到dict后面，不提供第二个参数则key默认为None
age_dict.setdefault('nacy', 5)
print(age_dict)
age_dict.setdefault('tom')
print(age_dict)
new_dict = {'陈': 15}
age_dict.update(new_dict)
# 把字典dict2(new_dict)的键/值对更新到dict(age_dict)里。
print(age_dict)
# 删除整个dict
age_dict.clear()
print(age_dict)

运行结果

2.总结列表，元组，字典，集合的联系与区别。参考以下几个方面：

（1）括号

list的括号为[],tuple的括号为(),set的括号为{},dict的括号为{}。

（2）有序无序

list与tuple是有序的，set与dict是无序的.

（3）可变不可变

list的元素是可变的，tuple、set的元素是不可变的，dict的key必须是不可变对象。

（4）重复不可重复

list、tuple的元素可重复，set、dict的元素不可重复。

（5）存储与查找方式

dict与list相比

　　1）查找和插入的速度极快，不会随着key的增加而变慢；

　　2）需要占用大量的内存，内存浪费多。

list与dict相比

　　1）查找和插入的时间随着元素的增加而增加；

　　2）占用空间小，浪费内存很少。

tuple与list类似，可以直接用索引取元素，存储的方式类似数组，set与dict类似，用key查找元素，存储利用哈希算法，每一个key都可以用hash算法算得一个唯一的值，然后把key存储进这个值指定的内存空间。

3.词频统计

• 1.下载一长篇小说，存成utf-8编码的文本文件 file

  2.通过文件读取字符串 str

  3.对文本进行预处理

  4.分解提取单词 list

  5.单词计数字典 set , dict

  6.按词频排序 list.sort(key=lambda),turple

  7.排除语法型词汇，代词、冠词、连词等无语义词

  • 自定义停用词表
  • 或用stops.txt

       8.输出TOP(20)

• 9.可视化：词云

 排序好的单词列表word保存成csv文件

import pandas as pd
pd.DataFrame(data=word).to_csv('big.csv',encoding='utf-8')

线上工具生成词云：
https://wordart.com/create 

 代码

import pandas as pd
# 读取小说
with open(r'./Sophies World.txt', 'r', encoding='utf8') as f:
    book = f.read()
booksymbol = [" '", "'", ' "', '"', '""', '\n', '\t', '？', '?', '!', "！", ',', '，', '.', '。']
# # 去掉一些不必要的标点符号
for i in booksymbol:
    book = book.replace(i, '')
# 把所有转小写 以空格分隔开
book = book.lower().split()
# # 读取停用词
with open(r'./stops.txt', 'r', encoding='utf8') as f:
    stops = f.read()
#  整理停用词格式，去掉回车和单双引号
stopsymbol = [" '", "'", ' "', '"', '\n']
for i in stopsymbol:
    stops = stops.replace(i, '')
# 以逗号分隔
stops = stops.split(',')
worddict = {}
# 去掉停用词
wordset = set(book) - set(stops)
# 计算词频
for i in wordset:
    worddict[i] = book.count(i)
# 让其变成可排序的list
wordcount = list(worddict.items())
# 把value作为排序的对象
wordcount.sort(key = lambda x:x[1], reverse = True)
# Top20生成csv文件
pd.DataFrame(data=wordcount[0:20]).to_csv('big.csv',encoding='utf-8')

运行结果

作业博客要求：

• 文字作业要求言简意骇，用自己的话说明清楚。
• 编码作业要求放上代码，加好注释，并附上运行结果截图。