Wikipedia Extractor处理维基百科数据

1. 下载维基百科数据：https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2

2. 去Github上下载Wikipedia Extractor，直接下载zip即可

3. 解压，进入目录可以看到有一个setup.py

　使用python setup.py install 进行安装

4. 安装后使用wikiextractor -b 3000M -o extracted\ zhwiki-latest-pages-articles.xml.bz2进行处理即可