右介 - 博客园

2017年6月22日

摘要： #coding=utf-8 import os import pandas as pd import glob def hebing(): csv_list = glob.glob('*.csv') print(u'共发现%s个CSV文件'% len(csv_list)) print(u'正在处理............') for i in csv_list:... 阅读全文

posted @ 2017-06-22 11:30 右介阅读(16454) 评论(0) 推荐(0)

2017年6月9日

Python连接MySQL乱码（中文变问号）

摘要：连接参数里加上 charset='utf8' 阅读全文

posted @ 2017-06-09 10:49 右介阅读(2387) 评论(0) 推荐(0)

2017年6月8日

Shell实现循环执行curl向Solr导入json文件

摘要：把所有要上传的json文件放在一个文件夹里，在文件夹同一路径下创建这个.sh文件并执行。一个文件上传结束会自动执行下一个文件的上传命令。阅读全文

posted @ 2017-06-08 17:03 右介阅读(2878) 评论(0) 推荐(0)

Python 自用代码（拆分txt文件）

摘要：现有一个28G的txt文件，里面每一行是一个分词过的专利全文文档，一共370多万行。我需要把它按每五万行为单位做成一个json文件，格式大致如下： [{"id":"100000001","quanwen":"你好张梦"}，...] 其中每个quanwen中内容是每一行的文本。阅读全文

posted @ 2017-06-08 15:50 右介阅读(2811) 评论(0) 推荐(0)

shell报错：未预期的符号***附近有语法错误

摘要： 1、安装dos2unix（我的centos命令： yum install dos2unix）2、执行命令：dos2unix 文件名.sh 3、执行命令：bash -n 文件名.sh （检查语法错误）阅读全文

posted @ 2017-06-08 15:36 右介阅读(1765) 评论(0) 推荐(0)

2017年6月7日

使用curl向Solr导入json文件(Windows、Linux均可)

摘要： Linux环境下： 1、进入需要导入的文件所在路径 2、执行： curl "http://IP:8983/solr/目标集合名/update?commit=true" --data-binary @文件名.json -H "Content-type:application/json" Windows 阅读全文

posted @ 2017-06-07 17:14 右介阅读(1476) 评论(0) 推荐(0)

windows下curl报错:curl : (1) Protocol https not supported or disabled in libcurl

摘要：如果命令语句中有单引号，改为英文双引号试一下阅读全文

posted @ 2017-06-07 16:57 右介阅读(5263) 评论(0) 推荐(1)

Solr删除数据

摘要：步骤： 1、在Solr客户端左下方 Core Selector 中点选想要删除数据的索引库 2、点选Documents 3、右侧Document Type中点选XML 4、Document(s)中输入： 5、点击Submit Document 阅读全文

posted @ 2017-06-07 13:42 右介阅读(4103) 评论(0) 推荐(0)

Solr报错Index locked for write for core '***'. Solr now longer supports forceful unlocking via 'unlockOnStartup'

摘要： unlockOnStartup 告知 Solr 忽略在多线程环境中用来保护索引的锁定机制。在某些情况下，索引可能会由于不正确的关机或其他错误而一直处于锁定，这就妨碍了添加和更新。将其设置为 true 可以禁用启动锁定，进而允许进行添加和更新。进入solr-5.3.1/server/solr/被锁住阅读全文

posted @ 2017-06-07 10:40 右介阅读(1401) 评论(0) 推荐(0)

Solr json,xml等文件数据导入(添加索引)linux下操作

摘要：使用solr-5.3.1\example\exampledocs下的post.jar来完成数据导入 1、将想要导入的文件放在solr-5.3.1\example\exampledocs中，如aaa.xml， bbb.json 2、xml文件导入执行命令： java -Dport=solr端口号 -D 阅读全文

posted @ 2017-06-07 10:11 右介阅读(2036) 评论(0) 推荐(0)

右介

公告