ivywenyuan

摘要： 内存映射文件提供了Java有可能达到的最快IO操作，故高性能Java应用应使用“内存映射文件”来持久化数据，尤其是对于较大文件来说它确实比I/O流要快很多，但是小文件却未必。内存映射文件可以加载大文件，文件的size上限取决于操作系统（内存的可寻址范围）：32位，不能超过4GB，即2^32比特；64... 阅读全文

摘要： 1. java的文件锁对其他的操作系统进程是可见的，以内java的文件锁直接映射到了本地操作系统的加锁工具。 阅读全文

摘要： 倒排索引 inverted index，第一次接触是在elasticsearch里面，里面的索引就是用的这个，其实es也是使用的Lucene作底层，inverted index是Lucene的核心算法。网上说，“倒排索引”是实现单词到文档映射关系的最佳实现方式。为什么叫做倒排索引呢？其实我认为中文翻... 阅读全文

摘要： 关于elasticsearch的python client api其中有两个global options 其实就是global 参数，就是所有calls都能传入ignore和timeout 阅读全文

摘要： 大型互联网站解决海量数据的常见策略 阅读全文

摘要： 什么是“流”所谓流就是有产出数据能力的东东（学名就是“数据源”，“输入流”）或者接收数据的能力的东东（学名就是“数据接收端”，“输出流”，通信里面一般把这种东西叫“信宿”吧），一个文件可读，那么它就有产出数据的能力；一个文件可写，那么它就有接收数据的能力。java下的InputStream就是"输入... 阅读全文

摘要： http://lavasoft.blog.51cto.com/62575/15433/Class的对象实例其实是每一个JVM加载的类，Class是类的类！！！ 阅读全文

摘要： 关于python 的buildout反正呢，其功能之一就是，把所需模块都带上其他的作用再慢慢体会吧https://lxneng.com/posts/192 阅读全文

摘要： 今天向hive里面导入csv数据的时候遇到了一个问题：csv的文件格式是： 以逗号作为字段分割符，以换行符作为记录的间隔。但是有些字段当中（比如用户编辑的content的字段）的内容含有换行符，这会导致hive默认为此行的接下来的其他字段缺失，并且也会影响到下一条记录的读取。这应该如何解决呢？ 阅读全文

摘要： python 中的os.pathos.path.join(path1,path2) 将path1 与path2连接成为一个新的path__file__ 这个变量就直接是当前文件名，os.path.dirname(__file__)，就可以拿到当前文件的目录名了os.path.join(os.path... 阅读全文