摘要：因公司业务需要，对原来在/usr/local/MySQL/data目录下的数据迁移到/data/local/mysql/mysqlData。 原因是系统盘太小，只有20G，几下就快满了。 参考过几篇文章，基于大神们的思路，我封装成了.sh脚本。 步骤如下： 1） 先修改好/etc/my.cnf, #
阅读全文
posted @ 2017-05-27 22:22
随笔分类 - mysql大数据处理
1
摘要：公司新上线一个资讯网站，独立主机，raid5，lamp架构。由于资讯网是面向小行业，初步估计一两年内访问量压力不大，故，在做服务器系统搭建的时候，只是简单分出一个独立的data区作为数据库和网站程序的专区，其他按照linux的默认分区。apache，mysql，php均使用yum安装（也尝试过独立编
阅读全文
posted @ 2017-05-27 22:17
摘要：一 背景 某一创业的朋友的主机因为磁盘阵列损坏机器crash,重启MySQL服务时 报如下错误: InnoDB: Reading tablespace information from the .ibd files... InnoDB: Restoring possible half-written
阅读全文
posted @ 2017-05-27 22:10
摘要：这篇文章花了Inside君整整3个晚上的时间，码了3000多字，可谓满满的诚意之作，献给最有品味的你们。然由于微信公众账号对于技术博文的支持并不是很友好。 MySQL 5.7并行复制时代 众所周知，MySQL的复制延迟是一直被诟病的问题之一，然而在Inside君之前的两篇博客中（1，2）中都已经提到
阅读全文
posted @ 2017-04-01 17:03
摘要：一、MySQL数据库主从同步延迟 要了解MySQL数据库主从同步延迟原理，我们先从MySQL的数据库主从复制原理说起： MySQL的主从复制都是单线程的操作，主库对所有DDL和DML产生的日志写进binlog，由于binlog是顺序写，所以效率很高。 Slave的IO Thread线程从主库中bin
阅读全文
posted @ 2017-04-01 17:02
摘要：今天在 Linux 系统上移动 MySQL 的数据库目录 配置如下: /etc/my.cnf [mysqld]datadir=/home/mysqlsocket=/var/lib/mysql/mysql.sock 更改完配置文件重启MYSQL的时候出现的以下问题 110222 11:15:07 my
阅读全文
posted @ 2017-03-26 15:24
摘要：匹配模式 有如下可选的匹配模式： SPH_MATCH_ALL, 匹配所有查询词(默认模式); SPH_MATCH_ANY, 匹配查询词中的任意一个; SPH_MATCH_PHRASE, 将整个查询看作一个词组，要求按顺序完整匹配; SPH_MATCH_BOOLEAN, 将查询看作一个布尔表达式 SP
阅读全文
posted @ 2016-12-08 20:03
摘要：//参数筛选 //筛选cat_id=2 $cl->SetFilter("cat_id",array(2)); //仅在id为1、3、7的子论坛中搜索 $cl->SetFilter("forum_id",array(1,3,7)); //范围筛选 //筛选发布时间为今天,参数为int时间戳 $cl->
阅读全文
posted @ 2016-12-08 14:45
摘要：摘要: 1、配置主服务器 2、配置从服务器 3、主从服务器状态查看及问题处理 <!-- 正文 --> MySQL的主从同步架构是当前比较流行的一种数据库架构，利用MySQL的主从配置，可以实现读写分离，减轻主数据库的访问压力，提升网站性能。MySQL的主从服务器的基本原理如下： 大致描述一下过程：从
阅读全文
posted @ 2016-11-28 00:04
摘要：即建立新的Slave的方法 前面已经在文章“简单配置MySQL复制”中配置Slave时，没有说明复制从哪里开始，所以Slave是从头开始读取Master的binlog日志的。 但如果Master已经运行一段时间，要重现之前所有日志的事件，而且日志可能已经丢失或转储。所以我们一种通用的做法是--不从头
阅读全文
posted @ 2016-11-28 00:03
摘要：coreseek/api目录下提供了PHP的接口文件 sphinxapi.php，这个文件包含一个SphinxClient的类 在PHP引入这个文件，new一下 $result是一个数组，其中 total是匹配到的数据总数量 matches是匹配的数据，包含id，attrs这些信息 words是搜索
阅读全文
posted @ 2016-11-17 11:52
摘要：各种字符参数统一为utf8 SET character_set_client = utf8 ; SET character_set_connection = utf8 ; SET character_set_database = utf8 ; SET character_set_results =
阅读全文
posted @ 2016-08-15 23:21
摘要：1、把innodb_flush_log_at_trx_commit这个参数改为0 2、interactive_timeout = 120 3、wait_timeout = 120 4、max_allowed_packet = 32M
阅读全文
posted @ 2016-08-07 23:24
摘要：复制从库主要步骤： 可以看到，从主库复制会有段时间锁表，这段时间会影响主库的使用。如果我们能直接从从库进行复制，就不会对主库产生影响了。但是，从从库复制要保证的是复制过程中从库上的数据不会发生变化，所以要先停掉从库。 1.停止从库: mysql> stop slave; 2.看当前从库的状态。和前面
阅读全文
posted @ 2016-08-02 23:59
摘要：## Sphinx configuration file sample # 斯芬克斯样例配置文件 # # WARNING! While this sample file mentions all available options, # it contains (very) short helper
阅读全文
posted @ 2016-07-26 00:13
摘要：社工库的规模越来越大，MSSQL的查询速度已经不够用了，改用全文检索，目前效果不错，全库在650G左右，索引160G，全文检索响应时间在5秒以内。 主要参考了The Web Of Answers的一个搭建帖子，具体链接找不到了，做了很多修改和改进，便于添加新库。 给出一些配置信息，有兴趣的同学可以留
阅读全文
posted @ 2016-07-25 02:26
摘要：## 数据源src1 source src1 { ## 说明数据源的类型。数据源的类型可以是：mysql，pgsql，mssql，xmlpipe，odbc，python ## 有人会奇怪，python是一种语言怎么可以成为数据源呢？ ## python作为一种语言，可以操作任意其他的数据来源来获取数
阅读全文
posted @ 2016-07-25 01:00
摘要：（1）高速建立索引：建索引速度达到单核10-15mb/s; （2）高速查询：100万记录（约1.2GB数据）下，单核每秒支持约200次搜索; （3）高扩展性：已知最大索引簇支持对30亿条记录建立索引，每天单个连接5千万次搜索; （4）强大附属功能：支持分布式搜索，中文分词引擎，c/java/pyth
阅读全文
posted @ 2016-07-25 00:26
摘要：不管是网站还是app很多产品的设计思路和产品功能多多少少都有相似之处，那么这边主要讲以下几个场景 描述、话题的搜索 主要的实现思路是全量索引＋增量索引方式，可设定时任务定点跑索引 用户昵称的搜索 主要是实现思路是实时索引＋分布式索引的方式，用户由于过多，故使用实时索引的方法进行增加，旧数据通过跑脚本
阅读全文
posted @ 2016-07-25 00:18
1
浙公网安备 33010602011771号