一个大数据处理问题,还没想好最终解决方法
问题:几个亿的MYSQL数据记录,已经进行拆库拆表,字段也已经尽量使用最少的,只有几个,现在搜索和插入,删除慢,问解办法?
2011/4/9更新
把整个架构都改掉了
前端:nginx
WEB:nginx
后端多台:php fastcgi
搜索查找 用sphinx解决 ,通过一个独立的从MYSQL服务器做索引
插入删除采用队列进行多台 Tokyo 进行HASH 分布式存储
CACHE仍然用MEMCACHE
问题:几个亿的MYSQL数据记录,已经进行拆库拆表,字段也已经尽量使用最少的,只有几个,现在搜索和插入,删除慢,问解办法?
2011/4/9更新
把整个架构都改掉了
前端:nginx
WEB:nginx
后端多台:php fastcgi
搜索查找 用sphinx解决 ,通过一个独立的从MYSQL服务器做索引
插入删除采用队列进行多台 Tokyo 进行HASH 分布式存储
CACHE仍然用MEMCACHE