摘要:
在目前云播放网站很多的情况下,他们是如何来进行视频播放的呢,这次主要介绍如何从迅雷服务器上获取相关的视频地址的抓取问题,
当然我们自己在本地播放器上也可以直接在线播放了,不用到外找网站进行播放时又不能拖动的问题,
阅读全文
摘要:
当数据库数据增加到8G大小的时候,如何对程序和数据库进行优化分析调试,最后优化速度提升的问题进行分析记录一下.
数据库优化目标1.避免磁盘I/O瓶颈、2.减少CPU利用率3.减少资源竞争。
1.初期数据库设计上比较充分的考虑到数据库每张表的大小问题,所以表切分的问题目前不存在,需要考虑其它因素.
2.网上大部分介绍需要建立索引,如何建立对的索引很重要,以查询的字段最好设置为主键值,因为涉汲到大量的查询;
3.有时候问题并不是都是程序的问题,需要考虑的问题很多,比如数据库,服务器内存,CPU等都需要考虑.
4.如果对很多字段进行比对的字段进行优化呢?比如需要比较时间和其它字段信息? 希望大家指导下此表是否有优化的余地,在此表示感谢
阅读全文
摘要:
服务器在抓取和处理同时进行,所以访问速度慢是有些的,特别是搜索速度通过SQL的like来查询慢,正在通过分词改进中。。
DHT抓取程序开源地址:https://github.com/h31h31/H31DHTDEMO
数据处理程序开源地址:https://github.com/h31h31/H31DHTMgr
目前在数据库数量从量的增加到100多万条数据时,数据库的查询插入就会面临着比较慢的问题,下面就个人在整个设计过程中的方法与大家交流学习下。
个人目前采用的方法有: 阅读全文
摘要:
回应大家的要求,特地整理了一开始自己整合的代码,这样最简单,最直接的可以分析DHT网络的操作流程,对于抓取程序有更多的了解。
希望大家更多的加入进来,
DHT抓取程序开源地址:https://github.com/h31h31/H31DHTDEMO 阅读全文
摘要:
之前分享过DHT磁链接种子文件的下载方法,但下载种子文件的时候失败很多,比如返回:Timeouts are not supported on this stream.
The remote server returned an error: (404) Not Found.
The operation has timed out.这篇文章就此分析如何解决这些BUG访问..... 阅读全文
摘要:
本文主要介绍DHT的实现方法和步骤,园子里的朋友希望授大家以渔,希望大家更多的加入进来.
昨天通过向大家介绍DHT的工作原理,相信大家大概明白怎么回事,不明白的朋友可以继续分享接下来的文章.
本文章借鉴的代码是C++版本的:transmission里面的DHT代码.
阅读全文
摘要:
先说下运行方法:
1)有固定IP的朋友可以试试H31DHT.exe数据抓取程序,会获取一些数据,如果>2小时还没有数据返回,直接说明不是固定IP的返回数据很少;
2)直接从http://torrage.com/sync下载几个文本文件回来,放到程序目录下,H31DHTMgr程序会自动遍历这个文件夹取HASH文件,
存储到数据库中,如果将此网站的200多万数据(个人估计的)全部下载成功,那也可以搜索很多内容了.
大家可能问目前的程序采用什么方法下载BT种子的比较关心,下面就自己的体会给大家说说:
DHT磁力种子其实就是20字节的HASH值,这个值可以直接从很多网站下载种子,举例子说明:
比如说上一篇文件中有那么多HASH值的字符串 阅读全文