yyyyyyyyyyyyyyyyyyyy

摘要： 在webmagic的多线程抓取中有一个比较麻烦的问题：当Scheduler拿不到url的 时候，不能立即退出，需要等到没抓完的线程都运行完毕，没有新url产生时，才能退出。之前使用Thread.sleep来实现，当拿不到url 时，sleep一段时间再取，确定没有线程执行之后，再退出。但是这种方式始... 阅读全文

摘要： 1、CRC8、CRC16、CRC32CRC（Cyclic Redundancy Check，循环冗余校验）算法出现时间较长，应用也十分广泛，尤其是通讯领域，现在应用最多的就是 CRC32 算法，它产生一个4字节（32位）的校验值，一般是以8位十六进制数，如FA 12 CD 45等。CRC算法的优点在... 阅读全文

摘要： SHA-512 (这些有时候也被称做 SHA-2)。简介　SHA 家族SHA (Secure Hash Algorithm，译作安全散列算法) 是美国国家安全局 (NSA) 设计，美国国家标准与技术研究院 (NIST) 发布的一系列密码散列函数。正式名称为 SHA 的家族第一个成员发布于 1993年... 阅读全文

摘要： 非对称加密算法需要两个密钥：公开密钥（publickey）和私有密钥（privatekey）。公开密钥与私有密钥是一对，如果用公开密钥对数据进行加密，只有用对应的私有密钥才能解密；如果用私有密钥对数据进行加密，那么只有用对应的公开密钥才能解密。因为加密和解密使用的是两个不同的密钥。 非对称加密与对... 阅读全文

摘要： 3个著名加密算法(MD5、RSA、DES)的解析 MD5的全称是Message-Digest Algorithm 5，在90年代初由MIT的计算机科学实验室和RSA Data Security Inc发明，经MD2、MD3和MD4发展而来。 MD5将任意长度的“字节串”变换成一个128bit的大整数... 阅读全文