使用消息系统的优势。并介绍了Kafka的架构，Producer消息路由，Consumer Group以及由其实现的不同消息分发方式，Topic & Partition，最后介绍了Kafka Consumer为何使用pull模式以及Kafka提供的三种delivery guarantee。

我所理解的Scrapy去重模块。
直接上源码。

今天的面试题；

如何保证RabbitMQ消息99%的发送成功；
看了就能懂!

记录一次aws ES2安装的ss的故障

解决多次提交合并问题

目的就一个⛰️将这一个功能所有commit都合并为一条有意义的commit信息提交给主版本；

原文

两千零七年发表的论文《Detecting Near-Duplicates for Web Crawling》中提到的一种指纹生成算法又或者叫指纹提取算法，被Google广泛应用于亿级的网页去重job，其主要思想就是降维，什么是降维呢！简单来说就是“通过多条信息确定一件事，变成一条信息确定一件事”，Simhash算法就能来做这件事儿!

我们的文章去重也需要这个东西，所以研究了一下，直接展示代码

阵列、树和哈希

二维阵列是最简单的数据结构。一个表可以看作是个阵列，

虽然这个方法保存和视觉话数据很棒，但是当你要查找特定的值它就很糟糕。
会造成N次运算，虽然还行的，但是还有更快的方法呢

你好，写给未来的自己，现在下定决心把自我学习、工作以及其他等等遇到的问题做总结。希望可以共勉。首先呢，因为啥我要写这博客？这段时间对我打击很大，找工作不顺利自我认识不全面总总原因总之就是以往过的太顺。我对未来“前途一片光明”，知道这些就够了。加油⛽️