- 老师上课的时候讲到consistent hashing botnet crawler with replication 解决了c&c server负载过大的问题，但我觉得前三种做法其实也是可以让crawler之间去forward url而c&c server只需要负责store各个bucket在哪个机器的信息然后是不是把这个信息给crawler更新就好。
你说的办法比前三种设计要好，解决了一部分 c&c server 负载的问题。但是跟 consistent hashing 这个方案还是有区别。consistency hashing 用的是 hash 来决定，然后 c&c server 存一个 hash range 跟 node 的对应关系的 source of truth。当需要 forward traffic 的时候，每个 node 是根据它所知的 hash range 分布来 forward 信息。如果这个信息 forward 到不对的 node 了，那么这个 node 会根据它知道的来 forward，并告诉最初发消息的 node 怎么更新它的 hash range 对应表。
这种情况是非常 decentralized。c&c server 正常运行下基本不需要介入。只有在 node 加入和离开的时候才发挥作用。
1 个赞