黑客版crawler

[eclipse]

1. consistent hashing里面为什么能解决机器间数据交流太多的问题？
   只是把之前c&c server和机器之间的communication变成普通机器之间的communication而已，总共的数据交流应该没有变少把
2. consistent hasing 那个做法用node of next bucket做replicaton，所以等效于相邻两个node组成一个super node吗？

[logic]

1. 解决的不是降低总的数据交流而是任意两台机器之间的交流量，这样可以避免被发现。
2. 不等效，next node 做 replication 只是数据上的备份，next node 仍然处理它自己的 hash range 里的 Request

[roger]

在这里我还有点问题：

在consistent hash ring 中节点A,B,C涂了三种颜色，每个节点都有三个，这个有什么特殊的含义吗？

Suer node 中 相当于3个 node 同时爬取，存在在leader 和 follow的关系。能不能理解成一个 url range list被三个worker同时爬取？

[logic]

@roger

在consistent hash ring 中节点A,B,C涂了三种颜色，每个节点都有三个，这个有什么特殊的含义吗？

颜色没有什么含义，就是说明一共有三台不同的机器。

@roger

Suer node 中 相当于3个 node 同时爬取，存在在leader 和 follow的关系。能不能理解成一个 url range list被三个worker同时爬取？

可以的