[爬虫] 搜索 bfs vs dfs

[Boyang_Li]

请问 在设计爬虫的时候 bfs 和 dfs 的trade off 在哪？
如果要scalability 和多线程的话，请问应该怎么选择？

[logic]

在分布式和多线程的情况下，爬虫的实现上会选用类似 BFS 的爬取顺序，DFS 不够公平。所谓类似 BFS，是指我们还需要考虑爬取频率和爬取规则。