[web crawler] url seen 访问 Domain Policy DB


在 HTML Processor的设计图中,为什么url seen component需要与Domain Policy DB 交互?这里使用双向箭头,比单向箭头多了什么功能吗?

URL Seen 需要知道多久时间范围内看过算作 Seen,很热门的网站这个范围会比较小。

这里没有特殊含义,改成单向也可以。

1赞