[Crawler] 数据库的选择

@Ivan 提问

课程中提到Web Page Crawl History Table是可以用SQL或者wide column,想请问下对于常见的SQL和Non SQL 数据库,类似在上周录播课中提到的My SQL, MongoDB, cassandra, 他们对于QPI有什么要求么?比如说网路爬虫设计的QP要求I很高, 我们是否还可以用My SQL?

你是说 QPS?
高 QPS 的应用可以使用分布式的 MySQL 的,这个在实践中是有检验的,虽然 MySQL 读写性能会比 NoSQL 差一些,但提供更好的 Consistency 保证,有的时候是值得的。
在这个题目的情景下,没有高 Consistency 要求,所以两者都可以。一定要对比的话,Wide Column 可能更合适一点。