有效地存储（json, jl, relational database数据库应该怎样安排） 有效地判重（visiting the same page multiple times） 有效地信息抽取 (regex, css slector)
及时更新（预测这个网页多久会更新一次）