数据处置。运用搜集爬虫东西从各别目的当局网站中搜集获得的网页是洪量且无序的，还应付本来施整治、分门别类、著录、编目、审定等数据处置操纵，实行消息的准则排序，使其完备升值的潜能，为后续的资源保存和考察运用奠定普通。开始，资源分门别类。按照搜集网页资源的特性，不妨依照根源组织、资源中心、方法典型平分类规范，将个中具备那种共通属性特性的网页资源举行归类和调整，创造典型一致的当局网站网页资源分门别类体制，经过各别类型的属性特性来对洪量的当局网页实质举行辨别。

       其次，编目著录。对分门别类后的网页资源还应鉴于一致的元数据规范对其实质及构造、根源、后台等特性举行揭穿和刻画，并在关系元数据之间创造接洽，产生当局网站网页资源目次体制，实行对洪量无序网页消息的序化构造。

       结果，审定整治。当局网页的审定整治重要囊括实质的辨别以及实质的可用性确定，个中实质的辨别即是保证实行当局网页长久可存取的元数据、生存战略等消息因素完备。实质的可用性确定即是经过人为干涉来对当局网页的产生后台、实质品质、要害水平等属性特性举行所有领会，并按照保存克日表对要存档的当局网页标志相映的审定标识。