制止蛛蛛组织。有些网站对探求引擎不和睦, 遏制了蛛蛛匍匐和抓取网页, 这种情景被称为蛛蛛组织。罕见的蛛蛛组织重要有flash (即使要运用flash, 必需对首页和html本子之间加一个超链接。这个超链接要加在flash文献除外的html代码中, 有了这个超链接之后, 探求引擎才不妨抓取反面的html页面) 、session id的运用 (session id运用时, 用户历次考察网站城市天生一个独一的session id, 放在url的结果面, 那么同一个页面包车型的士url也将各别, 这种局面是不对理的, 所以倡导盯梢用户考察运用cookies包办session id) 、百般跳转 (探求引擎对除去301除外的跳转都很敏锐, 如302跳转、flash跳转、java script跳转、如运用跳转, 倡导运用探求引擎引荐的301跳转) 、框架构造 (frame) 的运用 (探求引擎没辙读取运用框架设计的网页html代码, 只能读取挪用该网页的html代码, 即使你还运用框架构造, 请赶快换掉) 、javascript链接 (有些网站为了实行所谓的酷炫功效, 运用javascript天生导航体例, 但探求引擎基础没辙抓取javascript里的笔墨, 倡导运用css (层叠款式表) 去实行网页酷炫功效) 。