----------- ------------------------------ ------------------------------ -
一、动态网站的出现和优势
最早互联网出现时，站点内容都是以HTML静态页面形 式存放在服务器上，访问者浏览到的页面都是这些实际存在的静态页 面。随着技术的发展，特别是数据库和脚本技术PERL、ASP、 PHP和JSP的发展，越来越多的站点都开始采取动态的页面发布 手段。比如，我们在GOOGLE.COM上搜索一个内容，得到的 搜索结果页面文件"本身"在GOOGLE服务器上并不存在，而是 通过程序在我们输入搜索内容时调用后台数据库实时生成的，也就是 说，这些结果页面是动态的。
静态页面的站 点只涉及文件的传输问题，而动态站点则复杂得多，用户和站点之间 出现大量的交互，网站不再仅仅是内容的发布，而是成为了一种"应 用（Application）"，是软件业向互联网上的扩张，从 软件的角度看，动态站点是逻辑应用层和数据层的分离，数据库负责 站点数据的存储管理，而ASP、PHP、JSP等负责处理站点的 逻辑应用。这样做的好处除了增加很多交互功能外，更重要的是站点 的维护、更新和升级都方便了许多。可以说，没有动态网站技术，目 前互联网上的这些超大型站点就不可能出现。
二、搜索引擎抓取动态网站页面时面临的问题
从用户的角度看，动态网站非常不错，丰富了站点的功能，但是 对于搜索引擎来说，情况就不同了。（关于搜索引擎和分类目录的区 别，以及搜索引擎的工作原理，请? "了解搜索引擎"http://www.ema rketer.cn/em/expert/45.htm ）
根本的问题在于"输入"和"选择"，动 态页面是在用户"输入内容"或者进行"选择"时动态生成的，但是 搜索引擎的"搜索机器人"无法"输入"和"选择"。比如我们要在 当当书店站点查看冯英健的《网络营销基础与实践》一书，介绍页面 是动态生成的，URL地址是：http://www.dangdang. com/product_detail/product_det ail.asp?product_id=493698< BR>这里在"？"后面的product_id参数值需要我们输 入的，"搜索机器人"可以通过链接找到http ://www.dangdang.com/product_de tail/product_detail.asp 页面 ，但是它无法输入"？"后面的product_id参数值，从而 无法抓取这个页面文件。
另外，对于通过链 接达到这种带"？"的页面，技术上搜索引擎可以抓取，但是一般情 况下搜索引擎选择不去抓取，这是为了避免一种叫"搜索机器人陷阱 （spider traps）"的脚本错误，这种错误会让搜索机 器人进行无限循环的抓取，无法退出而浪费时间。
三、动态网站的搜索引擎策略
动态网 站要被搜索引擎抓取，可以采用内容发布系统软件将动态站点转化成 静态页面，这种办法对于页面发布后变动少的站点比较合适，比如一 些新闻类的站点（如新浪的新闻中心：http://n ews.sina.com.cn/ ）。
< P> 一般的动态网站可以通过下面的办法让搜索引擎抓取：首先，我们要让动态页面的URL地址中没有"？"，让动态页 面看上去象"静态页面"。看看下面这个页面ht tp://www.amazon.com/exec/obido s/tg/detail/-/043935806X/ ，这明显是一个动态页面，但是URL地址看上去却象"静态页面" 。针对不同的动态技术可以采用下面技术实现：
·对于采用ASP技术的动态页面Exception Dig ital公司提供一种工具叫着XQASP（http://www.xde .net/products/product_xqasp.ht m ）可以将"？"替换为"/"。
·对于采 用ColdFusion技术的站点，需要重新配置服务器上的Co ldFusion，用"/"代替"？"将参数传输到URL，更详 细的信息请见http://coldfusion.com / 站点。
·对于使用Apache服务器的 站点，可以使用rewrite模块将带参数的URL地址转换成搜 索引擎支持的形式，该模块mod_rewrite在Apache 服务器中不是缺省安装的，详细的信息请见http://http d.apache.org/docs/mod/mod_rewr ite.html 。
对于其他的 动态技术也能找到对应的方法改变URL的形式。
然后，要创建一些静态页面指向这些动态页面（以改变过的U RL链接）。
前面说过，搜索引擎机器人并不会自己"输入 "参数，所以要让上面这些动态页面被搜索引擎抓取，我们还需要告 诉机器人这些页面的地址（也就是参数）。我们可以创建一些静态的 页面，一般在网络营销中称? "gateway page"（入 口页面），这些页面上有大量指向这些动态页面的链接。
将这些入口页面的地址提交到搜索引擎，这些页面和链 接的动态页面（改变过URL形式）就能都被搜索引擎抓取了。
四、搜索引擎对动态网站支持的改进
在我们调整动态站点适应搜索引擎的同时，搜索引擎也 在发展。到目前为止，绝大多数的搜索引擎还不支持动态页面的抓取 ，但是GOOGLE、HOTBOT等和国内的百度开始尝试抓取动 态网站页面（包括? "？"的页面），这就是我们现在在这些搜索 引擎进行搜索时，结果中出现动态链接的原因。
这些搜索引擎抓取动态页面时，为了避免"搜索机器人陷阱"， 都只抓取从静态页面（至少"看上去"是静态的页面）链接到的动态 页面，而从动态页面链接出的动态页面都不再抓取。
< P> 所以一个动态站点如果只针对上面这些搜索引擎，可以在上 面小节介绍方法的基础上简化：只用创建一些入口页面，链接很多动 态页面，然后将这些入口页面递交到这些搜索引擎就可以了。
对于直接使用动态的URL地址，请注意：
·文件URL中不要有Session Id，同时不要用I D作为参数名称（特别是对于GOOGLE）；
·参数 越少越好，尽量不要超过2个；
·能在URL中不用参 数尽量不要用，一些参数转移到其他地方，这样可以增加动态页面被 抓取的深度和数目。
