您的位置：关键词：网络机器人
这个方法有一些优点。人工建立索引的质量和自动更新的机制相结合。这种信息的集成远高于传统的“活动表” "hotlists"，仅仅维护本地的索引信息。因为这些信息是计算机可读的格式，查找接口能够提供额外的方法来约束查询。仅得到索引信息，这样网络费用就非常少。模型和索引文件的简单使得信息提供者能够立刻参与。
这种方法有一些劣势。手工维护索引信息给信息提供者带来了巨大的负担，但好在实际中主服务器的索引信息不需要频繁的改动。从TITLE和META标记生成索引的系统已经在实验中，但是这将需要一个本地机器人，并且索引的质量是令人担忧的。另一个限制是当前的信息提供商不得不将它的索引信息文件在一个中央登记处注册，这就限制了可伸缩性。最后是更新的效率没有优化，当索引文件中仅仅一个记录改变了，也要被整个获取。
ALIWEB从1993年10月使用至今，它的成绩已经受到赞扬。主要操作的困难在于对其缺乏了解；最初人们经常试图去注册他们的自己的HTML文件而不是IAFA索引文件。另一个问题是ALIWEB作为一个个人项目它是运行在分时基础上的并且没有收到任何资金，因此发展比较缓慢。
Harvest 是一个分布式的资源探索的系统由Internet Research Task Force Research Group on Resource Discovery (IRTF-RD)发行，并提供了一个自动索引文档内容的软件系统，高效率的复制并储存远程主机上的索引信息，最后通过一个接口来查询这些数据。最初对这个系统的反应是很肯定的。
Harvest的一个不利条件是它是一个大而复杂的系统需要相当可观的人力和计算资源，这个劣势使得它离那些信息提供者很远。
Harvest的使用为交互式的现存数据库形成一个普通的平台大概是最令人激动的方面。Harvest非常直接的为其它系统提供了和它交互工作的平台；试验证明ALIWEB能作为Harvest的一个代理程序。这个机制给了ALIWEB储存和查找Harvest的功能，并提供Harvest一个低费用的入口机制。
在资源探索方面这两个系统作为机器人的替代品是非常吸引人的：ALIWEB 提供一个简单而高级的索引, Harvest提供了使用低级信息进行全面的索引系统。然而，没有一个系统是针对第三方的，是消极的参与，为此机器人将被期望继续在这个目的而使用，除了和其它系统合作的场合例如像ALIWEB 和 Harvest那样。
结论
在今天的万维网上，机器人被用来实现许多不同的目标，包括全球资源的探索。在机器人的应用中有一些应用的基本原则的和伦理有关的问题。随着机器人的增长应用的问题和伦理有关的问题已经作为一种经验，但是有可能会继续导致一些偶然的问题。基本原则的问题限制了机器人的发展。其他方法如ALIWEB和Harvest非常有效率，并能给作者一个管理自己站点索引信息的平台。我们期望这样的系统将流行起来，并将和机器人交互式工作。然而在很长的一段时间里机器人在环球网上遍历探索资源将变得非常缓慢，昂贵，并且效率低下。
参考
Ø Berners-Lee, T., R. Cailliau, A. Loutonen, H.F.Nielsen and A. Secret. "The World-Wide Web". Communications of the ACM, v. 37, n. 8, August 1994, pp. 76-82.
Ø Seeley, Donn. "A tour of the worm". USENINX Association Winter Conference 1989 Proceedings, January 1989, pp. 287-304.
Ø Gray, M. "Growth of the World-Wide Web," Dec. 1993. <URL: http://www.mit.edu:8001/aft/sipb/user/mkgray/ht/web-growth.html >
Ø Fielding, R. "Maintaining Distributed Hypertext Infostructures: Welcome to MOMspider's Web". Proceedings of the First International World-Wide Web Conference, Geneva Switzerland, May 1994.
Ø Berners-Lee, T., D. Conolly at al., "HyperText Markup Language Spacification 2.0". Work in progress of the HTML working group of the IETF. <URL: ftp://nic.merit.edu/documents/internet-drafts/draft-ietf-html-spec-00.txt >
Ø Luotonen, A., K. Altis. "World-Wide Web Proxies". Proceedings of the First International World-Wide Web Conference, Geneva Switzerland, May 1994.
Ø Eichmann, D. "The RBSE Spider - Balancing Effective Search against Web Load". Proceedings of the First International World-Wide Web Conference, Geneva Switzerland, May 1994.
Ø Berners-Lee, T., R. Fielding, F. Nielsen. "HyperText Transfer Protocol". Work in progress of the HTTP working group of the IETF. <URL: ftp://nic.merit.edu/documents/internet-drafts/draft-fielding-http-spec-00.txt >
Ø Spero, S. "Analysis of HTTP Performance problems" July 1994 <URL: http://sunsite.unc.edu/mdma-release/http-prob.html >
Ø Spero, S. "Progress on HTTP-NG". <URL: http://info.cern.ch/hypertext/www/Protocols/HTTP-NG/http-ng-status.html >
Ø De Bra, P.M.E and R.D.J. Post. "Information Retrieval in the World-Wide Web: Making Client-based searching feasable". Proceedings of the First International World-Wide Web Conference, Geneva Switzerland, May 1994.
Ø Spetka, Scott. "The TkWWW Robot: Beyond Browsing". Proceedings of the Second International World-Wide Web Conference, Chicago United States, October 1994.
Ø Slade, R., "Risks of client search tools," RISKS-FORUM Digest, v. 16, n. 37, Weds 31 August 1994.
Ø Riechen, Doug. "Intelligent Agents". Communications of the ACM Vol. 37 No. 7, July 1994.
Ø Pinkerton, B., "Finding What PEople Want: Experiences with the WebCrawler," Proceedings of the Second International World-Wide Web Conference, Chicago United States, October 1994.
Ø Koster, M., "A Standard for Robot Exclusion," < URL: http://www.robotstxt.org/wc/exclusion.html >
Ø McBryan, A., "GENVL and WWWW: Tools for Taming the Web," Proceedings of the First International World-Wide Web Conference, Geneva Switzerland, May 1994.
Ø Kent, R.E., Neus, C., "Creating a Web Analysis and Visualization Environment," Proceedings of the Second International World-Wide Web Conference, Chicago United States, October 1994.
Ø Koster, Martijn. "Guidelines for Robot Writers". 1993. <URL: http://www.robotstxt.org/wc/guidelines.html >
Ø Eichmann, D., "Ethical Web Agents," "Proceedings of the Second International World-Wide Web Conference, Chicago United States, October 1994.
Ø Koster, Martijn. "WWW Robots, Wanderers and Spiders". <URL: http://www.robotstxt.org/wc/robots.html >
Ø Koster, Martijn, "ALIWEB - Archie-Like Indexing in the Web," Proceedings of the First International World-Wide Web Conference, Geneva Switzerland, May 1994.
Ø Bowman, Mic, Peter B. Danzig, Darren R. Hardy, Udi Manber and Michael F. Schwartz. "Harvest: Scalable, Customizable Discovery and Access System". Technical Report CU-CS-732-94, Department of Computer Science, University of Colorado, Boulder, July 1994. <URL: http://harvest.cs.colorado.edu/>
Ø Deutsch, P., A. Emtage, "Archie - An Electronic Directory Service for the Internet", Proc. Usenix Winter Conf., pp. 93-110, Jan 92.
Ø Deutsch, P., A. Emtage, M. Koster, and M. Stumpf. "Publishing Information on the Internet with Anonymous FTP". Work in progress of the Integrated Internet Information Retrieval working group. <URL: ftp://nic.merit.edu/documents/internet-drafts/draft-ietf-iiir-publishing-02.txt >