您现在的位置:网站首页答辩论文论文专题

基于agent的元搜索引擎结果优化设计

  • 简介:专业学位硕士学位论文基于个性化元搜索引擎结果优化设计Results Optimizes Of Meta-search Engine Based on Personalizing作 者 姓 名: 学科、专业 : 学 号 : 指 导 教 师: 完 成 日 期: 大连理工大学Dalian Universi......
    • 请与管理员联系购买资料 QQ:5739126
  • 论文简介
  • 相关论文
  • 论文下载
[页数] 59     [字数] 31193

[目录]
摘   要 I
Abstract II
1 绪  论 1
2 搜索引擎概述 4
3 元搜索引擎系统的实现技术 12
4 基于个性化的元搜索引擎系统的设计 23
5 元搜索引擎的实验分析 36
结  论 46
参考文献 47
致  谢 50
大连理工大学学位论文版权使用授权书 51

[原文]
1 绪  论
1.1课题研究的背景
随着Internet以及相关技术的发展和成熟,人们已经进入了信息量极大丰富的时代。自从1991的Internet诞生以来,它已经发展成为拥有约上亿用户和几千万个站点、十几亿个网页的巨大分布式信息空间,而且这数字仍以每四个月— 第六个月翻一番的速度迅猛增长。据Internet Archive 搜集,1996年以来的Web内容就达到四十亿个页面,容量达到40TB。由Internet Domain Survey统计,从1996年到2001年,Internet上的主机数量从两千万增长到一亿四千万。Internet作为一个信息平台在人们的生活和工作中发挥越来越重要的作用,人们越来越多地通过Internet获取信息。然而在信息极大丰富的同时,用户也面临着信息过载和资源迷向的问题[1]。Internet上的信息过于庞杂,而且具有不稳定和变动快的特点,没有也不可能有一个权威机构能对这些信息进行全面的整理和归类,因此,往往用户面对五花八门、扑面而来的各种信息显得无所适从,不知道如何去获取自己需要的内容。如何在浩瀚如海的信息空间里,快速查找并获取所需的信息已成为信息时代最根本的问题之一。
因为网络搜索引擎在网络信息资源检索中起到重要的作用,它可以帮助用户从数以亿计的网络信息库中找到自己所需要的信息。搜索引擎是Internet上的一种在线服务方式[2],是一种用于帮助用户查询网络信息的检索工具。它以一定的策略在互联网中搜集、发现信息,对信息进行理解、提取、组织和处理,然后为用户提供检索服务,从而起到了信息导航的目的。
然而,任何一个搜索引擎都不可能100%覆盖网上信息资源,即使一些著名品牌的搜索引擎的信息覆盖率也很少有超过45%;同时,不同搜索引擎的检索结果的重复率仅仅在30%左右。因而一个搜索引擎通常不能找到用户需要的所有信息,用户在进行检索时需要在多个搜索引擎之间进行切换,在多个检索结果列表之中挑选对自己有用的内容[3,4]。另外网络用户对搜索引擎不满意的地方还集中在搜索速度慢、无效太多,重复或不相关的信息较多,搜索结果不具有个性化不能因人而异的问题上。出于以上原因,一个能集成不同搜索引擎检索结果非常适合于中国人使用的个性化的检索工具——智能元搜索引擎出现了[5,6]......

[摘要]
随着社会的不断发展,Internet的不断成长,信息越来越成为经济、科技等各个领域赖以发展的重要资源。再加上网络住处的爆炸性增长,人们在网上要想找到自己所需要的信息的难度越来越大。1994年前后, Lycos、Yahoo!等大批搜索引擎相继涌现,发展到现在,搜索引擎已成为上网用户最经常使用的网络服务之一。如果想得到全面、准确的搜索结果,必须同时使用多个搜索引擎,在这样的背景下产生了元搜索引擎。元搜索引擎的出现,在一定程度上解决了这些问题。
如何使元搜索引擎更加个性化是将来元搜索引擎的发展方向之一,目前的元搜索引擎中在这方面的工作做的很少。我们认为如何智能地选择成员搜索引擎和如何对返回结果进行去重排序是使元搜索引擎系统更加个性化的关键技术。
在如何选择元搜索引擎的成员搜索引擎的问题上,我们对比了现有的成员搜索引擎的选择方法,由于目前这种方法使用的用户反馈过程不严格,很可能导致对于有用成员搜索引擎的错误判断,因此,需要对其进行改进,本文改进并提出了一种基于用户反馈的多元索引自动优化选择成员搜索引擎的调度算法。
在对不同搜索引擎返回结果的排序上,采用了一种基于概率的排序方法。这种排序方法在综合考虑各成员搜索引擎相关度时,需要解决相关度的规范化和均衡化问题。另外各个成员搜索引擎的比率值相加这一点又综合考虑了各个搜索引擎所起的作用,实现了相关度的均衡化,从而客观地反映了文件的真实相关度,是一种较好的排序方法。
由于不同用户的文化教育和知识背景不同,因而对同一事物有不同方面的要求,所以本系统用户建立个人兴趣模型,通过了解用户兴趣之所在,并以此为依据对元搜索引擎的检索结果进行过滤、合成和排序,经过优化处理后的检索结果必然能够更好地满足人们的需求。本文通过建立用户兴趣模型,使用兴趣生成算法、兴趣更新算法、搜索结果过滤算法,以及如何利用兴趣模型对元搜索引擎的检索结果进行优化处理。
最后,结合实际情况设计实现了一个实验系统,并给出了实验系统统一的检索界面及搜索结果页面效果图,通过对实验结果的分析,进一步强调了研究元搜索引擎系统的意义。

[参考文献]
[1] Bohdan O. Search Engine Technologies for the World Wide Web and Intranets.Computer Technology Corp, 1999.
[2] 陈树年,李青华.近几年来我国对搜索引擎的研究. 现代图书情报技术,2000,6:57-59.
[3] Selberg E, Etzioni O. Multi-Engine Search And Comparision Using The MetaCrawler. In:Proc.of the Fouth World Wide Web Conference’95, Boston USA. Dec.1995.
[4] Pinkerton B. Finding What People Want: Experiences with the WebCrawler. In: Second Intl. WWW Conf. 94, July 1994, Chicago,USA, Oct.1994. http://info.webcrawler.Com/bp/www94.html.
[5] 王亭,赵轶群,秦耕. WebLight—一个集文档管理的综合搜索引擎.计算机应用研究,2000, 1:87-90.
[6] 李广建,黄昆.元搜索引擎及其主要技术.情报科学,2002,20(2):175,176,178.
[7] 张军,陈益君.搜索引擎的功能及其局限性探讨.情报科学,2001, 19(5): 529,530.
[8] 李志义.搜索引擎发展中的问题与对策.情报科学, 2002, 20(5):556-558.
[9] Chang C H, et al. Customizable Multi Engine Search Tool with Clustering. Sixth International World Wide Web Conference. Available at:Http://www6.nttlabs.com/ hypernews/get/paper53.html.
[10] Steve L, et al. the NECI meta search engine, In:Seventh Intl.World Wide Web Conf. Brisbane, Australia, Elsevier Science.
[11] Repman J, Carlson R D. Surviving the Storm: Using Metasearch Engines Effectively. Computers in Libraries, 1999-05:50-55.
[12] 张俭恭, 陈定权, 吴振新. 关于搜索引擎与元搜索引擎的讨论. 现代图书情报技术, 2002, 2.
[13] Antony Pranata ,http://antonypr.pair.com.
[14] 丁峰,马范援.基于Z39.50的分布式WWW信息检索.计算机工程,第27卷第2期.47-19.
[15] 宋聚平,王永成,滕伟等.搜索引擎中Robot搜索算法的优化. 情报学报,2002,21(2).
[16] 陈新明,钟涛,万钧等.WWW搜索引擎的数据采集技术.计算机工程与应用,2002, 7.
[17] 张汛来.搜索引擎的设计剖析.计算机工程与科学,2002,24(4): 18-20.
[18] Dell Zhang, Yisheng Dong. An efficient algorithm to rank the Web source.computer     Networks,  2000,  33: 445-449.
[19] http://www.searchenginewatch.com.webmasters/rank.html史忠植.智能主体及其应用.             北京:科学出版社,2000.
[20] Weifeng zhang,Bawen Xu,Hong and W.Uian C.Chu.Agenetic.Algorithm.Based Goneral.Search Engine.Proceedingsof 1EEE MSE.2000.
[21] Aslam J.MontagueM.Models for metasearch[A].Proc of the 24th ACM.SIGIR.cof on Research and Development on Information Reterieal[C] 2001,276-284.
[22] 董慧,丁波涛,余传明,网络信息资源开发与利用.武汉大学出版社.2001,320-324.
[23] 李广建.元搜索引擎及其主要技术.情报科学.2002,Vol.20,NO 2:175-179.
[24] 李广建,黄昆.元搜索引擎及其主要技术.情报科学,2002,20(2).
[25] Notess,G.R.Internet “onesearch”with the Meta Search Engines.Oneline,1996.
[26] 宛玲,杨秀丹,杜晓静.试析中文搜索引擎的评价标准. 情报科学,2000,18(1):30-31.
[27] 张卫丰,徐宝文,周晓宇等.元搜索引擎研究. 计算机科学,2001,28(8):36-41.
[28] 张卫丰,徐宝文,周晓宇等.Web搜索引擎综述. 计算机科学,2001,28(9):28.
[29] 张卫丰,徐宝文,周晓宇等.元搜索引擎结果生成技术研究,小型微型计算机系统,2003,24(1).
[30] 万纬网  http://wwww.widewaysearch.com [2005-06-12].
[31] 搜星网  http://wwww.soseen.com    [2005-06-12].
[32] http://wwww.dopoile.com    [2005-06-12].
[33] http://wwww.metacrawler.com    [2005-06-14].
[34] http://wwww.mama.com    [2005-06-14].
[35] wwww.search.com    [2005-06-15].
[36] wwww.vivisimo.com    [2005-06-15].
[37] 彭喜化.基于Agent的元搜索引擎结果优化研究.计算机科学与应用,2004-05. 
[38] Chen L,Sycara K.WebMate:A Personal Agent for Browsing and Searching.URL:  http://www.cs.cmu.edu/~softagents/webmate/aa98webmate.ps.
[39] Nwana H S. Software Agengs: An Overview. In The Knowledge Engineering Review, 1996, 11(3): 205-244.
[40] 肖诗源,叶俊,刘贤德.一种基于Agent的分布式搜索引擎.计算机工程,2002,28(7):38,39
[41] 李益.Internet信息检索系统概述.计算机科学与技术,2004-02.
[42] 徐亚先.搜索引擎功能概述与研究热点.情报科学,2001,19(3):269,271.
[43]W.Meng.K.Liu,C.Yu,W.Wu,and N.Rishe.Estimating the Usefulness of Search Engines. ICDE.1999.
[44]W.Meng.C.Yu and K.Liu.Building Effective and Efficient Metasearch. Engines.Submitted to ACMComputing Surveys.
[45]K.LIU.W.Meng.and C.Yu Discovery of Similarity Computations of SearchEngines.
[46] 李广建,黄永文.基于WWW的全文检索系统设计与实现. 现代图书情报技术,2002,(2):26-27.
[47] 黄于蓝,王洪,徐端颐等.多元搜索引擎系统的设计与实现.计算机工程与应用.2001,(23): 154-157.
[48] Bohdan O. Search Engine Technologies for the World Wide Web and Intranets. Computer Technology Corp,1999.
[49] 黄于蓝,王洪,徐端颐等.多元搜索引擎系统的设计与实现.计算机工程与应用.2001,(23): 154-157.
[50] Lawrence S,Giles C L.Context and Page Analysis for Improved Web Search.IEEE Internet Computing,1998,7:38-45.
[51] 朱俊卿.搜索引擎Google研究.现代图书情报技术,2002,(1):45-47.
[52] 谭琼,李晓黎,史忠植.一种实现搜索引擎个性化服务的方法.计算机科学,2002,29(1):23-25.
[53] 朱华.中文搜索引擎结构初探.情报科学,2001,19(11):1210,1211.
[54] 王如海,刘建设. Agent技术与模糊信息.电脑与信息技术,1999,(6): 62-64.
[55] 符绍宏,黄昆. 搜索引擎技术与服务的研究及启示,情报学报,2000,19(6): 628-636.
[56] 王芳,张晓林.元搜索引擎:原理与利用.现代图书情报技术,1998,6.
[57] Weiyimeng,Clement Yu,King-lup Liu.Buiding Efficient and Effective Metasearch Engines. ACM computing Surveys (to appear), 1-11.
[58] 唐春生,金以慧.基于代理机制的Internet信息自动提取.计算机工程与应用,2001,37(10): 38-41.
[59] Danidl D D. Integrating Heterogeneous WWW Search Engines. May 1995. Ftp: 132.239.54.5/savvy/report.ps.gz.
[60] Jennings N R, Wooldrige M J. Agent Technology, Foundations, Appliations, and Markwets. Springer, 1998.
[61] 刘丽,孙燕唐.智能型元搜索引擎的设计与实现.计算机工程,2003,29(6):118-120.



[原文截取]
专业学位硕士学位论文
基于个性化元搜索引擎结果优化设计
Results Optimizes Of Meta-search Engine
Based on Personalizing
作 者 姓 名:
学科、专业 :
学 号 :
指 导 教 师:
完 成 日 期:
大连理工大学
Dalian University of Technology
独创性说明
作者郑重声明:本硕士学位论文是我个人在导师指导下进行的研究工作及取得研究成果。尽我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写的研究成果,也不包含为获得大连理工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。
作者签名: 日期:
摘 要
随着社会的不断发展,Internet的不断成长,信息越来越成为经济、科技等各个领域赖以发展的重要资源。再加上网络住处的爆炸性增长,人们在网上要想找到自己所需要的信息的难度越来越大。1994年前后, Lycos、Yahoo!等大批搜索引擎相继涌现,发展到现在,搜索引擎已成为上网用户最经常使用的.....
查看评论 已有0位网友发表了看法
  • 验证码: