超碰中文字幕在线_女人18毛片水真多18精品_色综合久久六月婷婷中文字幕_免费的av网站_国产视频久久久_精品久久久久久久久久久久久久久 _欧美最猛性xxxxx亚洲精品_欧美人妻一区二区_欧美美女激情18p_一区二区三区视频在线播放_欧美a视频在线观看_一区免费观看视频

    隨著社會(huì)信息的飛速增長,人們使用百度、Google、yisou、中搜等大型搜索引擎搜索最新的信息,成為一種必要和時(shí)尚,從而也使得搜索市場價(jià)值不斷增加,越來越多的公司開發(fā)自己的搜索引擎,如阿里巴巴的商機(jī)搜索、8848的購物搜索等也陸續(xù)面世,自然,搜索引擎技術(shù)也成為技術(shù)人員關(guān)注的熱點(diǎn).

    目前在中文搜索引擎領(lǐng)域,雖然中文和英文兩種語言自身的書寫方式不同,但國內(nèi)的搜索引擎已經(jīng)和國外的搜索引擎效果上相差不遠(yuǎn),這其中涉及的計(jì)算機(jī)技術(shù)就是中文分詞.

    一、 中文分詞和搜索引擎

    眾所周知,英文是以詞為單位的,詞和詞之間是靠空格隔開,而中文是以字為單位,句子中所有的字連起來才能描述一個(gè)意思.例如,英文句子I am a student,用中文則為:"我是一個(gè)學(xué)生".計(jì)算機(jī)可以很簡單通過空格知道student是一個(gè)單詞,但是不能很容易明白「學(xué)」、「生」兩個(gè)字合起來才表示一個(gè)詞.把中文的漢字序列切分成有意義的詞,就是中文分詞.

    對于搜索引擎來說,最重要的并不是找到所有結(jié)果,因?yàn)樵谏习賰|的網(wǎng)頁中找到所有結(jié)果沒有太多的意義,沒有人能看得完,最重要的是把最相關(guān)的結(jié)果排在最前面,這也稱為相關(guān)度排序.中文分詞的準(zhǔn)確與否,常常直接影響到對搜索結(jié)果的相關(guān)度排序.

    二、 中文分詞技術(shù)

    中文分詞技術(shù)屬于自然語言處理技術(shù)范疇,對于一句話,人可以通過自己的知識來明白哪些是詞,哪些不是詞,但如何讓計(jì)算機(jī)也能理解?其處理過程就是分詞算法. 現(xiàn)有的分詞算法可分為三大類:基于字符串匹配的分詞方法、基于理解的分詞方法和基于統(tǒng)計(jì)的分詞方法.

    、基于字符串匹配的分詞方法,這種方法又叫做機(jī)械分詞方法,它是按照一定的策略將待分析的漢字串與一個(gè)「充分大的」機(jī)器詞典中的詞條進(jìn)行配,若在詞典中找到某個(gè)字符串,則匹配成功(識別出一個(gè)詞).

    常用的幾種機(jī)械分詞方法如下: 正向最大匹配法(由左到右的方向); 逆向最大匹配法(由右到左的方向); 最少切分(使每一句中切出的詞數(shù)最小). 還可以將上述各種方法相互組合,例如,可以將正向最大匹配方法和逆向最大匹配方法結(jié)合起來構(gòu)成雙向匹配法.由于漢語單字成詞的特點(diǎn),正向最小匹配和逆向最小匹配一般很少使用.一般說來,逆向匹配的切分精度略高于正向匹配,遇到的歧義現(xiàn)象也較少.統(tǒng)計(jì)結(jié)果表明,單純使用正向最大匹配的錯(cuò)誤率為1/169,單純使用逆向最大匹配的錯(cuò)誤率為1/245.但這種精度還遠(yuǎn)遠(yuǎn)不能滿足實(shí)際的需要.實(shí)際使用的分詞系統(tǒng),都是把機(jī)械分詞作為一種初分手段,還需通過利用各種其它的語言信息來進(jìn)一步提高切分的準(zhǔn)確率.一種方法是改進(jìn)掃描方式,稱為特征掃描或標(biāo)志切分,優(yōu)先在待分析字符串中識別和切分出一些帶有明顯特征的詞,以這些詞作為斷點(diǎn),可將原字符串分為較小的串再來進(jìn)機(jī)械分詞,從而減少匹配的錯(cuò)誤率.另一種方法是將分詞和詞類標(biāo)注結(jié)合起來,利用豐富的詞類信息對分詞決策提供幫助,并且在標(biāo)注過程中又反過來對分詞結(jié)果進(jìn)行檢驗(yàn)、調(diào)整,從而極大地提高切分的準(zhǔn)確率. 對于機(jī)械分詞方法,可以建立一個(gè)一般的模型,在這方面有專業(yè)的學(xué)術(shù)論文,這里不做詳細(xì)論述.

    、基于理解的分詞方法,這種分詞方法是通過讓計(jì)算機(jī)模擬人對句子的理解,達(dá)到識別詞的效果.其基本思想就是在分詞的同時(shí)進(jìn)行句法、語義分析,利用句法信息和語義信息來處理歧義現(xiàn)象.它通常包括三個(gè)部分:分詞子系統(tǒng)、句法語義子系統(tǒng)、總控部分.在總控部分的協(xié)調(diào)下,分詞子系統(tǒng)可以獲得有關(guān)詞、句子等的句法和語義信息來對分詞歧義進(jìn)行判斷,即它模擬了人對句子的理解過程.這種分詞方法需要使用大量的語言知識和信息.由于漢語語言知識的籠統(tǒng)、復(fù)雜性,難以將各種語言信息組織成機(jī)器可直接讀取的形式,因此目前基于理解的分詞系統(tǒng)還處在試驗(yàn)階段.

    、基于統(tǒng)計(jì)的分詞方法,從形式上看,詞是穩(wěn)定的字的組合,因此在上下文中,相鄰的字同時(shí)出現(xiàn)的次數(shù)越多,就越有可能構(gòu)成一個(gè)詞.因此字與字相鄰共現(xiàn)的頻率或概率能夠較好的反映成詞的可信度.可以對語料中相鄰共現(xiàn)的各個(gè)字的組合的頻度進(jìn)行統(tǒng)計(jì),計(jì)算它們的互現(xiàn)信息.定義兩個(gè)字的互現(xiàn)信息,計(jì)算兩個(gè)漢字X、Y的相鄰共現(xiàn)概率.互現(xiàn)信息體現(xiàn)了漢字之間結(jié)合關(guān)系的緊密程度.當(dāng)緊密程度高于某一個(gè)閾值時(shí),便可認(rèn)為此字組可能構(gòu)成了一個(gè)詞.這種方法只需對語料中的字組頻度進(jìn)行統(tǒng)計(jì),不需要切分詞典,因而又叫做無詞典分詞法或統(tǒng)計(jì)取詞方法.但這種方法也有一定的局限性,會(huì)經(jīng)常抽出一些共現(xiàn)頻度高、但并不是詞的常用字組,例如「這一」、「之一」、「有的」、「我的」、「許多的」等,并且對常用詞的識別精度差,時(shí)空開銷大.實(shí)際應(yīng)用的統(tǒng)計(jì)分詞系統(tǒng)都要使用一部基本的分詞詞典(常用詞詞典)進(jìn)行串匹配分詞,同時(shí)使用統(tǒng)計(jì)方法識別一些新的詞,即將串頻統(tǒng)計(jì)和串匹配結(jié)合起來,既發(fā)揮匹配分詞切分速度快、效率高的特點(diǎn),又利用了無詞典分詞結(jié)合上下文識別生詞、自動(dòng)消除歧義的優(yōu)點(diǎn).

    到底哪種分詞算法的準(zhǔn)確度更高,目前并無定論.對于任何一個(gè)成熟的分詞系統(tǒng)來說,不可能單獨(dú)依靠某一種算法來實(shí)現(xiàn),都需要綜合不同的算法.據(jù)了解,海量科技的分詞算法就采用「復(fù)方分詞法」,所謂復(fù)方,相當(dāng)于用中藥中的復(fù)方概念,即用不同的藥才綜合起來去醫(yī)治疾病,同樣,對于中文詞的識別,需要多種算法來處理不同的問題.

    三、 分詞中的難題

    有了成熟的分詞算法,不一定就能容易的解決中文分詞的問題.中文是一種十分復(fù)雜的語言,讓計(jì)算機(jī)理解中文語言更是困難.在中文分詞過程中,有兩大難題一直沒有完全突破.

    一是歧義識別. 歧義是指同樣的一句話,可能有兩種或者更多的切分方法.例如:表面的,因?yàn)椤副砻妗购汀该娴摹苟际窃~,那么這個(gè)短語就可以分成「表面 的」和「表 面的」.這種稱為交叉歧義.像這種交叉歧義十分常見,前面舉的「和服」的例子,其實(shí)就是因?yàn)榻徊嫫缌x引起的錯(cuò)誤.「化妝和服裝」可以分成「化妝 和 服裝」或者「化妝 和服 裝」.由于沒有人的知識去理解,計(jì)算機(jī)很難知道到底哪個(gè)方案正確. 交叉歧義相對組合歧義來說是還算比較容易處理,組合歧義就必需根據(jù)整個(gè)句子來判斷了.例如,在句子「這個(gè)門把手壞了」中,「把手」是個(gè)詞,但在句子「請把手拿開」中,「把手」就不是一個(gè)詞;在句子「將軍任命了一名中將」中,「中將」是個(gè)詞,但在句子「產(chǎn)量三年中將增長兩倍」中,「中將」就不再是詞.這些詞計(jì)算機(jī)又如何去識別? 如果交叉歧義和組合歧義計(jì)算機(jī)都能解決的話,在歧義中還有一個(gè)難題,是真歧義.真歧義意思是給出一句話,由人去判斷也不知道哪個(gè)應(yīng)該是詞,哪個(gè)應(yīng)該不是詞.例如:「乒乓球拍賣完了」,可以切分成「乒乓 球拍 賣 完 了」、也可切分成「乒乓球 拍賣 完 了」,如果沒有上下文其他的句子,恐怕誰也不知道「拍賣」在這里算不算一個(gè)詞.

    二是新詞識別. 新詞,專業(yè)術(shù)語稱為未登錄詞.也就是那些在字典中都沒有收錄過,但又確實(shí)能稱為詞的那些詞.最典型的是人名,人可以很容易理解句子「王軍虎去廣州了」中,「王軍虎」是個(gè)詞,因?yàn)槭且粋€(gè)人的名字,但要是讓計(jì)算機(jī)去識別就困難了.如果把「王軍虎」做為一個(gè)詞收錄到字典中去,全世界有那么多名字,而且每時(shí)每刻都有新增的人名,收錄這些人名本身就是一項(xiàng)巨大的工程.即使這項(xiàng)工作可以完成,還是會(huì)存在問題,例如:在句子「王軍虎頭虎腦的」中,「王軍虎」還能不能算詞? 新詞中除了人名以外,還有機(jī)構(gòu)名、地名、產(chǎn)品名、商標(biāo)名、簡稱、省略語等都是很難處理的問題,而且這些又正好是人們經(jīng)常使用的詞,因此對于搜索引擎來說,分詞系統(tǒng)中的新詞識別十分重要.目前新詞識別準(zhǔn)確率已經(jīng)成為評價(jià)一個(gè)分詞系統(tǒng)好壞的重要標(biāo)志之一.