SQL Server 全文搜索功能、全文索引方式介紹
SQL Server 的全文搜索(Full-Text Search)是基于分詞的文本檢索功能,依賴于全文索引。全文索引不同于傳統的平衡樹(B-Tree)索引和列存儲索引,它是由數據表構成的,稱作倒轉索引(Invert Index),存儲分詞和行的唯一鍵的映射關系。...
SQL Server 的全文搜索(Full-Text Search)是基于分詞的文本檢索功能,依賴于全文索引。全文索引不同于傳統的平衡樹(B-Tree)索引和列存儲索引,它是由數據表構成的,稱作倒轉索引(Invert Index),存儲分詞和行的唯一鍵的映射關系。倒轉索引是在創建全文索引或更新全文索引時,由SQL Server自動創建和維護的。
全文索引主要包含三種分析器:分詞器(word Breaker)、詞干分析器(stemmer)和同義詞分析器。全文索引中存儲的數據是分詞及其位置等信息,分詞是基于特定語言的語法規則,按照特定的符號尋找詞語的邊界,把文本分解為“單詞”,每一個單詞叫做一個分詞(term);全文索引有時會提取分詞的詞干,把詞干的多種派生形式存儲為單一詞干,這個過程叫做提取詞干;根據用戶提供的自定義同義詞列表,把相關的單詞轉換為同義詞,這個過程叫做提取同義詞。
生成全文索引是把用戶表中的文本數據進行分詞(Word breaker)和提取詞干(Stemmer),并轉換同義詞(Thesaurus),過濾掉分詞中的停用詞(Stopword),最后把處理之后的數據存儲到全文索引中。把數據存儲到全文數據的過程叫做填充(Populate)或爬蟲(Crawl)進程,全文索引的更新方式可以手動填充,自動填充,或增量填充。
一、創建全文目錄和唯一索引
創建全文索引之前,必須創建全文目錄(Full-Text Catalog),全文目錄用于組織全文索引,是全文索引的容器。每一個全文索引必須屬于一個全文目錄。全文目錄是個邏輯結構,跟數據庫的架構(Schema)相同,根據全文索引的存儲位置無關。?
create
fulltext catalog catalog_test
as
default
;
為了創建全文索引,基礎表上必須存在一個唯一的(unique)、單列的(single-column)、非空的(non-nullable)的索引,全文引擎使用該索引把基礎表上的每行數據映射唯一索引鍵上,倒轉索引存儲的就是該索引鍵和分詞之間的映射關系。?
create
unique
index
uidx_dbLogID
on
[dbo].[DatabaseLog]
([DatabaseLogID]);
二、創建全文索引
每個表只能創建一個全文索引,創建全文索引時,必須考慮全文索引存儲的文件組,全文索引關聯的停用詞列表,全文索引的更新方式,以及跟文本關聯的語言,全文索引列必須是文本字段,例如:?
create
fulltext
index
on
[dbo].[DatabaseLog]
(
[tsql] language 1033
)
key
index
ui_dbLogID
on
(catalog_test,filegroup [
primary
])
with
(change_tracking=
off
,
no
population ,stoplist=system);
1、語言(language)
選項 language 是可選的,用于指定列級別的語言,該選項的值可以是語言的名稱或LCID,如果沒有指定language選項,那么使用SQL Server實例的默認語言。從系統視圖 sys.fulltext_languages (Transact-SQL)中查看系統支持的語言及其對應的LCID 和名稱。
2、全文目錄(fulltext_catalog)
選項fulltext_catalog_name 用于指定全文索引的分組,
3、文件組(filegroup)
選項 filegroup filegroup_name 用于指定全文索引存儲的文件組,如果沒有指定文件組,那么全文索引和基礎表存儲在相同的文件組中。由于更新全文索引是IO密集型操作,因此,為了更快的更新全文索引,最好把全文索引存儲在不同于基礎表的的物理硬盤或文件組上,以達到最大的IO并發。
4、填充全文索引的方式
和普通的索引相同,當基礎表數據更新時,全文索引必須自動更新,這是系統默認的行為,也可以配置手動更新全文索引,或者間隔特定的時間點自動更新全文索引。
選項CHANGE_TRACKING 用于指定跟全文索引列相關的數據更新(Update,Delete,或Insert)是否需要同步到全文索引,
•CHANGE_TRACKING = MANUAL :手動更新
•CHANGE_TRACKING =AUTO:自動更新,默認設置,當基礎表數據變化時,全文索引自動更新,
•CHANGE_TRACKING =OFF , NO POPULATION:不更新,指定選項NO POPULATION,表明在創建全文索引之后,SQL Server不會更新(populate)全文索引;如果未指定選項NO POPULATION,在創建全文索引之后,SQL Server更新全文索引。
5、停用詞(STOPLIST)
停用詞(StopWord)也稱作噪音詞,每一個全文索引都會關聯一個停用詞列表,默認情況下,全文索引關聯的是系統停用詞(system stoplist)。全文引擎把停用詞從分詞中刪除,使全文索引不會包含停用詞。?
STOPLIST [ = ] {
OFF
| SYSTEM | stoplist_name }
三、填充全文索引
填充全文索引也叫做爬蟲(crawl)進程,或填充(Population)進程。由于創建或填充全文索引會消耗大量的系統(IO、內存)資源,因此盡量選擇在系統空閑時對全文索引進行填充。在創建全文索引時,通過指定選項 CHANGE_TRACKING= MANUAL,或 CHANGE_TRACKING= OFF, NO POPULATION,新建的全文索引不會立即填充,用戶可以選擇在系統空閑時,使用 alter fulltext index 語句執行填充操作。只有填充全文索引之后,全文索引才包含基礎表的分詞數據。?
alter
fulltext
index
on
table_name
start {
full
| incremental |
update
} population;
更新全文索引有三種方式:
1、FULL POPULATION:全部填充,從基礎表中獲取每一行,重新編入全文索引;
2、INCREMENTAL POPULATION:增量填充,前提是基礎表中包含timestamp字段,從上一次填充之后,只把更新之后的數據編入全文索引;
3、UPDATE POPULATION:更新填充,從上一次填充之后執行更新(insert、update、或delete)操作的數據行重新編入索引;
在創建全文索引時,如果指定CHANGE_TRACKING=AUTO 或 CHANGE_TRACKING= OFF , 那么新建的全文索引會立即開始填充進程。
四、使用 contains 謂詞查詢全文索引
如果想要在查詢中使用全文索引,通常使用CONTAINS謂詞來調用全文索引,實現比LIKE關鍵字更復雜的文本匹配查詢,而LIKE關鍵字是模糊匹配,不會調用全文索引。
例如,利用contains謂詞執行單個分詞的完全匹配查詢:?
select
[tsql]
from
[dbo].[DatabaseLog]
where
contains
([tsql],
'searchword'
, language 1033);
全文查詢跟Like相比,速度更快,支持的搜索功能更復雜,使用contains謂詞,不僅能夠執行分詞的完全匹配或分詞的前綴匹配查詢,還能夠執行基于詞根的查詢,基于自定義同義詞的查詢,基于距離和順序的相鄰分詞查詢。但是,和Like 相比,contains謂詞不能進行后綴匹配查詢。
contains謂詞返回的結果是布爾值,如果全文索引列中包含指定的關鍵字或查找模式(pattern),返回TRUE;否則,返回FALSE。
contains謂詞支持word查詢和短語查詢,word是指單個分詞,短語(phrase)是由多個word和間隔的空格組成的,對于短語,必須使用雙引號,將多個word組成一個短語。
1、邏輯組合查詢
使用and ,and not, 或 or 邏輯運算符 匹配多個word 或 多個phrase?
CONTAINS
(
Name
,
'"Mountain" OR "Road" '
)
CONTAINS
(
Name
,
' Mountain OR Road '
)
2、前綴查詢
使用contains謂詞進行前綴匹配,和like 'prefix%'功能相同,只不過contains謂詞使用“*”作為通配符,“*”匹配0,1或多個字符,前綴匹配的寫法是:'"prefix*"',全文索引只能執行前綴匹配。?
CONTAINS
(
Name
,
' "Chain*" '
)
CONTAINS
(
Name
,
'"chain*" OR "full*"'
)
3,查詢同義詞(thesaurus)或詞干(stemmer)
Stemmer(詞干),例如,根據語法規程,英語的動詞 根據數(單數,復數),人稱,時態的不同而存在不同的變化形式,這些單詞都是同源的。?
CONTAINS
(Description,
' FORMSOF (INFLECTIONAL, ride) '
)
THESAURUS (同義詞),需要導入XML進行配置,SQL Server 提供一個默認的Thesaurus file,是Empty的。如果在Thesaurus file 配置“Author”,“Writer”,“journalist” 是同義詞,在使用fulltext index查詢時,只要滿足任意一個同義詞,都匹配成功。?
CONTAINS
(Description,
' FORMSOF (THESAURUS, author) '
)
4、距離查詢
使用 near 函數,查詢匹配相鄰分詞的數據行,near函數的定義如下,用于需要在查詢模式中指定距離查詢的查詢模式:?
NEAR ( ( { <simple_term> | <prefix_term> } [ ,…n ] ) [, <maximum_distance> ] [, <match_order> ] )
例如:使用Near 函數指定相鄰分詞的距離和匹配順序,near((term1,term2,term3),5)表示任意兩個term之間的距離不能超過5, near((term1,term2,term3),5,true),表示任意兩個term的距離不能超過5,并且按照 term1,term2,term3的順序存在于字符串中。?
--regardless of the intervening distance and regardless of order
CONTAINS
(column_name,
'NEAR(term1,"term3 term4")'
)
--searches for "AA" and "BB", in either order, within a maximum distance of five
CONTAINS
(column_name,
'NEAR((AA,BB),5)'
)
--in the specified order with regardless of the distance
CONTAINS
(column_name,
'NEAR ((Monday, Tuesday, Wednesday), MAX, TRUE)'
)
對于 near((term1,term2,term3),5,true),term1 和 term5之間最多存在5個term,不包括內部的搜索分詞,“term2”,例如:?
CONTAINS
(column_name,
'NEAR((AA,BB,CC),5)'
)
這個查詢會匹配下面的文本,注意,內部的搜索分詞CC沒有計算距離:?
BB one two CC three four five AA
例如,在原文本中,分詞bike和control的最大距離不能超過10,分詞bike必須出現在分詞control的前面:?
CONTAINS
(Comments ,
'NEAR((bike,control), 10, TRUE)'
)
SQL Server提供的全文搜索功能,比LIKE關鍵字豐富,具備初級的全文搜索功能,速度快,維護簡單,缺點是,全文搜索功能非常有限,在實際的開發中,可以配合開源的全文搜索引擎,例如,Solr,Elasticsearch等來開發功能更強大的全文搜索功能。
總結
以上所述是小編給大家介紹的SQL Server 全文搜索功能介紹,希望對大家有所幫助。
關于SQL Serve數據庫r帳號被禁用的處理方法
若發現SQL Serve所有帳號不小心被禁用了,這個時候怎么辦?用重裝嗎?不用,仔細看小白是怎么一步一步解開這個謎題的。首先需要Windows帳號設置里重新添加一個新帳號。并將其添加到...
SQL數據庫查詢優化技巧提升網站訪問速度的方法
在這篇文章中,我將介紹如何識別導致性能出現問題的查詢,如何找出它們的問題所在,以及快速修復這些問題和其他加快查詢速度的方法。 你一定知道,一個快速訪問的網站能讓用...
SQL數據庫開發中的SSIS 延遲驗證方法
驗證是一個事件,該事件在Package執行時,第一個被觸發,驗證能夠避免SSIS引擎執行一個有異常的Package或Task。延遲驗證(DelayValidation)是把驗證操作延遲到Package真正運行(run-ti...
SQL Server數據庫建立新用戶及關聯數據庫的方法教程
本文講的是SQLserver數據庫創建新用戶方法以及賦予此用戶特定權限的方法,非常的簡單實用,有需要的小伙伴可以參考下...
蘋果公布2019第一財季財報:iPhone表現不好 其他業務增長積極
1月30日消息,蘋果公司今日公布2019財年第一財季(即2018自然年第四季度)業績。財報顯示,蘋果在第一財季收營收843.1億美元,高于分析師預期的839.7億美元,比去年同期的882.93億美元下滑5%。凈利潤為199.65億美元,比去年同期的200.65億美元下滑0.5%。...
12306對第三方搶票軟件實施限制 平臺:可正常搶票 未受限制
1月27日,鐵路部門在接受央視采訪時表示,第三方搶票軟件已經被實施限制措施,即使用戶花錢購買了加速服務,購票的成功率也絕不會像各個搶票軟件顯示的一樣。...
蘋果手機怎么隱藏照片?蘋果iPhone XR/XS Max隱藏照片方法
蘋果手機怎么隱藏照片呢?如果不想讓別人看到手機里的照片或者圖片,可以將 iPhone手機中的照片進行隱藏。下面小編分享一下蘋果手機iPhone XR/XS Max隱藏手機圖片方法。
iPhone XR怎么隱藏照片?蘋果XR/XS Max隱藏手機圖片方法...蘋果iPhone XR朗讀屏幕功能怎么用?蘋果手機文字轉語音方法教程
蘋果手機的朗讀屏幕功能具有自動把文字轉成語音的功能,那么,蘋果手機朗讀屏幕功能怎么使用呢?下面小編就來介紹下蘋果iPhone XR手機朗讀屏幕功能的開啟和使用方法。...
王者榮耀王昭君中單怎么出裝?S14賽季王昭君中單出裝推薦
王者榮耀王昭君是個非常厲害的英雄,現在的王昭君是除了武則天之外的第一法師。我們就來了解一下王者榮耀S14賽季王昭君中單出裝推薦...
英雄聯盟S9雙修流探險家-伊澤瑞爾符文出裝攻略
今天小編就為大家介紹雙修流EZ的具體玩法。下文主要通過英雄聯盟S9雙修流探險家-伊澤瑞爾的英雄定位、符文出裝、技能加點等角度來進行介紹。...