簡(jiǎn)介： 阿里云作為國(guó)內(nèi)首家上線 Elasticsearch 8.9版本的廠商，在提供 Elasticsearch Relevance Engine™ (ESRE™) 引擎的基礎(chǔ)上，提供增強(qiáng) AI 的最佳實(shí)踐與 ES 本身的混合搜索能力，為用戶帶來(lái)了更多創(chuàng)新和探索的可能性。

　　近年來(lái)，人工智能的快速發(fā)展和廣泛應(yīng)用在各個(gè)行業(yè)中都取得了顯著的成果。在搜索領(lǐng)域，阿里云Elasticsearch作為一款功能強(qiáng)大的搜索引擎，一直以來(lái)都在為企業(yè)提供高效、準(zhǔn)確的搜索服務(wù)。現(xiàn)在，阿里云作為國(guó)內(nèi)首家上線 Elasticsearch 8.9版本的廠商，在提供 Elasticsearch Relevance Engine™ (ESRE™) 引擎的基礎(chǔ)上，提供增強(qiáng) AI 的最佳實(shí)踐與 ES 本身的混合搜索能力，為用戶帶來(lái)了更多創(chuàng)新和探索的可能性。

　　此次從8.5版本到8.9版本的全新升級(jí)，新增了以下重點(diǎn)功能，使得阿里云 Elasticsearch 在向量檢索和混合搜索能力都具有顯著改善，大大提升了搜索結(jié)果的準(zhǔn)確性和相關(guān)性。

　　支持文本和向量召回結(jié)果混排(RRF)。

　　向量最大維度提升到2048。

　　暴力檢索性能提升。

　　KNN 查詢支持多個(gè)字段同時(shí)查詢。

　　內(nèi)置 ELSER模型。

　　穩(wěn)定支持 NLP 分布式模型調(diào)度管理。

　　……

　　向量檢索---為搜索插上飛躍的翅膀

　　向量檢索作為8.x版本的重要新增能力，突破了傳統(tǒng)的基于關(guān)鍵詞的搜索，利用機(jī)器學(xué)習(xí)和人工智能的力量，將文本內(nèi)容轉(zhuǎn)換為向量表示，即將文本數(shù)據(jù)中的每個(gè)單詞表示為一個(gè)向量，并通過(guò)計(jì)算向量之間的距離來(lái)判斷文本之間的相似度來(lái)實(shí)現(xiàn)檢索，從而實(shí)現(xiàn)文本的高效檢索和處理。相較于傳統(tǒng)文本檢索，通過(guò)增加了單詞和文檔之間的語(yǔ)義關(guān)系，使得搜索的相關(guān)性顯著提升;同時(shí)處理對(duì)象從文本到圖像、語(yǔ)音等類型的擴(kuò)展，應(yīng)用場(chǎng)景的層面也得到了相應(yīng)的增加;當(dāng)然向量檢索更能夠根據(jù)用戶偏好定制化搜索結(jié)果，為用戶提供了個(gè)性化的搜索體驗(yàn)。

　　向量檢索技術(shù)的應(yīng)用場(chǎng)景非常廣泛，包括搜索引擎優(yōu)化、圖像搜索、自然語(yǔ)言處理、推薦系統(tǒng)、情感分析等領(lǐng)域。現(xiàn)阿里云 Elasticsearch 產(chǎn)品已經(jīng)提供向量檢索基礎(chǔ)能力，可根據(jù)基于 Elasticsearch 向量檢索的以文搜圖進(jìn)行體驗(yàn)。

　　混合搜索 RRF---搜索結(jié)果和性能的雙重助力

　　混合搜索 RRF(Reciprocal rank fusion)支持對(duì)多種不同方式召回的多個(gè)結(jié)果集進(jìn)行綜合再排序，返回最終的排序結(jié)果。之前 Elasticsearch 已經(jīng)分別支持基于 BM25 的相關(guān)性排序和向量相似度的召回排序，通過(guò) RRF 可以對(duì)這兩者的結(jié)果進(jìn)行綜合排序，使得排序的準(zhǔn)確性顯著提升。相對(duì)于單一搜索搜索技術(shù)，混合搜索 RRF 的優(yōu)勢(shì)十分明顯，可任意組合多個(gè)搜索技術(shù)并獲得綜合性搜索結(jié)果，使得搜索的準(zhǔn)確性和相關(guān)性大幅提升，從場(chǎng)景的適應(yīng)性來(lái)看，企業(yè)可根據(jù)自身業(yè)務(wù)設(shè)計(jì)專屬搜索方案，自由度也明顯提高。關(guān)于混合搜索 RRF 在搜索結(jié)果準(zhǔn)確性和相關(guān)性提升的實(shí)驗(yàn)驗(yàn)證，可根據(jù) 阿里云 Elasticsearch 使用 RRF 混排優(yōu)化語(yǔ)義查詢結(jié)果對(duì)比進(jìn)行測(cè)試查看，并獲得如下結(jié)果。

　　隨著新版本的上線，阿里云 Elasticsearch 再次展現(xiàn)了其在搜索領(lǐng)域的不斷前進(jìn)。為用戶帶來(lái)了更加智能化和深層次的搜索體驗(yàn)。未來(lái)，阿里云 Elasticsearch 將繼續(xù)努力創(chuàng)新，為用戶帶來(lái)更多搜索技術(shù)的突破和可能性。

　　Elasticsearch技術(shù)社區(qū)2群