搜索引擎solr配置管理詳解mike預(yù)習(xí)08

1、作者：Mike08Solr配置&管理詳解1講師介紹 動(dòng)腦學(xué)院 -Mike老師系統(tǒng)架構(gòu)師、研發(fā)經(jīng)理十余年Java行業(yè)經(jīng)驗(yàn)。曾就職華為、網(wǎng)易、當(dāng)當(dāng)。從事企業(yè)、互聯(lián)網(wǎng)應(yīng)用、電商平臺(tái)、大數(shù)據(jù)平臺(tái)等的架構(gòu)設(shè)計(jì)、研發(fā)。精通java、javaEE、擅長(zhǎng)高并發(fā)、分布式、大數(shù)據(jù)、高可用系統(tǒng)的架構(gòu)設(shè)計(jì)。 2學(xué)習(xí)目標(biāo)12應(yīng)用于生產(chǎn)目 錄 33集合管理4安全配置學(xué)習(xí)目標(biāo)4學(xué)完本課題，你應(yīng)達(dá)成如下目標(biāo)：掌握在生產(chǎn)環(huán)境中安裝配置solr掌握solr的安全配置掌握solr的集合管理學(xué)習(xí)目標(biāo)12應(yīng)用于生產(chǎn)目 錄 53集合管理4安全配置6SolrCloud分布式集群架構(gòu) 計(jì)算機(jī)1計(jì)算機(jī)2計(jì)算機(jī)3計(jì)算機(jī)4計(jì)算機(jī)N計(jì)算機(jī)5Solr

2、NodeSolrNodeZookeeperSolrNodeSolrNodeSolrNodeSolrCloudleader配置文件集合 c1:備份leader集合 c2:備份Solr應(yīng)用于生產(chǎn)7在linux系統(tǒng)上安裝solrCloudSolr應(yīng)用于生產(chǎn)tar xzf solr-7.3.0.tgz solr-7.3.0/bin/install_solr_service.sh ponents=2依賴：JRE solr7.3 需要 java1.8獨(dú)立的zookeeper服務(wù) ，zookeeper安裝請(qǐng)參考： 上傳solr安裝包從安裝包中解出安裝腳本安裝腳本可用于：CentOS, Debian, Red

3、 Hat, SUSE and Ubuntu Linux distributions8在linux系統(tǒng)上安裝solrCloudSolr應(yīng)用于生產(chǎn)./install_solr_service.sh -help原則：軟件、數(shù)據(jù)目錄分離安裝腳本參數(shù)說(shuō)明：目錄規(guī)劃以root身份運(yùn)行安裝腳本進(jìn)行安裝-i 指定軟件安裝目錄。默認(rèn) /opt-d 指定數(shù)據(jù)目錄（solr主目錄）：內(nèi)核存儲(chǔ)目錄 。默認(rèn) /var/solr-u 指定要?jiǎng)?chuàng)建的擁有solr的用戶名，出于安全考慮，不應(yīng)以root來(lái)運(yùn)行。默認(rèn) solr-s 指定系統(tǒng)服務(wù)名。默認(rèn) solr-p 指定端口。默認(rèn) 8983./install_solr_servi

4、ce.sh solr-7.3.0.tgz./install_solr_service.sh solr-7.3.0.tgz -i /opt -d /var/solr -u solr -s solr -p 8983等同：OK 安裝完成！認(rèn)識(shí)solr服務(wù)的配置文件系統(tǒng)服務(wù)腳本： /etc/init.d/solr 請(qǐng)查看該腳本內(nèi)容，看系統(tǒng)啟動(dòng)時(shí)是如何啟動(dòng)solr服務(wù)實(shí)例的。 可看到使用了如下三個(gè)變量：環(huán)境參數(shù)配置文件（官方叫法：include file）。它將覆蓋 bin/solr啟?？刂颇_本中的配置參數(shù)。我們通過(guò)該文件來(lái)配置修改solr服務(wù)實(shí)例的運(yùn)行配置。9配置solr服務(wù)實(shí)例Solr應(yīng)用于生產(chǎn)問：

5、如何啟動(dòng)一個(gè)solr服務(wù)實(shí)例？請(qǐng)查看 /etc/default/solr.in.sh ，看我們可以在該文件中進(jìn)行哪些配置。SOLR_INSTALL_DIR=/opt/solrSOLR_ENV=/etc/default/solr.in.shRUNAS=solrSolr安裝目錄環(huán)境參數(shù)配置文件以哪個(gè)用戶來(lái)運(yùn)行10Solr應(yīng)用于生產(chǎn)在 /etc/default/solr.in.sh 中可看到它配置了如下參數(shù)：SOLR_PID_DIR=/var/solrSOLR_HOME=/var/solr/data SOLR_PORT=8983LOG4J_PROPS=/var/solr/pertiesSOLR_LO

6、GS_DIR=/var/solr/logsSolr進(jìn)程id目錄Solr主目錄運(yùn)行端口日志配置在/etc/default/solr.in.sh中配置如下參數(shù)調(diào)整solr實(shí)例的內(nèi)存，默認(rèn)solr使用512M的堆內(nèi)存，生產(chǎn)環(huán)境下肯定需要調(diào)大。配置ZK_HOST，讓服務(wù)實(shí)例以solrCloud模式運(yùn)行設(shè)置chroot。Solr默認(rèn)使用zookeeper的/為其根目錄，在多應(yīng)用共用zookeeper的情況下，為避免沖突，應(yīng)該在單獨(dú)的子節(jié)點(diǎn)（如/solr）下來(lái)存儲(chǔ)solr的配置信息。這個(gè)節(jié)點(diǎn)需事先創(chuàng)建好，然后配置如下：11Solr應(yīng)用于生產(chǎn)SOLR_JAVA_MEM=-Xms10g -Xmx10gZK_H

7、OST=zk1,zk2:2182,zk3:2188ZK_HOST=zk1,zk2:2182,zk3:2188/solrbin/solr zk mkroot /solr -z : 創(chuàng)建znode的命令在/etc/default/solr.in.sh中配置如下參數(shù)設(shè)置SOLR服務(wù)的主機(jī)名，在solrCloud模式下強(qiáng)烈建議配置。不設(shè)置則使用的是ip。為solrconfig.xml中用到的動(dòng)態(tài)參數(shù)提供值12Solr應(yīng)用于生產(chǎn) $solr. mit.maxTime:-1bin/solr start mit.maxTime=10000SOLR_OPTS=$SOLR_OPTS mit.maxTime=10

8、000solrconfig.xml中配置片段啟動(dòng)時(shí)給入?yún)?shù)值在solr.in.sh中配置參數(shù)值13在一臺(tái)機(jī)器上運(yùn)行多個(gè)solr服務(wù)Solr應(yīng)用于生產(chǎn)./install_solr_service.sh solr-7.3.0.tgz -s solr2 -p 8984生產(chǎn)環(huán)境下，不要在一臺(tái)機(jī)器上運(yùn)行多個(gè)solr服務(wù)。如果確要在一臺(tái)機(jī)器上運(yùn)行多個(gè)solr服務(wù)實(shí)例，可以啟動(dòng)腳本加 s 選項(xiàng)指定不同的solr主目錄。還可以簡(jiǎn)單直接地安裝多個(gè)solr系統(tǒng)服務(wù)（不同的服務(wù)名、端口）：請(qǐng)看solr2裝在什么位置了。請(qǐng)查看目錄： /etc/init.d /etc/default 了解Solr主目錄配置文件 sol

9、r.xml14了解solr主目錄配置文件 solr.xmlSolr程序Solr服務(wù)實(shí)例1Solr主目錄1Solr服務(wù)實(shí)例NSolr主目錄2Solr服務(wù)實(shí)例2Solr主目錄N運(yùn)行端口1端口2端口N使用使用使用solr.xml包含solr.xml包含solr.xml包含15solr.xml ： solr服務(wù)實(shí)例配置文件在獨(dú)立服務(wù)器模式下，主目錄下必需有solr.xml。而在solrCloud模式下，如果zookeeper中放置有solr.xml ,則會(huì)從zookeeper中復(fù)制到主目錄。在早期solr版本中，需要在solr.xml中通過(guò)元素來(lái)配置內(nèi)核，服務(wù)實(shí)例才能發(fā)現(xiàn)內(nèi)核?，F(xiàn)在則不需要了，服務(wù)實(shí)例

10、通過(guò)查詢主目錄下的子目錄中是否包含perties來(lái)發(fā)現(xiàn)內(nèi)核。solr.xml中配置服務(wù)實(shí)例的參數(shù)及內(nèi)核通用配置參數(shù)。了解Solr主目錄配置文件 solr.xml16solr.xml 中的可配置項(xiàng) The Element The Element The Element The Element The ElementSolr是配置良好的，我們基本不需要去做什么配置。但需要了解都有什么配置參數(shù)，可以來(lái)改變solr的運(yùn)行行為。了解Solr主目錄配置文件 solr.xml學(xué)習(xí)目標(biāo)12應(yīng)用于生產(chǎn)目 錄 173集合管理4安全配置18回顧集合是什么？分片是什么？備份是什么？?jī)?nèi)核是什么？集合、分片、備份、內(nèi)核是

11、什么關(guān)系？集合管理每個(gè)備份對(duì)應(yīng)一個(gè)物理內(nèi)核19回顧如何通過(guò)bin/solr腳本創(chuàng)建一個(gè)集合？如何通過(guò) bin/solr腳本刪除一個(gè)集合？集合管理bin/solr create c collection01 d _default shards 2 replicationFactor 2 p 8983bin/solr create c collection02 d sample_techproducts_configs shards 2 replicationFactor 2 p 8983bin/solr delete c collectonname p port20思考集合的分片數(shù)可以修改嗎？集

12、合的備份數(shù)可以修改嗎？集合管理21集合管理API創(chuàng)建集合集合管理 常用參數(shù)說(shuō)明：name：指定集合名numShards：初始分片數(shù)replicationFactor：分片備份因子collection.configName：參照的配置集名稱（zookeeper的/configs下的子）maxShardsPerNode：每個(gè)節(jié)點(diǎn)上允許的最大分片數(shù)，默認(rèn)1autoAddReplicas：true/false，在共享文件系統(tǒng)中可自動(dòng)增加備份，默認(rèn)false詳細(xì)請(qǐng)瀏覽： 22集合管理API拆分分片集合管理/admin/collections?action=SPLITSHARD&collection=na

13、me&shard=shardID刪除備份 添加備份 23內(nèi)核的主要配置文件內(nèi)核配置文件內(nèi)核模式文件內(nèi)核屬性文件，是slor服務(wù)實(shí)例在solr主目錄中自動(dòng)發(fā)現(xiàn)內(nèi)核的標(biāo)識(shí)文件。了解內(nèi)核配置文件了解內(nèi)核配置文件24perties內(nèi)核屬性文件，是slor服務(wù)實(shí)例在solr主目錄中自動(dòng)發(fā)現(xiàn)內(nèi)核的標(biāo)識(shí)文件。發(fā)現(xiàn)的規(guī)則：遍歷主目錄下的子目錄樹來(lái)查找perties，直到在一支上找到perties文件。./cores/core1/perties ./cores/core1/coremore/core5/perties這是不允許的./cores/somecores/core1/perties./cores/som

14、ecores/core2/perties./cores/othercores/core3/perties./cores/extracores/deepertree/core4/perties這是合法的它是一個(gè)屬性文件，能在里面定義什么屬性呢？25perties 中可以配置的屬性最簡(jiǎn)單的pertiesname=my_core_name了解內(nèi)核配置文件請(qǐng)查看備份對(duì)應(yīng)的內(nèi)核的屬性文件學(xué)習(xí)目標(biāo)12應(yīng)用于生產(chǎn)目 錄 263集合管理4安全配置27Solr安全涉及的方面Authentication or authorization 認(rèn)證鑒權(quán)Enabling SSL 使用 https 協(xié)議If using S

15、olrCloud, ZooKeeper Access Control zookeeper的訪問控制安全配置28Solr提供了多種認(rèn)證鑒權(quán)插件的實(shí)現(xiàn)：Kerberos Authentication PluginBasic Authentication PluginRule-Based Authorization PluginCustom authentication or authorization plugin安全配置以 Basi Authentication 為例來(lái)了解如何應(yīng)用。29如何啟用安全？安全配置Solr要求以在solr主目錄下加入security.json 文件來(lái)啟用安全控制，在s

16、olrCloud模式下，如在zookeeper中加入/security.json 。在security.json中定義認(rèn)證、鑒權(quán)安全插件，如：authentication: blockUnknown: true, class:solr.BasicAuthPlugin, credentials:solr:IV0EHq1OnNrj6gvRCwvFwTrZ1+z1oBbnQdiVC3otuq0= Ndd7LKvVBAaZIF0QAVi1ekCfAJXr1GGfLtRUXhgrF8c= ,authorization: class:solr.RuleBasedAuthorizationPlugin, p

17、ermissions:name:security-edit, role:admin, user-role:solr:admin 密碼是：SolrRocks30如何往zookeeper中加入security.json？安全配置方式一：直接通過(guò)zk的客戶端來(lái)添加節(jié)點(diǎn)方式二：用 solr提供的操作腳本方式三：用 bin/solr zk 來(lái)操作server/scripts/cloud-scripts/zkcli.sh -zkhost localhost:2181 -cmd put /security.json authentication: class: org.apache.solr.securit

18、y.KerberosPluginbin/solr zk cp file:path_to_local_security.json zk:/security.json -z localhost:998331Basic Authentication Plugin安全配置基于用戶名密碼的認(rèn)證插件，官網(wǎng)參考： Rule-Based Authorization Plugin基于用戶、角色、權(quán)限規(guī)則的鑒權(quán)插件，官網(wǎng)參考： 32用戶管理安全配置API新增或修改密碼 刪除用戶v1: v2: curl -user solr:SolrRocks -H Content-type:application/json -d set-user: tom:tom, harry:harrycurl -user solr:SolrRocks -H Content-type:application/json -d delete-user: tom, harry33在SolrJ中使用基本認(rèn)證安全配置在每個(gè)請(qǐng)求中都需要帶上用戶名密碼 查詢示例SolrRequest req ;/create a new request objectreq.setBasicAuthCredentials(userName, password);solrClient.reque