elasticsearch 升級 1.x --> 2.x

YO! ElasticSearch 1.x 升級 2.x 的一些小心得

來一段多餘的前言

為了不寫半行程式碼的方式完成學校的作業，我還是選擇了用ELK中的E跟K來偷懶一下，做一下資料的統計啊～ 數量長條圖啊～ 之類的
不過因為裝了新版的Kibana，跟老師提供的ElasticSearch 1.x不合，所以花了很多時間在處理升級的事...，這之中實在充滿雷啊！！

升級ElasticSearch 1.x --> 2.x


最簡單就是參考這篇，不過我參考了還是弄了老半天
先來講解一下裡面每個步驟 

1. Disable Shard allocation

shard 就是一個 Lucene index，至於Lucene，應該算是個檢索引擎
ElasticSearch平時會把資料分成多個shard然後再分別分在你所運行的node裡面
阿既然要升級，就先把shard allocation關掉，專心對付每個node
PUT /_cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.enable": "none"
  }
}


2. Perform a Synced flush (optional)

這步主要是讓接下來shard在recover的時候快一點
POST /_flush/synced

3. Shutdown and upgrade all node

這邊就比較麻煩了
你可以選擇
  1. 安裝一個新版本的ElasticSearch，然後把conf跟data路徑指向舊版的位置
  2. 解開新版壓縮檔，然後把除了data, config的都蓋過去
  3. 安裝一個新版本的，然後把舊版的config跟data拉到新版的資料夾下
在1.x --> 2.x 的時候，要注意舊版的config裡有一行
http.cors.enabled
會讓你Kibana不能用，所以記得拿掉

升級方法：

4. Start the Cluster

這邊就是把升級完的東西開起來，可以用一些指令看是否成功，檢查一下版本號對不對
GET _cat/health

GET _cat/nodes




5. Wait for yellow

剛開起來後，會要等一段時間讓健康狀態從紅變黃，做一些剛剛提到的recover的動作，但不會全部replica shard都分配好，因為剛剛把shard allocation關掉了

6. Reenable Allocation

把在第一步關掉的shard allocation打開

這樣的話才能把健康狀況從黃色變成健康的綠色
PUT /_cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.enable": "all"
  }
}




後記：

其實後面還有很多雷啊
來筆記一下


curl -XPUT 'http://ip:port/_cluster/settings' -d '{
"transient" : {
    "cluster.routing.allocation.enable": "all"
}}'

  1. 這是單次的開啟shard allocation
  2. 可以用plugin -- migration來檢查是否可以成功升級
  3. 要改data位置，從elasticsearch.yml裡面改path.data path.data: 路徑....
  4. 如果外部連不到你的elasticsearch，把network.host改成0.0.0.0
  5. 要使用外部的config檔，在開啟elasticsearch時候 ./elasticsearch.bat --path.conf config資料夾路徑

留言

張貼留言

這個網誌中的熱門文章

postman有跨網域神力啊

今天幫賈賈查個東西 要怎麼把curl 的action轉成js或者jquery的ajax code 恩.... 看起來是完全可行的（畢竟我是個菜鳥 但我從六點多開始試到凌晨一點多都是失敗的....不論各種debug, 自己開web api比對resource, response 後來利用了"postman cross domain" 以及 "curl cross domain" 查到了 Regular web pages can use the XMLHttpRequest object to send and receive data from remote servers, but they're limited by the same origin policy. Extensions aren't so limited. An extension can talk to remote servers outside of its origin, as long as it first requests cross-origin permissions. Ajax calls can only be made to URLs within the same domain. 然後有一篇神文說“你可以用jquery ajax 做到cross domain"，他的方法是利用jquery ajax傳給一個php頁面，再讓php用curl的方式把remote data吐回來，好複雜啊這～ 文章的最後，到底為什麼postman可以cross domain而我就不行呢？ https://developer.chrome.com/extensions/xhr google developer的文章中有寫道 （非拿不可的話，似乎可以用JSONP或者CORS來解
閱讀完整內容

angular ui-router 變更網址列的方式！ （偷渡關於移除URL中的#

在angular提供的ng-router或者third-party的ui-router中，在裡面這樣那樣的切換頁面過程中，瀏覽器的網址都會變更，但其實如果直接輸入那個網址，卻會 404 !! 應該是因為 angular在切換頁面的過程中，不希望刷新頁面，所以使用了類似partial view的概念，對需要更新的部分用http request去把需要的content拉出來，並且將網址列的內容更改為本身router的state對應到的url !! /*偷渡一段在這邊 angular默認會使用一個#符號來對url進行route 例如 http://tony.com http://tony.com/#/home http://tony.com/#/setting 如果不想要出現這個#的話 要用$locationProvider，並且設置相對連接的起點路徑 在app.config中加入 $locationProvider.html5Mode(true); 在index的head裡面加入 <base href="/"> */ 而這邊要提到的就是將網址列的內容改為本身router的state對應到的url，這是如何做到的呢～～ 這是使用了html5的history api來達成，可以透過window物件->history物件瀏覽瀏覽器的歷史，並且有提供一些方法讓你可以在歷史紀錄中前進以及後退要在歷史紀錄中往後移動，可以： window.history.back(); 同樣的，你也可以往前移動window.history.forward(); 你可以用 go() 方法來從頁面的 session 歷史記錄中載入特定紀錄， 以目前頁面的相對位置而定（目前的頁面想當然爾是 index 0） 往前一頁（等同於呼叫 back()）：window.history.go(-1); 往後一頁（等同於呼叫 forward()）：window.history.go(1); 你可以查看 length 這個屬性來取得目前瀏覽歷史的總數 ： var numberOfEntries = window.history.length; 加入和修改歷史紀錄 HTML5 加入
閱讀完整內容

google smtp好麻煩啊～

1 .將「安全性較低的應用程式存取權限」設為「啟用」 找到 Google 帳戶內找到「安全性較低的應用程式存取權限」的設定 或是直接開啟此網頁 https://www.google.com/settings/security/lesssecureapps 登入後設為「啟用」。 2.解除人機驗證鎖定 直接開啟此網頁 https://accounts.google.com/b/0/DisplayUnlockCaptcha 點下「繼續」。 3.啟用兩步驟驗證，再設定應用程式專用密碼 直接開啟此網頁 https://accounts.google.com/b/0/SmsAuthConfig?hl=zh_TW ，啟用兩步驟驗證。 不過要注意的是，以後在尚未信任的裝置上用email跟密碼登入 Google 帳號，會變成無法使用，一定還要再次透過電話或簡訊驗證，才能登入帳戶。 開啟此網頁 https://security.google.com/settings/security/apppasswords?pli=1 ，讓它產生一組應用程式專用密碼，然後把寄件程式內的 google 密碼換成這組應用程式密碼。 注意哦！這組應用程式專用密碼只能登入一個地方，如果把這組密碼先拿來當smtp寄信，又再拿去登入其他東西，後來那個是無法登入的。
閱讀完整內容