在 GKE 上部署 Elasticsearch 向量資料庫

設定環境

如要使用 Cloud Shell 設定環境，請按照下列步驟操作：

1. 為專案、區域和 Kubernetes 叢集資源前置字串設定環境變數：

   export PROJECT_ID=PROJECT_ID
   export KUBERNETES_CLUSTER_PREFIX=elasticsearch
   export REGION=us-central1
   

   • 將 PROJECT_ID 替換為專案 ID。 Google Cloud

   本教學課程使用 us-central1 地區建立部署資源。

2. 檢查 Helm 版本：

   helm version
   

   如果版本舊於 3.13，請更新版本：

   curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash
   

3. 從 GitHub 複製程式碼範例存放區：

   git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samples
   

4. 前往 elasticsearch 目錄，開始建立部署資源：

   cd kubernetes-engine-samples/databases/elasticsearch
   

建立叢集基礎架構

在本節中，您將執行 Terraform 指令碼，建立私人、高可用性的區域 GKE 叢集，以部署 Elasticsearch 資料庫。

您可以選擇使用標準或 Autopilot 叢集部署 Elasticsearch。各有優點，計費模式也不同。

export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform -chdir=terraform/gke-autopilot init
terraform -chdir=terraform/gke-autopilot apply \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}

...
Apply complete! Resources: 9 added, 0 changed, 0 destroyed.

Outputs:

kubectl_connection_command = "gcloud container clusters get-credentials elasticsearch-cluster --region us-central1"

export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform -chdir=terraform/gke-standard init
terraform -chdir=terraform/gke-standard apply \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}

...
Apply complete! Resources: 10 added, 0 changed, 0 destroyed.

Outputs:

kubectl_connection_command = "gcloud container clusters get-credentials elasticsearch-cluster --region us-central1"

連線至叢集

設定 kubectl，以擷取憑證並與新的 GKE 叢集通訊：

gcloud container clusters get-credentials \
    ${KUBERNETES_CLUSTER_PREFIX}-cluster --region ${REGION}

部署 Elasticsearch 資料庫和 StatefulHA 運算子

在本節中，您將使用 ECK Operator Helm 圖表，將 Elasticsearch 資料庫 (叢集模式) 和 StatefulHA 運算子部署至 GKE 叢集。

這個 Deployment 會建立 GKE 叢集，並採用下列設定：

• 三個 Elasticsearch 節點副本。
• DaemonSet，以便變更虛擬記憶體設定，發揮 Elasticsearch 的最佳效能。DaemonSet 是 Kubernetes 控制器，可確保 Pod 副本在叢集的每個節點上執行。
• 設定 NodeAffinity 和 PodAntiAffinity，確保在 Kubernetes 節點間適當分配，進而最佳化節點集區的使用情形，並盡可能提高不同區域的可用性。
• 管理容錯移轉程序並確保高可用性的 Stateful HA 運算子。StatefulSet 是 Kubernetes 控制器，可為每個 Pod 維護永久的專屬 ID。
• 為進行驗證，資料庫會使用驗證憑證、密碼和憑證建立 Kubernetes 密鑰。

如要使用 Helm 圖表部署 Elasticsearch 資料庫，請按照下列步驟操作：

1. 啟用 StatefulHA 外掛程式：

   Autopilot

   GKE 會在建立叢集時自動啟用 StatefulHA 外掛程式。

   標準

   執行下列指令：

   gcloud container clusters update ${KUBERNETES_CLUSTER_PREFIX}-cluster \
       --project=${PROJECT_ID} \
       --region=${REGION} \
       --update-addons=StatefulHA=ENABLED
   

   這項指令可能需要 15 分鐘才能完成，且叢集會顯示就緒狀態。

2. 建立 Kubernetes 上的 Elastic Cloud (ECK) 自訂資源定義 (CRD)：

   kubectl apply -f https://download.elastic.co/downloads/eck/2.11.1/crds.yaml
   

3. 部署 ECK 運算子：

   kubectl apply -f https://download.elastic.co/downloads/eck/2.11.1/operator.yaml
   

4. 為資料庫建立 elastic 命名空間：

   kubectl create ns elastic
   

5. 安裝 HighAvailabilityApplication (HAA) 資源，定義 Elasticsearch 的容錯移轉規則。

   kubectl apply -n elastic -f manifests/01-regional-pd/ha-app.yaml
   

   ha-app.yaml 資訊清單說明 HighAvailabilityApplication 資源：

   kind: HighAvailabilityApplication
   apiVersion: ha.gke.io/v1
   metadata:
     name: elasticsearch-ha-es-main
     namespace: elastic
   spec:
     resourceSelection:
       resourceKind: StatefulSet
     policy:
       storageSettings:
         requireRegionalStorage: false
       failoverSettings:
         forceDeleteStrategy: AfterNodeUnreachable
         afterNodeUnreachable:
           afterNodeUnreachableSeconds: 20 # 60 seconds total

6. 套用資訊清單，建立地區永久 SSD 磁碟 StorageClass：

   kubectl apply -n elastic -f manifests/01-regional-pd/regional-pd.yaml
   

   regional-pd.yaml資訊清單會說明永久 SSD 磁碟 StorageClass：

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   allowVolumeExpansion: true
   metadata:
     name: ha-regional
   parameters:
     replication-type: regional-pd
     type: pd-ssd
     availability-class: regional-hard-failover
   provisioner: pd.csi.storage.gke.io
   reclaimPolicy: Retain
   volumeBindingMode: WaitForFirstConsumer

7. 部署 DaemonSet 資源，在每個節點中設定虛擬記憶體：

   kubectl apply -n elastic -f manifests/02-elasticsearch/mmap-count.yaml
   

   mmap-count.yaml 資訊清單會說明 DaemonSet：

   apiVersion: apps/v1
   kind: DaemonSet
   metadata:
     name: max-map-count-setter
     labels:
       k8s-app: max-map-count-setter
   spec:
     selector:
       matchLabels:
         name: max-map-count-setter
     template:
       metadata:
         labels:
           name: max-map-count-setter
       spec:
         initContainers:
           - name: max-map-count-setter
             image: docker.io/bash:5.2.21
             resources:
               limits:
                 cpu: 100m
                 memory: 32Mi
             securityContext:
               privileged: true
               runAsUser: 0
             command: ['/usr/local/bin/bash', '-e', '-c', 'echo 262144 > /proc/sys/vm/max_map_count']
         containers:
           - name: sleep
             image: docker.io/bash:5.2.21
             command: ['sleep', 'infinity']

8. 套用資訊清單來部署 Elasticsearch 叢集：

   kubectl apply -n elastic -f manifests/02-elasticsearch/elasticsearch.yaml
   

   elasticsearch.yaml 資訊清單會說明 Deployment：

   apiVersion: elasticsearch.k8s.elastic.co/v1
   kind: Elasticsearch
   metadata:
     name: elasticsearch-ha
   spec:
     version: 8.11.4
     nodeSets:
     - name: main
       count: 3
       volumeClaimTemplates:
       - metadata:
           name: elasticsearch-data 
         spec:
           accessModes:
           - ReadWriteOnce
           resources:
             requests:
               storage: 10Gi
           storageClassName: ha-regional
       config:
       podTemplate:
         metadata:
           labels:
             app.stateful/component: elasticsearch
         spec:
           initContainers:
           - name: max-map-count-check
             command: ['sh', '-c', "while true; do mmc=$(cat /proc/sys/vm/max_map_count); if [ ${mmc} -eq 262144 ]; then exit 0; fi; sleep 1; done"]
           containers:
           - name: metrics
             image: quay.io/prometheuscommunity/elasticsearch-exporter:v1.7.0
             command:
               - /bin/elasticsearch_exporter
               - --es.ssl-skip-verify
               - --es.uri=https://$(ES_USER):$(ES_PASSWORD)@localhost:9200
             securityContext:
               runAsNonRoot: true
               runAsGroup: 10000
               runAsUser: 10000
             resources:
               requests:
                 memory: "128Mi"
                 cpu: "25m"
               limits:
                 memory: "128Mi"
                 cpu: "100m"
             ports:
             - containerPort: 9114
             env:
             - name: ES_USER
               value: "elastic"
             - name: ES_PASSWORD
               valueFrom:
                 secretKeyRef:
                   name: elasticsearch-ha-es-elastic-user
                   key: elastic
           - name: elasticsearch
             resources:
               limits:
                 memory: 4Gi
                 cpu: 1
           affinity:
             nodeAffinity:
               preferredDuringSchedulingIgnoredDuringExecution:
                 - weight: 1
                   preference:
                     matchExpressions:
                     - key: app.stateful/component
                       operator: In
                       values:
                       - elasticsearch
             podAntiAffinity:
               preferredDuringSchedulingIgnoredDuringExecution:
               - weight: 1
                 podAffinityTerm:
                   labelSelector:
                     matchLabels:
                       app.stateful/component: elasticsearch
                   topologyKey: topology.kubernetes.io/zone

   等待幾分鐘，讓 Elasticsearch 叢集完全啟動。

9. 檢查部署狀態：

   kubectl get elasticsearch -n elastic --watch
   

   如果成功部署 elasticsearch 資料庫，輸出內容會類似以下內容：

   NAME               HEALTH   NODES   VERSION   PHASE   AGE
   elasticsearch-ha   green    3       8.11.4    Ready   2m30s
   

   等待 HEALTH 顯示為 green。如有需要，請按 Ctrl+C 鍵結束指令。

10. 部署內部負載平衡器，存取與 GKE 叢集位於相同 VPC 的 Elasticsearch 資料庫：

    kubectl apply -n elastic -f manifests/02-elasticsearch/ilb.yaml
    

    ilb.yaml 資訊清單說明 LoadBalancer 服務：

    apiVersion: v1
    kind: Service
    metadata:
      annotations:
        #cloud.google.com/neg: '{"ingress": true}'
        networking.gke.io/load-balancer-type: "Internal"
      labels:
        app.kubernetes.io/name: elasticsearch
      name: elastic-ilb
    spec:
      ports:
      - name: https
        port: 9200
        protocol: TCP
        targetPort: 9200
      selector:
        common.k8s.elastic.co/type: elasticsearch
        elasticsearch.k8s.elastic.co/cluster-name: elasticsearch-ha
      type: LoadBalancer

11. 如要確認是否已套用容錯移轉規則，請說明資源並確認 Status: Message: Application is protected。

    kubectl describe highavailabilityapplication elasticsearch-ha-es-main -n elastic
    

    輸出內容類似如下

    Status:
      Conditions:
        Last Transition Time:  2024-02-01T13:27:50Z
        Message:               Application is protected
        Observed Generation:   1
        Reason:                ApplicationProtected
        Status:                True
        Type:                  Protected
    Events:                    <none>
    

12. GKE 啟動工作負載後，請確認 GKE 已建立 Elasticsearch 工作負載：

    kubectl get pod,svc,statefulset,pdb,secret,daemonset -n elastic
    

    輸出結果會與下列內容相似：

    NAME                             READY   STATUS    RESTARTS   AGE
    pod/elasticsearch-ha-es-main-0   2/2     Running   0          7m16s
    pod/elasticsearch-ha-es-main-1   2/2     Running   0          7m16s
    pod/elasticsearch-ha-es-main-2   2/2     Running   0          7m16s
    pod/max-map-count-setter-28wt9   1/1     Running   0          7m27s
    pod/max-map-count-setter-cflsw   1/1     Running   0          7m27s
    pod/max-map-count-setter-gzq9k   1/1     Running   0          7m27s
    
    NAME                                        TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)    AGE
    service/elasticsearch-ha-es-http            ClusterIP   10.52.8.28   <none>        9200/TCP   7m18s
    service/elasticsearch-ha-es-internal-http   ClusterIP   10.52.3.48   <none>        9200/TCP   7m18s
    service/elasticsearch-ha-es-main            ClusterIP   None         <none>        9200/TCP   7m16s
    service/elasticsearch-ha-es-transport       ClusterIP   None         <none>        9300/TCP   7m18s
    
    NAME                                        READY   AGE
    statefulset.apps/elasticsearch-ha-es-main   3/3     7m16s
    
    NAME                                                     MIN AVAILABLE   MAX UNAVAILABLE   ALLOWED DISRUPTIONS   AGE
    poddisruptionbudget.policy/elasticsearch-ha-es-default   2               N/A               1                     7m16s
    
    NAME                                                 TYPE     DATA   AGE
    secret/elasticsearch-ha-es-elastic-user              Opaque   1      7m18s
    secret/elasticsearch-ha-es-file-settings             Opaque   1      7m16s
    secret/elasticsearch-ha-es-http-ca-internal          Opaque   2      7m17s
    secret/elasticsearch-ha-es-http-certs-internal       Opaque   3      7m17s
    secret/elasticsearch-ha-es-http-certs-public         Opaque   2      7m17s
    secret/elasticsearch-ha-es-internal-users            Opaque   4      7m18s
    secret/elasticsearch-ha-es-main-es-config            Opaque   1      7m16s
    secret/elasticsearch-ha-es-main-es-transport-certs   Opaque   7      7m16s
    secret/elasticsearch-ha-es-remote-ca                 Opaque   1      7m16s
    secret/elasticsearch-ha-es-transport-ca-internal     Opaque   2      7m16s
    secret/elasticsearch-ha-es-transport-certs-public    Opaque   1      7m16s
    secret/elasticsearch-ha-es-xpack-file-realm          Opaque   4      7m18s
    
    NAME                                  DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
    daemonset.apps/max-map-count-setter   6         6         6       6            6           <none>          13m
    

系統會為 Elasticsearch 叢集建立下列 GKE 資源：

• 控制三個 Pod 副本的 Elasticsearch StatefulSet。
• 用於設定虛擬記憶體設定的 DaemonSet。
• 連線至 Elasticsearch 的服務。
• 含有超級使用者憑證和服務相關憑證的密鑰。
• 有狀態的 HA 運算子 Pod 和 HighlyAvailableApplication 資源，主動監控 Elasticsearch 應用程式。

使用 Vertex AI Colab Enterprise 筆記本執行查詢

本節說明如何使用 Colab Enterprise 筆記本中的官方 Elasticsearch Python 用戶端，將嵌入內容產生至 Elasticsearch 文件，並執行語意搜尋查詢。Elasticsearch 中的文件由各種欄位組成，每個欄位都與對應的值配對。

如要進一步瞭解 Vertex AI Colab Enterprise，請參閱 Colab Enterprise 說明文件。

在本範例中，您會使用 CSV 檔案中的資料集，其中包含不同類型書籍的清單。Elasticsearch 可做為搜尋引擎，您建立的 Pod 則可做為查詢 Elasticsearch 資料庫的用戶端。

您可以使用專屬的執行階段範本部署至 elasticsearch-vpc VPC (虛擬私有雲)，因此筆記本可以與 GKE 叢集中的資源通訊。

建立執行階段範本

如要建立 Colab Enterprise 執行階段範本，請按照下列步驟操作：

1. 在 Google Cloud 控制台中，前往 Colab Enterprise 的「Runtime Templates」(執行階段範本) 頁面，並確認已選取專案：

   前往「執行階段範本」

2. 按一下「新增範本」add_box。「建立新的執行階段範本」頁面隨即顯示。

3. 在「執行階段基本資訊」部分：

   • 在「Display name」(顯示名稱) 欄位中，輸入 elastic-connect。
   • 在「Region」(區域) 下拉式清單中選取「us-central1」。與 GKE 叢集位於相同地區。

4. 在「設定運算」部分：

   • 在「Machine type」(機器類型) 下拉式清單中，選取「e2-standard-2」。
   • 在「Disk size」(磁碟大小) 欄位中，輸入 30。

5. 在「網路與安全性」部分中：

   • 在「Network」(網路) 下拉式選單中，選取 GKE 叢集所在的網路。
   • 在「Subnetwork」(子網路) 下拉式清單中，選取對應的子網路。
   • 取消勾選「啟用公開網際網路存取權」核取方塊。

6. 按一下「建立」，完成建立執行階段範本。執行階段範本會顯示在「執行階段範本」分頁的清單中。

建立執行階段

如要建立 Colab Enterprise 執行階段，請按照下列步驟操作：

1. 在剛建立的範本執行階段範本清單中，按一下「動作」欄中的 more_vert，然後點選「建立執行階段」。系統隨即會顯示「Create Vertex AI Runtime」(建立 Vertex AI 執行階段) 窗格。

2. 如要根據範本建立執行階段，請按一下「建立」。

3. 在開啟的「執行階段」分頁中，等待狀態轉換為「正常」。

匯入筆記本

如要在 Colab Enterprise 中匯入筆記本，請按照下列步驟操作：

1. 前往「我的筆記本」分頁，然後按一下「匯入」。「匯入筆記本」窗格隨即顯示。

2. 在「匯入來源」中，選取「網址」。

3. 在「筆記本網址」下方，輸入下列連結：

   https://raw.githubusercontent.com/GoogleCloudPlatform/kubernetes-engine-samples/main/databases/elasticsearch/manifests/03-notebook/vector-database.ipynb
   

4. 按一下「匯入」。

連線至執行階段並執行查詢

如要連線至執行階段並執行查詢，請按照下列步驟操作：

1. 在筆記本中，按一下「連線」按鈕旁邊的 arrow_drop_down「其他連線選項」。 系統隨即會顯示「Connect to Vertex AI Runtime」(連線至 Vertex AI 執行階段) 窗格。

2. 選取「連線到執行階段」，然後選取「連線至現有的執行階段」。

3. 選取啟動的執行階段，然後按一下「連線」。

4. 如要執行筆記本儲存格，請按一下每個程式碼儲存格旁的「Run cell」(執行儲存格) 按鈕 。

筆記本包含程式碼儲存格和說明每個程式碼區塊的文字。執行程式碼儲存格會執行其指令並顯示輸出內容。您可以依序執行儲存格，也可以視需要執行個別儲存格。

查看叢集的 Prometheus 指標

GKE 叢集已設定 Google Cloud Managed Service for Prometheus，可收集 Prometheus 格式的指標。這項服務提供全代管的監控和快訊解決方案，可收集、儲存及分析叢集和應用程式的指標。

下圖顯示 Prometheus 如何收集叢集的指標：

圖中的 GKE 私人叢集包含下列元件：

• 在路徑 / 和通訊埠 9114 上公開指標的 Elasticsearch Pod。這些指標是由名為 metrics 的補充資訊容器提供，該容器包含 elasticsearch_exporter。
• 以 Prometheus 為基礎的收集器，可處理來自 Elasticsearch Pod 的指標。
• 將指標傳送至 Cloud Monitoring 的 PodMonitoring 資源。

叢集設定會定義具有指標匯出工具的補充容器，格式為 Prometheus：

apiVersion: elasticsearch.k8s.elastic.co/v1
kind: Elasticsearch
metadata:
  name: elasticsearch-ha
spec:
  ...
  nodeSets:
  - name: main
    ...
    podTemplate:
      spec:
        containers:
        ...
        - name: metrics
          image: quay.io/prometheuscommunity/elasticsearch-exporter:v1.7.0
          command:
          - /bin/elasticsearch_exporter
          - --es.ssl-skip-verify
          - --es.uri=https://$(ES_USER):$(ES_PASSWORD)@localhost:9200
          ...
          env:
          - name: ES_USER
            value: "elastic"
          - name: ES_PASSWORD
            valueFrom:
            secretKeyRef:
              name: elasticsearch-ha-es-elastic-user
              key: elastic

如要匯出及查看指標，請按照下列步驟操作：

1. 建立 PodMonitoring 資源，以透過 labelSelector 抓取指標：

   kubectl apply -n elastic -f manifests/04-prometheus-metrics/pod-monitoring.yaml
   

   pod-monitoring.yaml 資訊清單說明 PodMonitoring 資源：

   apiVersion: monitoring.googleapis.com/v1
   kind: PodMonitoring
   metadata:
     name: elasticsearch
   spec:
     selector:
       matchLabels:
         app.stateful/component: elasticsearch
         elasticsearch.k8s.elastic.co/cluster-name: elasticsearch-ha
     endpoints:
     - port: 9114
       interval: 30s
       path: /metrics

   幾分鐘後，系統會顯示內建資訊主頁「Elasticsearch Prometheus Overview」。

2. 如要查看更多資料相關圖表，請匯入自訂 Cloud Monitoring 資訊主頁，並使用 dashboard.json 中定義的設定：

   gcloud --project "${PROJECT_ID}" monitoring dashboards create --config-from-file monitoring/dashboard.json
   

3. 指令順利執行後，請前往 Cloud Monitoring 的「資訊主頁」：

   前往資訊主頁總覽

4. 從資訊主頁清單中開啟 ElasticSearch Overview 資訊主頁。系統可能需要 1 到 2 分鐘才能收集及顯示指標。

   資訊主頁會顯示主要指標的計數：

   • 索引
   • 文件和分片
   • 待處理的作業
   • 執行節點並顯示健康狀態

備份叢集設定

GKE 備份功能可讓您排定定期備份整個 GKE 叢集設定，包括已部署的工作負載及其資料。

在本教學課程中，您將為 GKE 叢集設定備份計畫，每天凌晨 3 點備份所有工作負載，包括 Secret 和 Volume。為確保儲存空間管理效率，系統會自動刪除超過三天的備份。

1. 為叢集啟用 GKE 備份功能：

   gcloud container clusters update ${KUBERNETES_CLUSTER_PREFIX}-cluster \
       --project=${PROJECT_ID} \
       --region=${REGION} \
       --update-addons=BackupRestore=ENABLED
   

2. 為叢集內的所有命名空間建立每日排程的備份方案：

   gcloud beta container backup-restore backup-plans create ${KUBERNETES_CLUSTER_PREFIX}-cluster-backup \
       --project=${PROJECT_ID} \
       --location=${REGION} \
       --cluster="projects/${PROJECT_ID}/locations/${REGION}/clusters/${KUBERNETES_CLUSTER_PREFIX}-cluster" \
       --all-namespaces \
       --include-secrets \
       --include-volume-data \
       --cron-schedule="0 3 * * *" \
       --backup-retain-days=3
   

   這個指令會在執行階段使用相關環境變數。

   叢集名稱的格式與專案和區域相關，如下所示：

   projects/PROJECT_ID/locations/REGION/clusters/CLUSTER_NAME
   

   出現提示時，請輸入 y.輸出內容會與下列內容相似：

   Create request issued for: [elasticsearch-cluster-backup]
   Waiting for operation [projects/PROJECT_ID/locations/us-central1/operations/operation-1706528750815-610142ffdc9ac-71be4a05-f61c99fc] to complete...⠹
   

   這項作業可能需要幾分鐘才能順利完成。執行完成後，輸出內容會類似如下：

   Created backup plan [elasticsearch-cluster-backup].
   

3. 您可以在 GKE 備份控制台看到新建立的備份方案 elasticsearch-cluster-backup。

   前往 GKE 備份

如要還原已儲存的備份設定，請參閱「還原備份」。