效能和最佳化 - AWS Storage Gateway

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

效能和最佳化

本節說明最佳化 File Gateway 效能的指引和最佳實務。

S3 File GatewayFSx 的基本效能指引

在本節中,您可以找到為 S3 檔案閘道 VM 佈建硬體的指引。資料表中列出的執行個體組態是範例,並提供參考。

若要獲得最佳效能,必須將快取磁碟大小調整到實際運作集合的大小。使用多個本機磁碟的快取,藉由平行存取資料提高寫入效能,並提高 IOPS。

注意

我們不建議使用暫時性儲存。如需使用暫時性儲存的詳細資訊,請參閱搭配 EC2 閘道使用暫時性儲存

對於 Amazon EC2 執行個體,如果您的 S3 儲存貯體中有超過 500 萬個物件,而且您使用的是一般用途 SSD 磁碟區,則在啟動期間,閘道的可接受效能需要最低 350 GiB 的根 EBS 磁碟區。如需如何增加磁碟區大小的相關資訊,請參閱使用彈性磁碟區 (主控台) 修改 EBS 磁碟區

您連線至檔案閘道的檔案共享,個別目錄的建議大小限制為每個目錄 10,000 個檔案。您可以使用檔案閘道搭配超過 10,000 個檔案的目錄,但效能可能會受到影響。

在下表中,快取命中讀取操作是從快取提供的檔案共用讀取。快取遺漏讀取操作是從 Amazon S3 提供的檔案共用讀取。

下表顯示範例 S3 File Gateway 組態。

Linux 用戶端上的 S3 File Gateway 效能

範例組態 通訊協定 寫入輸送量 (檔案大小 1 GB) 快取命中讀取輸送量 快取遺漏讀取輸送量

根磁碟:80 GB、io1 SSD、4000 IOPS

快取磁碟:512 GiB 快取、io1、1,500 佈建 IOPS

最低網路效能:10 Gbps

CPU:16 vCPU | RAM: 32 GB

建議 Linux 使用 NFS 通訊協定

NFSv3 - 1 執行緒 每秒 110 MiB (0.92 Gbps) 590 MiB/秒 (4.9 Gbps) 310 MiB/秒 (2.6 Gbps)
NFSv3 - 8 個執行緒 160 MiB/秒 (1.3 Gbps) 590 MiB/秒 (4.9 Gbps) 335 MiB/秒 (2.8 Gbps)
NFSv4 - 1 執行緒 130 MiB/秒 (1.1 Gbps) 590 MiB/秒 (4.9 Gbps) 295 MiB/秒 (2.5 Gbps)
NFSv4 - 8 個執行緒 160 MiB/秒 (1.3 Gbps) 590 MiB/秒 (4.9 Gbps) 335 MiB/秒 (2.8 Gbps)
SMBV3 - 1 個執行緒 115 MiB/秒 (1.0 Gbps) 325 MiB/秒 (2.7 Gbps) 255 MiB/秒 (2.1 Gbps)
SMBV3 - 8 個執行緒 190 MiB/秒 (1.6 Gbps) 590 MiB/秒 (4.9 Gbps) 335 MiB/秒 (2.8 Gbps)

Storage Gateway 硬體設備

最低網路效能:10 Gbps

NFSv3 - 1 執行緒 265 MiB/秒 (2.2 Gbps) 590 MiB/秒 (4.9 Gbps) 310 MiB/秒 (2.6 Gbps)
NFSv3 - 8 個執行緒 385 MiB/秒 (3.1 Gbps) 590 MiB/秒 (4.9 Gbps) 335 MiB/秒 (2.8 Gbps)
NFSv4 - 1 執行緒 310 MiB/秒 (2.6 Gbps) 590 MiB/秒 (4.9 Gbps) 295 MiB/秒 (2.5 Gbps)
NFSv4 - 8 個執行緒 385 MiB/秒 (3.1 Gbps) 590 MiB/秒 (4.9 Gbps) 335 MiB/秒 (2.8 Gbps)
SMBV3 - 1 個執行緒 275 MiB/秒 (2.4 Gbps) 325 MiB/秒 (2.7 Gbps) 255 MiB/秒 (2.1 Gbps)
SMBV3 - 8 個執行緒 455 MiB/秒 (3.8 Gbps) 590 MiB/秒 (4.9 Gbps) 335 MiB/秒 (2.8 Gbps)

根磁碟:80 GB、io1 SSD、4000 IOPS

快取磁碟:4 x 2 TB NVME 快取磁碟

最低網路效能:10 Gbps

CPU:32 vCPU | RAM:244 GB

Linux 建議使用 NFS 通訊協定

NFSv3 - 1 執行緒 300 MiB/秒 (2.5 Gbps) 590 MiB/秒 (4.9 Gbps) 325 MiB/秒 (2.7 Gbps)
NFSv3 - 8 個執行緒 585 MiB/秒 (4.9 Gbps) 590 MiB/秒 (4.9 Gbps) 580 MiB/秒 (4.8 Gbps)
NFSv4 - 1 執行緒 355 MiB/秒 (3.0 Gbps) 590 MiB/秒 (4.9 Gbps) 340 MiB/秒 (2.9 Gbps)
NFSv4 - 8 個執行緒 575 MiB/秒 (4.8 Gbps) 590 MiB/秒 (4.9 Gbps) 575 MiB/秒 (4.8 Gbps)
SMBV3 - 1 個執行緒 230 MiB/秒 (1.9 Gbps) 325 MiB/秒 (2.7 Gbps) 245 MiB/秒 (2.0 Gbps)
SMBV3 - 8 個執行緒 585 MiB/秒 (4.9 Gbps) 590 MiB/秒 (4.9 Gbps) 580 MiB/秒 (4.8 Gbps)

Windows 用戶端上的檔案閘道效能

範例組態 通訊協定 寫入輸送量 (檔案大小 1 GB) 快取命中讀取輸送量 快取遺漏讀取輸送量

根磁碟:80 GB、io1 SSD、4000 IOPS

快取磁碟:512 GiB 快取、io1、1,500 佈建 IOPS

最低網路效能:10 Gbps

CPU:16 vCPU | RAM: 32 GB

建議 Windows 使用 SMB 通訊協定

SMBV3 - 1 個執行緒 150 MiB/秒 (1.3 Gbps) 180 MiB/秒 (1.5 Gbps) 20 MiB/秒 (0.2 Gbps)
SMBV3 - 8 個執行緒 190 MiB/秒 (1.6 Gbps) 335 MiB/秒 (2.8 Gbps) 195 MiB/秒 (1.6 Gbps)
NFSv3 - 1 執行緒 每秒 95 MiB (0.8 Gbps) 130 MiB/秒 (1.1 Gbps) 20 MiB/秒 (0.2 Gbps)
NFSv3 - 8 個執行緒 190 MiB/秒 (1.6 Gbps) 330 MiB/秒 (2.8 Gbps) 190 MiB/秒 (1.6 Gbps)

Storage Gateway 硬體設備

最低網路效能:10 Gbps

SMBV3 - 1 個執行緒 230 MiB/秒 (1.9 Gbps) 255 MiB/秒 (2.1 Gbps) 20 MiB/秒 (0.2 Gbps)
SMBV3 - 8 個執行緒 835 MiB/秒 (7.0 Gbps) 475 MiB/秒 (4.0 Gbps) 195 MiB/秒 (1.6 Gbps)
NFSv3 - 1 執行緒 135 MiB/秒 (1.1 Gbps) 185 MiB/秒 (1.6 Gbps) 20 MiB/秒 (0.2 Gbps)
NFSv3 - 8 個執行緒 545 MiB/秒 (4.6 Gbps) 470 MiB/秒 (4.0 Gbps) 190 MiB/秒 (1.6 Gbps)

根磁碟:80 GB、io1 SSD、4000 IOPS

快取磁碟:4 x 2 TB NVME 快取磁碟

最低網路效能:10 Gbps

CPU:32 vCPU | RAM:244 GB

建議 Windows 使用 SMB 通訊協定

SMBV3 - 1 個執行緒 230 MiB/秒 (1.9 Gbps) 265 MiB/秒 (2.2 Gbps) 30 MiB/秒 (0.3 Gbps)
SMBV3 - 8 個執行緒 835 MiB/秒 (7.0 Gbps) 780 MiB/秒 (6.5 Gbps) 250 MiB/秒 (2.1 Gbps)
NFSv3 - 1 執行緒 135 MiB/秒 (1.1. Gbps) 220 MiB/秒 (1.8 Gbps) 30 MiB/秒 (0.3 Gbps)
NFSv3 - 8 個執行緒 545 MiB/秒 (4.6 Gbps) 570 MiB/秒 (4.8 Gbps) 240 MiB/秒 (2.0 Gbps)
注意

效能可能會根據您的主機平台組態和網路頻寬而有所不同。寫入輸送量效能會隨著檔案大小而降低,小型檔案 (小於 32MiB) 可達到的最高輸送量為每秒 16 個檔案。

具有多個檔案共享之閘道的效能指導

Amazon S3 File Gateway 支援將最多 50 個檔案共用連接到單一 Storage Gateway 設備。透過為每個閘道新增多個檔案共享,您可以支援更多使用者和工作負載,同時管理較少的閘道和虛擬硬體資源。除了其他因素之外,閘道管理的檔案共用數量可能會影響閘道的效能。本節說明閘道效能預期如何根據連接的檔案共用數量而變更,並建議虛擬硬體組態,以最佳化管理多個共用的閘道效能。

一般而言,增加由單一 Storage Gateway 管理的檔案共用數量可能會產生下列後果:

  • 重新啟動閘道所需的時間增加。

  • 增加虛擬硬體資源的使用率,例如 vCPU 和 RAM。

  • 如果虛擬硬體資源飽和,則降低資料和中繼資料操作的效能。

下表列出管理多個檔案共享之閘道的建議虛擬硬體組態:

每個閘道的檔案共享 建議的閘道容量設定 建議的 vCPU 核心 建議的 RAM 建議的磁碟大小

1-10

小型

4 (EC2 執行個體類型 m4.xlarge 或更高版本)

16 GiB

80 GiB

10-20

8 (EC2 執行個體類型 m4.2xlarge 或更高)

32 GiB

160 GiB

20+

大型

16 (EC2 執行個體類型 m4.4xlarge 或更高)

64 GiB

240 GiB

除了上述建議的虛擬硬體組態之外,我們建議您使用下列最佳實務來設定和維護管理多個檔案共享的 Storage Gateway 設備:

  • 請考慮檔案共用數量與對閘道虛擬硬體提出的需求之間的關係不一定是線性的。有些檔案共享可能會產生更多輸送量,因此比其他檔案共享更多的硬體需求。上表中的建議是根據最大硬體容量和各種檔案共用輸送量層級。

  • 如果您發現將多個檔案共享新增至單一閘道會降低效能,請考慮將最作用中的檔案共享移至其他閘道。特別是,如果檔案共享用於very-high-throughput的應用程式,請考慮為該檔案共享建立單獨的閘道。

  • 我們不建議為多個高輸送量應用程式設定一個閘道,為多個低輸送量應用程式設定另一個閘道。反之,請嘗試將高和低輸送量檔案共用平均分散到閘道,以平衡硬體飽和度。若要測量檔案共享輸送量,請使用 ReadBytesWriteBytes指標。如需詳細資訊,請參閱了解檔案共享指標