05-50111-01 HBAパフォーマンスレポート:遅延とIOPS

このレポートは、テスト対象の最新トライモード・ホスト・バス・アダプタのエンドツーエンドのベンチマーク結果をまとめたもので、NVMe、SAS、SATAメディアにおける測定されたレイテンシとIOPSに焦点を当てています。最近の混合アレイ実行では、メディアやキュー深度に応じて数万から数十万のランダムリードIOPSが示され、p99レイテンシはミリ秒未満から数ミリ秒の範囲でした。本レポートの目的は、これらの測定結果をデータセンター向けの実行可能なガイダンスに変換することです。

05-50111-01 HBA パフォーマンスレポート:レイテンシとIOPS

モジュール仕様およびサポートインターフェース

テスト対象のアダプタは、24個の内部デバイスポートを備え、x16電気レーン構成のPCIe Gen4経由でインターフェースし、トライモードでNVMe、SAS、およびSATAエンドポイントをサポートします。公表されているホスト帯域幅はPCIe Gen4 x16の合計レーン数に準拠しています。テストビルドのファームウェアとドライバセットでは、fw-test-9600とラベル付けされた管理テストビルドと、scsi-test-1.2ドライバを使用しました。

テストラボの構成と方法論

ホストプラットフォーム:デュアルソケット32コアサーバー、512 GB DRAM、Linuxカーネル5.15。ブロックスタック:blk-mq、デフォルトはmq-deadline。IOジェネレータ:マイクロベンチマークおよび混合プロファイル用にfioを使用。テストされたキュー深度はQD1–256、IOサイズは4K/8K/64K/128Kです。

テスト環境の概要

コンポーネント 構成 備考
CPU 2 × 32 コア fioワーカー・スレッド用に分離されたCPU
メモリ 512 GB ラージページ・キャッシングを最小化
OS Linux 5.15 blk-mq 有効
ドライバ/ファームウェア fw-test-9600 / scsi-test-1.2 テストビルド・ラベル
IOジェネレータ fio (以下のサンプル参照) QD1–256、60秒定常状態

レイテンシ・パフォーマンス分析

シーケンシャル対ランダム・プロファイル

シーケンシャル・リード/ライト・レイテンシは、メディア全体で低水準を維持しました。ラージブロック・リード(64K/128K)の平均レイテンシは、スループット制限動作を伴いながらも1ms未満を測定しました。ランダム4K/8Kプロファイルでは差異が見られ、NVMeターゲットは4Kリード平均で約0.12msを達成した一方、SATAエンドポイントは負荷時にスパイクを伴い、2〜5msの範囲となりました。

テールレイテンシ:p95 / p99 / p99.9 分析

テール・パーセンタイルは、平均値では隠れてしまう外れ値を明らかにします。SLA目標に対する推奨p99しきい値:OLTPサービスは1ms未満を目指し、レイテンシに敏感なマイクロサービスは5ms未満を目標とします。

テールレイテンシ比較 (QD32)

NVMe 4K ランダム0.56 ms (p99)
SAS 4K ランダム1.25 ms (p99)
SATA 4K ランダム6.50 ms (p99)
プロファイル p95 p99 p99.9
NVMe 4K0.28 ms0.56 ms1.8 ms
SAS 4K0.72 ms1.25 ms4.2 ms
SATA 4K3.1 ms6.5 ms15.0 ms

IOPSパフォーマンスおよびワークロードの内訳

スモールブロック対ラージブロックのトレードオフ

NVMe 4Kランダムは、QD128でピーク測定値350k〜420k IOPSに達しました。SASドライブは約120k〜180k IOPS、SATAは約25k〜50k IOPSでピークを迎えました。ラージブロックのワークロード(64K以上)では、ボトルネックはホストPCIeの合計帯域幅へとシフトします。

再現可能なfioジョブサンプル (4K ランダム, QD32):
[global]
ioengine=libaio
direct=1
runtime=60
time_based
group_reporting

[random-4k]
bs=4k
iodepth=32
numjobs=8
rw=randread
filename=/dev/sdX

スケーラビリティと並行性

IOPSは、NVMeにおいてQD64〜QD128の「ニー(変曲点)」ポイントに達するまで、キュー深度に応じて線形にスケールしました。70/30のリード/ライト混合環境では、一般的に最大IOPSが純粋なリードと比較して10〜25%低下しました。パフォーマンスの最適化には、飽和を避けるためにスレッド数とデバイスごとのキュー深度のバランスをとる必要があります。

⚙️

チューニングとベストプラクティス

ファームウェアとドライバ

  • 最新の安定版ビルドを優先してください。
  • 過度な割り込み結合(Interrupt Coalescing)を無効にします。
  • 利用可能な場合はMSI-Xを有効にします。

ホスト構成

  • NVMeのスケジューラをnoopに設定します。
  • nr_requestsを2048に増やします。
  • fioのiodepthをアプリのキューイングに合わせます。

導入および監視チェックリスト

サイジング戦略

ワークロードが継続的に20万以上のIOPSを必要とする場合は、スパイクに備えて20〜40%のp99バッファを確保し、2つのNVMeパスを計画してください。

アラートしきい値

  • p99レイテンシが3分間SLAを超過した場合
  • デバイス使用率が継続的に85%を超えた場合
  • キュー深度がニー(変曲点)ポイントを超えて上昇した場合

主な要約

  • アダプタは、ミリ秒未満の平均レイテンシでNVMeメディアにおいて最高のIOPSを提供します。
  • テールレイテンシ (p99) が主な制限要因です。テールの振る舞いを制御するには、割り込み結合を最小限に抑えてください。
  • PCIe Gen4リンクの健全性を確認し、サイジングの際にはバックグラウンドアクティビティのための余力を考慮してください。

よくある質問

05-50111-01 HBAはNVMe対SASのIOPSにどのように影響しますか?
このアダプタはホスト接続性とPCIe帯域幅を提供します。NVMeエンドポイントは、同じアダプタの下でデバイス内部の並列性を活用し、より高いIOPSを実現します。アダプタ自体が制限要因となるのは、合計スループットがPCIeレーン容量に近づいた場合、またはファームウェア設定がキュー処理を制限している場合に限られます。
05-50111-01 HBAでp99レイテンシを低減するチューニングは何ですか?
p99テールレイテンシを低減するには、ファームウェア/ドライバを更新し、MSI-Xを有効にし、過度な割り込み結合を無効にし、低レイテンシ・スケジューラ(noopまたはmq-deadline)を選択し、スレッドごとのキュー深度を制限してください。
切迫したレイテンシ悪化を予測するのに最適な監視メトリクスは何ですか?
主な予測指標には、観測されたニー・ポイントを超えるデバイス・キュー深度の継続的な上昇、デバイス使用率の上昇、リトライまたはエラーカウンターの増加、およびIOを処理するホストコアでの突然のCPU飽和が含まれます。

結論

このパフォーマンスレポートは、05-50111-01 HBAをNVMeメディアと組み合わせ、ホスト設定を適切にチューニングすることで、強力なIOPSと予測可能なレイテンシを実現できることを示しています。実行可能な次のステップ:テスト済みのファームウェア/ドライバビルドを適用し、チューニングチェックリストに従い、安定した稼働を確保するためにp99に焦点を当てたアラート監視を導入してください。

Top