SYS-821GE-TNHR H100 8GPU¶
最初に¶
- このページは 「高火力 PHY」 の 「SYS-821GE-TNHR H100 8GPU」 の出荷時の基本情報や提供状態、知っておくと便利な情報をまとめたサーバー運用経験者向けの資料マニュアルです。
- このページを読む前に、必ず「 最初にお読みください 」をお読みください。
このページで表現している「出荷」とは、以下の状態を指します。
契約したサーバー(またはサービス)をユーザーの手にお届けしたときの状態・設定
OSまたは該当のアプリケーションをインストール(再インストールを含む)したときの状態・設定
- 提供するサーバーやOS、機材やオプションの「販売終了・提供終了」以降は、対象のマニュアルの改定・更新は停止します。更新が停止してから一定の期間経過した時点で、インターネットでの公開を終了します。 詳しくは マニュアルの情報凍結とライフサイクル をご覧ください。
- インターネットでの閲覧が終了したマニュアルが必要になったときは、カスタマーセンターへお問い合わせください。
- 弊社の都合により、予告なく閲覧の取り下げ、または公開を終了する場合があります。
- 「高火力 PHY」 で提供しております広帯域のインターコネクトネットワークでは、サーバー間で相互に通信可能な範囲をセクションと定義しております。モデル毎にセクションが決まっており、異なるセクション間でのインターコネクト接続はご利用いただけません。
モデル |
セクション |
---|---|
SYS-821GE-TNHR H100 8GPU
|
A
|
SYS-821GE-TNHR H100 8GPU Sec.B
|
B
|
SYS-821GE-TNHR H100 8GPU Sec.C
|
C
|
サービス概要¶
このマニュアルが対象とするサービスは以下の通りです。
サービス名称 |
高火力 PHY |
---|---|
モデル名称 |
SYS-821GE-TNHR H100 8GPU |
提供開始 |
2024年1月 |
提供終了 |
-- |
基本情報¶
ハードウェア・筐体¶
「SYS-821GE-TNHR H100 8GPU」 モデルのハードウェア構成は以下の通りです。 ハードウェアアップグレードオプションを契約していない場合は「標準構成」のハードウェアが提供されます。
筐体販売元 |
Supermicro |
---|---|
筐体名称 |
SuperServer SYS-821GE-TNHR |
CPU |
Intel Xeon Platinum 8480+ 2.0GHz (56コア) x 2CPU |
メモリー |
・2TB
|
GPU |
NVIDIA H100 80GB x 8 |
NVMeストレージ
*1
|
RAIDコントローラー搭載
・SSD 400GB x 2
RAIDコントローラー非搭載
・SSD 7.68TGB x 4
|
RAIDコントローラー
|
Broadcom SAS-3808
・FBU *2 : ×
|
NICとポート
|
6port
----
・10G x 2 port
・200G x 4 port *3
|
電源供給 |
・冗長化:○
|
*1 ストレージの増設はできません。
*2 「フラッシュ・バックアップ・ユニット」。サーバーの不意な電源遮断が発生したとき、キャッシュ内のデータを退避する電力を供給することでデータ損失のリスクを軽減する装置です。
*3 詳細は 「インターコネクト」 をご確認ください。
OS¶
OS |
---|
ネットワーク¶
NICと推奨構成¶
NIC |
2 Port
・ 10G x 2 Port
|
---|---|
使用できる構成 |
|
重要
ネットワークの冗長性が失われるため、ネットワークの可用性が低下する
ネットワークの帯域幅がボンディングの半分になる
品質保証(SLA) 適用対象外になる
Note
接続回線¶
グローバルネットワーク¶
![../../_images/phy_gn02.png](../../_images/phy_gn02.png)
グローバルネットワークの接続例¶
重要
「共用グローバルネットワーク」と「専用グローバルネットワーク(オプション)」を同時に接続する ことはできません。
共用グローバルネットワーク
|
専用グローバルネットワーク *1
|
|
---|---|---|
提供方式 |
共用セグメント
・共用のアドレスブロックからIPアドレスを1つ付与
|
専用セグメント
・専用のアドレスブロックを付与
(アドレスブロックから自由に利用可)
|
制御方式 |
帯域制御 |
帯域制御 |
接続回線帯域 |
100Mbps (標準構成)
250Mbps *2
500Mbps *2
|
100Mbps
250Mbps
500Mbps
|
*1 独立したグローバルネットワークに接続し、アドレスブロックを付与するオプションです。
*2 「回線オプション」サービス。 ネットワークの帯域をアップグレードするプランです。
Note
共用グローバルネットワークのIPアドレスについて
共用グローバルネットワークに接続すると、空きIPアドレスプールからIPアドレスを1つ割り当てます。 任意のアドレスを選ぶことはできません。
長い期間 共用グローバルネットワークがサーバーから取り外された状態が続くと、共用グローバルネットワークのIPアドレスが次の利用のために 空きIPアドレスプールへ解放されてしまいます。以前使用していたIPアドレスが利用出来なくなりますので、取り外しを行うときは注意してください。
ローカルネットワーク¶
ローカルネットワーク |
|
---|---|
制御方式 |
帯域制御
|
接続回線帯域 |
4Gbps (標準構成)
10Gbps *1
20Gbps *1
|
*1 「回線オプション」サービス。 ネットワークの帯域をアップグレードするプランです。
ネットワークの接続数について¶
ネットワークの
上限数
|
|
---|---|
グローバルネットワーク |
1 |
ローカルネットワーク |
10 |
ネットワークの接続数は増やすことはできません。
サービス出荷時の状態¶
電源 |
OFF
|
---|---|
OS |
インストールなし
|
RAID構成 |
構成済み
・ストレージの組み合わせに応じて「RAID1」または「RAID10」で提供 *1
|
ネットワーク |
<インターフェース>
・接続中のネットワーク: なし
・ボンディング設定: LACP
・接続ステータス:有効
|
補足事項 |
・OSインストールをおこなうと「共用グローバルネットワーク」の設定がサーバーに自動投入され、すぐに通信できます。
|
*1 RAID構成について
- 基本的にストレージ同種2本を「RAID1」で構成して提供します。標準構成のストレージを含めて、同種4本以上の場合は「RAID10」で提供します。
- RAID構成は コントロールパネルのRAID構成用コンソールなどを用い、自由に変更してください。参考資料 :RAIDとストレージ
オプションサービス¶
基本サービス¶
高火力 PHY のユーザーであれば、いつでも無料でご利用できるサービスです。
サーバーに関する各種操作をブラウザー上で行うことができます。
グラフィカルなユーザーインターフェースで抜群のセルフサービス性を実現します。
![]() コントロールパネル¶ |
|
閉じられた空間で通信するローカルネットワークを、1サーバー最大10個まで接続することができます。
|
|
コントロールパネルの操作でサーバーのリブートが行えない場合は、リブート作業を代行いたします。
|
|
(ウェブアプリケーションファイアウォール)
|
サーバーの通信を解析・検査することで、ウェブアプリケーションの脆弱性を悪用した攻撃から
サーバーを保護し、インジェクションや不正ログインなどの脅威からサーバーを守ります。
|
保守と運用サポート¶
ご依頼に基づいて利用中の機器にコンソール操作を行い、トラブルの原因を調査し報告します。
|
|
コントロールパネルの操作でサーバーのリブートが行えない場合は、リブート作業を代行いたします。
|
ネットワークとアプライアンス¶
高火力 PHY で大規模な構成で運用するときに必要となる機能を提供します。 構成のご相談やラインアップ・お見積りについては カスタマーセンター へお問い合わせください。
独立したグローバルセグメントを割り当て、ほかのユーザーの不要なトラフィックを
排除したお客様だけのネットワークを構築できます。
さらに、オプションの「ロードバランサー」「ファイアウォール」をあわせてご利用
いただくことで可用性の向上や強固なセキュリティを確保したネットワークを実現します。
![]() 構成イメージ¶ |
|
閉じられた空間で通信するローカルネットワークを、1サーバー最大10個まで接続することができます。
|
|
アクセス集中によるサービス品質低下、サーバートラブルなどといった、もしもの場合に備えた
可用性の向上を実現し遅延のない快適な環境を確保します。
|
|
外部からの不正な通信を遮断し、改ざんや乗っ取りからサーバーを守ります。
|
|
独自ドメインやIPアドレスのネームサーバーを提供するサービスです。
複数拠点に分散配置されたさくらインターネットのネームサーバーを追加しお使いの
サーバーのネットワークに対する可用性を強化します。
|
セキュリティ¶
充実したセキュリティサービスで、サーバーの信頼性を向上させるサービスです。 ご相談・お見積りについては カスタマーセンター へお問い合わせください。
高い検知精度であなたのウェブサイトの改ざんを毎日チェックします。
|
|
サーバーの通信を解析・検査することで、ウェブアプリケーションの脆弱性を
悪用した攻撃からサーバーを保護し、インジェクションや不正ログインなどの脅威
からサーバーを守ります。
「高火力 PHY」 ご契約のお客様はどなたでも利用することができます
|
|
あなたのサイトの正当性を証明し、ウェブブラウザーとサーバー間の通信内容を
第三者によって盗聴・改ざんされるのを防ぎます。低価格で最短即日発行の証明書
から信頼性の高いEV SSL証明書まで、豊富なラインアップをご用意しています。
|
サービス・拠点間接続¶
様々な方式の接続を行い、利便性やセキュリティを向上させるサービスです。
回線事業者の提供する広域イーサネットやインターネットのVPN装置を利用して、
お客様の拠点と弊社サービスをプライベートネットワークとして接続するサービスです。
|
|
異なるサービスやゾーン間をレイヤ2ネットワークで接続するサービスです。
|
インターコネクト¶
複数のノードをご契約いただいた場合、高速なネットワークでサーバー同士を接続可能なインターコネクトが利用可能です。
ネットワーク¶
IPアドレス設定¶
重要
インターフェース名 |
利用可能なネットワーク |
ゲートウェイ |
---|---|---|
p1p0 |
192.168.1.0/24
|
192.168.1.254
|
p3p0 |
192.168.2.0/24
|
192.168.2.254
|
p5p0 |
192.168.3.0/24
|
192.168.3.254
|
p7p0 |
192.168.4.0/24
|
192.168.4.254
|
RoCEv2¶
DSCP値
|
|
---|---|
RDMAトラフィック |
26 |
CNP |
48 |
ジャンボフレーム¶
ibv_devinfo -d mlx5_0
netplanの設定¶
network:
version: 2
ethernets:
p1p0:
dhcp4: false
dhcp6: false
mtu: 4200
addresses:
- 192.168.1.*/24
p3p0:
dhcp4: false
dhcp6: false
mtu: 4200
addresses:
- 192.168.2.*/24
p5p0:
dhcp4: false
dhcp6: false
mtu: 4200
addresses:
- 192.168.3.*/24
p7p0:
dhcp4: false
dhcp6: false
mtu: 4200
addresses:
- 192.168.4.*/24
Tips¶
重要
本項に記載の項目はサーバーをご利用いただく上での参考情報となりますのでご注意ください。 内容については予告なく変更する可能性があります。
nvidia-fabricmanagerのインストール¶
ACS(Access Control Services)の無効化¶
$ sudo lspci -vvv | grep 'Access Control Services' -A2
Capabilities: [1c8 v1] Access Control Services
ACSCap: SrcValid- TransBlk- ReqRedir+ CmpltRedir+ UpstreamFwd- EgressCtrl- DirectTrans+
ACSCtl: SrcValid- TransBlk- ReqRedir- CmpltRedir- UpstreamFwd- EgressCtrl- DirectTrans-
--
Capabilities: [154 v1] Access Control Services
ACSCap: SrcValid- TransBlk- ReqRedir+ CmpltRedir+ UpstreamFwd- EgressCtrl- DirectTrans+
ACSCtl: SrcValid- TransBlk- ReqRedir- CmpltRedir- UpstreamFwd- EgressCtrl- DirectTrans-
--
Capabilities: [1cc v1] Access Control Services
ACSCap: SrcValid+ TransBlk+ ReqRedir+ CmpltRedir+ UpstreamFwd+ EgressCtrl+ DirectTrans+
ACSCtl: SrcValid+ TransBlk- ReqRedir+ CmpltRedir+ UpstreamFwd+ EgressCtrl- DirectTrans- <-- 有効になっている
--
(以下略)
$ sudo lspci -vv -s 17:00.0 | grep 'Access Control Services' -A2
Capabilities: [170 v1] Access Control Services
ACSCap: SrcValid+ TransBlk+ ReqRedir+ CmpltRedir+ UpstreamFwd+ EgressCtrl- DirectTrans+
ACSCtl: SrcValid+ TransBlk- ReqRedir+ CmpltRedir+ UpstreamFwd+ EgressCtrl- DirectTrans-
$ sudo setpci -v -s 17:00.0 ECAP_ACS+6.w=0000
0000:17:00.0 (ecap 000d @170) @176 0000
$ sudo lspci -vv -s 17:00.0 | grep 'Access Control Services' -A2
Capabilities: [170 v1] Access Control Services
ACSCap: SrcValid+ TransBlk+ ReqRedir+ CmpltRedir+ UpstreamFwd+ EgressCtrl- DirectTrans+
ACSCtl: SrcValid- TransBlk- ReqRedir- CmpltRedir- UpstreamFwd- EgressCtrl- DirectTrans-