Mellanox MCX512A-ACAT ConnectX-5 シリーズ セットアップ情報¶
最初に¶
本書の目的と構成¶
- このマニュアルは さくらの専用サーバ を利用するユーザー向けの公開資料です。サービスを利用するユーザーが、サーバーの出荷状態や構成情報、操作するための基本的なオペレーションの知識を得る目的で公開しています。
- マニュアルの情報は、ご利用いただくための最小限の情報提供と紹介の範囲にとどめております。細かな操作や最新情報、設定手順、リファレンスについては、提供元ベンダーのドキュメントやヘルプマニュアルを参照してください。
- 一部のマニュアルで一般公開していない情報が一部含まれている場合は、アクセス制限を設けています。
サーバー操作に関する注意と免責事項¶
- サーバーの操作を行うときは「十分な計画」と「検証と動作確認」を行なってください。このマニュアルの中で紹介するオペレーションは、慎重に計画し実行しなければならない操作が多数含まれています。実際のサーバー環境でオペレーションするときは「実行しても問題ないか」「実行の順番に間違いはないか」「実行経過と実行結果の出力」など、よく確認してからおこなってください。
- 「警告」「重要」「注意」が示されている場合は、これに従って作業を行なうようにしてください。間違った操作によって、システムに深刻な打撃を与えてしまった場合、弊社はその責任を負いかねます。
- サーバーのオペレーションシステム(OS)や操作コマンド、ユーティリティーの更新などにより、マニュアルに記載されている内容が使用できなかったり、実行結果が更新・変更されている場合があります。ユーティリティーやコマンドのヘルプ、公式サイト、ユーザーサイトで最新情報をご確認ください。
- 全ての操作は、このマニュアルだけでなくユーティリティーやツールのヘルプ、ベンダーの公式ドキュメントを必ず確認してから行なってください。
- マニュアルの内容については、さくらインターネットは如何なる責任を負うものではありません。
本書内のコマンド・出力結果例について¶
このマニュアル内の入力コマンドやその出力結果は、入力内容や出力結果を把握するためのサンプルです。
利用しているモデルやサーバーの環境、構成、バージョンによって出力結果が異なる場合があります。ご自身の環境で実行した結果を確認してください。
出力結果が非常に長い場合には、確認するポイント部分のみ取り出し、省略して記載しています。
OPTIONS="-Lsd -Lf /dev/null -p /var/run/snmpd.pid udp:161"
# /etc/init.d/network restart
(出力結果)
参考ドキュメント・URL一覧¶
さくらの専用サーバ 提供サービス全般のご紹介
|
|
さくらの専用サーバ サポートサイトトップページ |
|
さくらの専用サーバ コンパネ操作方法について
|
|
提供機器やOSの出荷情報、 RAIDユーティリティー、ストレージ、ネットワーク機器 利用ガイド
|
|
提供のOS・開発元 公式サイト一覧
|
|
提供のハードウェア 公式サイト一覧
|
マニュアルの対象ユーザー¶
サービス¶
このマニュアルが対象とするサービス シリーズは以下の通りです。
さくらの専用サーバ 高火力シリーズ
OSとバージョン¶
このマニュアルが対象とするOSとプラットフォームは以下の通りです。
CentOS 7
Ubuntu 16
Ubuntu 18
Ubuntu 20
Note
マニュアル文中で、「OS名称」で記載がある場合は、上記の対象OSバージョンすべてが該当します。
重要
上記以外のOSやバージョンは、情報提供しておりません。 ベンダーの公式ドキュメントをご参照ください。
デバイスドライバー・ファームウェアの提供バージョン¶
出荷時のドライバー、ファームウェアのバージョン最新は以下の通りです。
ファームウェアバージョン：16.26.1040
ドライバーバージョン： OFED 4.9-2.2.4.0
Note
Mellanox公式のOpen Fabrics Enterprise Distribution（OFED）ドライバー、ユーティリティーをインストールしています。
重要
提供時のOSではInboxドライバーがロードされています。OFEDに含まれるドライバーを使用する場合は ドライバーバージョンの更新 を参考にビルドを行う必要があります。
デバイスドライバー・ファームウェアの更新情報について¶
ドライバーやファームウェアの更新情報は、ベンダーサイトより入手が可能です。 各バージョンのChange LogやKnown Issueをご確認いただき、必要に応じてドライバー、ファームウェアのアップデートをご検討ください。
ご利用中のファームウェアバージョンの確認方法はこのマニュアル、 ファームウェアバージョンの確認 をご参照ください。
Mellanox MCX512A-ACAT 出荷情報¶
初期出荷時のデバイス設定¶
追加サービス・モジュール¶
Mellanox MCX512A-ACAT を提供するにあたり、いくつかのサービス、モジュールが追加されます。
Ubuntu¶
Ubuntu では以下の関連モジュールがロードされます。
mlx5_ib
ib_uverbs
ib_core
mlx5_core
mlxfw
mlx_compat
vxlan
ptp
以下のサービスがsystemdユニットに登録されます。
openibd
mlnx_interface_mgr
CentOS¶
CentOS では以下の関連モジュールがロードされます。
mlx5_core
mlxfw
devlink
ptp
以下のサービスがsystemdユニットに登録されます。
openibd
mlnx_interface_mgr
セットアップ情報¶
ローカル接続¶
さくらの専用サーバ高火力シリーズ・スタンダードモデルでは、Mellanox MCX512A-ACAT はローカル接続に使用されるNICとなります。 ローカル接続の設定方法については各ご利用OSのOSセットアップ情報をご参照ください。
重要
重要
ローカル接続でのアップリンク速度は10GbEとなります。
ドライバー、ユーティリティーのインストール¶
サーバー出荷時状態ではMellanox公式のOFEDドライバーのソースパッケージを利用し インストールスクリプトを利用してインストールを行っています。
重要
カーネルのアップデートなどを行うときに、ドライバーのビルドとインストールが必要になる場合があります。
セットアップ構成情報¶
初期出荷時のファイル構成は以下の通りとなります。
OS |
|
|---|---|
ソースディレクトリ |
/opt/mellanox/MLNX_OFED_SRC-4.9-2.2.4.0 |
OFEDドライバーソース |
/opt/mellanox/MLNX_OFED_SRC-4.9-2.2.4.0.tgz |
セットアップのインストールオプション¶
/opt/mellanox/MLNX_OFED_SRC-[ドライバーバージョン]/install.pl --basic --without-dkms --distro ubuntu20.04 --force
/opt/mellanox/MLNX_OFED_SRC-[ドライバーバージョン]/install.pl --basic --without-dkms --distro ubuntu18.04 --force
/opt/mellanox/MLNX_OFED_SRC-[ドライバーバージョン]/install.pl --basic --without-dkms --without-mlnx-iproute2 --force
/opt/mellanox/MLNX_OFED_SRC-[ドライバーバージョン]/install.pl --basic --distro rhel7.3
重要
サーバー出荷時状態では、「dkms」や「OFED」に含まれる一部のパッケージの導入を行っていません。 オプションの導入が必要な場合は ドライバーバージョンの更新 を参考に ドライバーの再インストールを行ってください。
ドライバー・ユーティリティーの更新¶
このマニュアルで紹介しているアップデート方法の他、ビルド済みのパッケージファイルやローカルリポジトリを利用したアップデート手段についてはベンダー公式のドキュメントをご参照ください。
注意事項¶
更新を行う前に、注意事項をよく確認ください。
アップデート処理によりローカル接続が切断されます。
ファームウェア、ドライバーのアップデートを行う前に、データのバックアップを行ってください。
作業は管理者権限のあるユーザーで行ってください。
ドライバーバージョンの確認¶
以下のコマンドでインストール済みのOFEDドライバーバージョンの確認が可能です。
# ofed_info -n
ドライバーバージョンの更新¶
ベンダーサイトからソースを取得し、サーバー上に設置します。 ソースを解凍します。
# tar zxf MLNX_OFED_SRC-[ドライバーバージョン].tgz
# tar zxf MLNX_OFED_SRC-[ドライバーバージョン].tgz
解凍されたディレクトリのインストールスクリプトを実行します。
# cd MLNX_OFED_SRC-[ドライバーバージョン]
# ./install.pl --basic
重要
インストールスクリプトの詳細、各種オプションについてはベンダードキュメントを参照ください。
ファームウェアの更新¶
ファームウェアバージョンの確認¶
ファームウェアツールのインストール¶
ベンダー公式サイトからMellanox Firmware Tools (MFT)を入手しサーバー上に設置します
アーカイブ内のインストールスクリプトを実行します。
# tar zxf mft-x.xx.x-xxx-x86_64-deb.tgz
# cd mft-x.xx.x-xxx-x86_64-deb
# ./install.sh
# tar zxf mft-x.xx.x-xxx-x86_64-rpm.tgz
# cd mft-x.xx.x-xxx-x86_64-rpm
# ./install.sh
ファームウェアツールの実行¶
「mlxfwmanger」コマンドを実行します。
# mlxfwmanager
Querying Mellanox devices firmware ...
Device #1:
----------
Device Type: ConnectX5
Part Number: MCX512A-ACA_Ax
Description: ConnectX-5 EN network interface card; 10/25GbE dual-port SFP28; PCIe3.0 x8; tall bracket; ROHS R6
PSID: MT_0000000080
PCI Device Name: 0000:06:00.0
Base GUID: 98039b03008fcb0c
Base MAC: 98039b8fcb0c
Versions: Current Available
FW 16.26.1040 N/A # (1)
PXE 3.5.0803 N/A
UEFI 14.19.0014 N/A
Status: No matching image found # (1)
(1) アップデート可能なFWが存在する場合Available、Status項目に表示されます。
ファームウェアバージョンの更新¶
「mlxfwmanager」コマンドでファームウェアのアップデートができます。
root権限にて以下のコマンドを実行します。
# mlxfwmanager -u
「MFT」「mlxfwmanager」の利用方法は、公式のUser Manualをご確認ください。