1対1であろうと
Infinibandはトポロジーを構築する際には必ずサブネットマネージャが必要！！

どこでサブネットマネージャが動いているのかなど、
よく使うコマンドについて調べてみました。

ぼくのいえは
一般的なご家庭なので、物理はWindowsとESXiしかなく1対1なのですが
たぶん普通は
WindowsのMellanoxドライバー（WinOF）を入れて

sc create OpenSM binPath= "c:\Program Files\Mellanox\MLNX_VPI\IB\Tools\opensm.exe --service" start= auto sc start OpenSM

みたいにサービスとして登録して動かすと思うのですが、
ESXiでサブネットマネージャを動かしていました。。。

Windows2012R2とInfiniband
ESXi6.0 U1でInfiniband

ハードウェアの情報

PS C:\> ibstat.exe
CA 'ibv_device0'
        CA type:
        Number of ports: 1
        Firmware version: 2.9.8350
        Hardware version: 0xb0
        Node GUID: 0x0002c903000e793c
        System image GUID: 0x0002c903000e793f
    Port 1:
        State: Active
        Physical state: LinkUp
        Rate: 40
        Real rate: 32.00 (QDR)
        Base lid: 2
        LMC: 0
        SM lid: 1
        Capability mask: 0x90580000
        Port GUID: 0x0002c903000e793d
        Link layer: IB
        Transport: IB

もしくは

PS C:\> ibstat.exe
CA 'ibv_device0'
        CA type:
        Number of ports: 1
        Firmware version: 2.9.8350
        Hardware version: 0xb0
        Node GUID: 0x0002c903000e793c
        System image GUID: 0x0002c903000e793f
    Port 1:
        State: Active
        Physical state: LinkUp
        Rate: 40
        Real rate: 32.00 (QDR)
        Base lid: 2
        LMC: 0
        SM lid: 1
        Capability mask: 0x90580000
        Port GUID: 0x0002c903000e793d
        Link layer: IB
        Transport: IB

GUIDやリンクレイヤーなんかが見えます

サブネットマネージャの情報

PS C:\> sminfo
sminfo: sm lid 1 sm guid 0x2c903000e28db, activity count 165119 priority 0 state 3 SMINFO_MASTER

「0x2c903000e28db」がサブネットマネージャ

リンクしているIBの情報

PS C:\> iblinkinfo.exe
CA: esxi2 HCA-1:
      0x0002c903000e28db      1    1[  ] ==( 4X          10.0 Gbps Active/  LinkUp)==>       2    1[  ] "WIN-RX100S6" ()
CA: WIN-RX100S6:
      0x0002c903000e793d      2    1[  ] ==( 4X          10.0 Gbps Active/  LinkUp)==>       1    1[  ] "esxi2 HCA-1" ()
esxi2・・・0x0002c903000e28db
WIN-RX100S6・・・0x0002c903000e793d

リンクしているホスト名とGUIDなんかが見えます

トポロジーにあるIBの一覧

PS C:\> ibnetdiscover.exe
#
# Topology file: generated on Thu May 19 02:00:48 2016
#
# Initiated from node 0002c903000e793c port 0002c903000e793d

vendid=0x2c9
devid=0x673c
sysimgguid=0x2c903000e28dd
caguid=0x2c903000e28da
Ca      1 "H-0002c903000e28da"          # "esxi2 HCA-1"
[1](2c903000e28db)      "H-0002c903000e793c"[1] (2c903000e793d)                 # lid 1 lmc 0 "WIN-RX100S6" lid 2 4xQDR

vendid=0x2c9
devid=0x673c
sysimgguid=0x2c903000e793f
caguid=0x2c903000e793c
Ca      1 "H-0002c903000e793c"          # "WIN-RX100S6"
[1](2c903000e793d)      "H-0002c903000e28da"[1] (2c903000e28db)                 # lid 2 lmc 0 "esxi2 HCA-1" lid 1 4xQDR

デバイスIDなんかまで見えています

IBの帯域測定

PS C:\> ibv_read_bw.exe -h
Usage:
  C:\Program Files\Mellanox\MLNX_VPI\IB\Tools\ibv_read_bw.exe            start a server and wait for connection
  C:\Program Files\Mellanox\MLNX_VPI\IB\Tools\ibv_read_bw.exe <host>     connect to server at <host>

（使ったことが無いのでわからないです、、、）

まずはコマンドを覚えましょう・・・orz