Windows2012R2とInfiniband

コメントを残す

ESXiには入れたので今度はWindows君にご登場願いましょう

今回使うInfinibandアダプタは前回と同じく、
ConnectX-2 MHQH19B-XTR（MT26428）

こんなところに良い資料が！！
http://www.slideshare.net/detteiu/infiniband-hackathon-2-windows

早速落としてきましょう。
http://www.mellanox.com/page/products_dyn?product_family=32&mtag=windows_driver

「WinOF-2」のほうが新しいのですが、

Unsupported Functionality/Features
This version of the driver is limited to Ethernet only. Support for InfiniBand will be in future
releases.
The following are the unsupported functionalities/features in WinOF-2 Rev 1.10:
• IPoIB
• SR-IOV
• Header Data Split
• WoL
• Encapsulation offl

ということなので、IPoIBが使えません。。。

おとなしく「WinOF」を使いましょう。
WinOF Driver: MLNX_VPI_WinOF-4_95_All_win2012R2_x64.exe

http://www.mellanox.com/related-docs/prod_software/MLNX_VPI_WinOF_User_Manual_v4.95.pdf
インストールは特に問題ないと思います。

あとは、SubnetManagerをWindowsが管理するようにしてあげます
「3.2.2 OpenSM – Subnet Manager」

sc create OpenSM binPath= "c:\Program Files\Mellanox\MLNX_VPI\IB\Tools\opensm.exe --service" start= auto
sc start OpenSM

これでサービスとして上がるはずです。

＊注意＊
今回使用したConnectx2は4.80以降はサポートされていませんでした。
http://www.mellanox.com/related-docs/prod_software/MLNX_VPI_WinOF_Release_Notes_Rev_4.90.pdf

Unsupported Functionality/Features
The following are the unsupported functionalities/features in WinOF Rev 4.90.50000:
• ND over WinVerbs provider
• SRP
• IPv6 over IPoIB Team ports
• VMQ over IPoIB team ports
• Configure IPoIB team through PowerShell
• ConnectX®-2 adapter cards

サポートされてるのは、「4.80」
http://www.mellanox.com/related-docs/prod_software/MLNX_VPI_WinOF_Release_Notes_Rev_4.80.pdf

僕の場合は、エラーで上げられませんでした。。。
がESXiとは通信出来ています。。。

＊注意＊
MTUのこのエラー、4.80にしたら出なくなりました。。
エラーログ

ログの名前:         System
ソース:           ipoib6x
日付:            2015/09/13 11:30:37
イベント ID:       53
タスクのカテゴリ:      なし
レベル:           エラー
キーワード:         クラシック
ユーザー:          N/A
コンピューター:       WIN
説明:
According to the configuration under the "Jumbo Packets" advanced property, the MTU configured for device Mellanox ConnectX-2 IPoIB Adapter is 4092. The effective MTU is the supplied value + 4 bytes (for the IPoIB header). This configuration exceeds the MTU reported by OpenSM, which is 2048. This inconsistency may result in communication failures. Please change the MTU of IPoIB or OpenSM, and restart the driver.
イベント XML:
<Event xmlns="http://schemas.microsoft.com/win/2004/08/events/event">
  <System>
    <Provider Name="ipoib6x" />
    <EventID Qualifiers="49159">53</EventID>
    <Level>2</Level>
    <Task>0</Task>
    <Keywords>0x80000000000000</Keywords>
    <TimeCreated SystemTime="2015-09-13T02:30:37.895396300Z" />
    <EventRecordID>1356</EventRecordID>
    <Channel>System</Channel>
    <Computer>WIN</Computer>
    <Security />
  </System>
  <EventData>
    <Data>
    </Data>
    <Data>Mellanox ConnectX-2 IPoIB Adapter</Data>
    <Data>4092</Data>
    <Data>2048</Data>
    <Binary>000000000400300000000000350007C0000000000000000000000000000000000000000000000000</Binary>
  </EventData>a
</Event>

MTU周りみたいですが。。。

＊注意＊
以下のログは僕がサービスの登録はミスっていました。
普通なら出ないです。。

こちらはサービスを上げようとしたときのエラー

ログの名前:         System
ソース:           Service Control Manager
日付:            2015/09/13 11:35:01
イベント ID:       7009
タスクのカテゴリ:      なし
レベル:           エラー
キーワード:         クラシック
ユーザー:          N/A
コンピューター:       WIN
説明:
OpenSM サービスの接続を待機中にタイムアウト (30000 ミリ秒) になりました。
イベント XML:
<Event xmlns="http://schemas.microsoft.com/win/2004/08/events/event">
  <System>
    <Provider Name="Service Control Manager" Guid="{555908d1-a6d7-4695-8e1e-26931d2012f4}" EventSourceName="Service Control Manager" />
    <EventID Qualifiers="49152">7009</EventID>
    <Version>0</Version>
    <Level>2</Level>
    <Task>0</Task>
    <Opcode>0</Opcode>
    <Keywords>0x8080000000000000</Keywords>
    <TimeCreated SystemTime="2015-09-13T02:35:01.515850200Z" />
    <EventRecordID>1395</EventRecordID>
    <Correlation />
    <Execution ProcessID="560" ThreadID="1548" />
    <Channel>System</Channel>
    <Computer>WIN</Computer>
    <Security />
  </System>
  <EventData>
    <Data Name="param1">30000</Data>
    <Data Name="param2">OpenSM</Data>
    <Binary>4F00700065006E0053004D000000</Binary>
  </EventData>
</Event>

と

ログの名前:         System
ソース:           Service Control Manager
日付:            2015/09/13 11:35:01
イベント ID:       7000
タスクのカテゴリ:      なし
レベル:           エラー
キーワード:         クラシック
ユーザー:          N/A
コンピューター:       WIN
説明:
OpenSM サービスを、次のエラーが原因で開始できませんでした: 
そのサービスは指定時間内に開始要求または制御要求に応答しませんでした。
イベント XML:
<Event xmlns="http://schemas.microsoft.com/win/2004/08/events/event">
  <System>
    <Provider Name="Service Control Manager" Guid="{555908d1-a6d7-4695-8e1e-26931d2012f4}" EventSourceName="Service Control Manager" />
    <EventID Qualifiers="49152">7000</EventID>
    <Version>0</Version>
    <Level>2</Level>
    <Task>0</Task>
    <Opcode>0</Opcode>
    <Keywords>0x8080000000000000</Keywords>
    <TimeCreated SystemTime="2015-09-13T02:35:01.515850200Z" />
    <EventRecordID>1396</EventRecordID>
    <Correlation />
    <Execution ProcessID="560" ThreadID="1548" />
    <Channel>System</Channel>
    <Computer>WIN</Computer>
    <Security />
  </System>
  <EventData>
    <Data Name="param1">OpenSM</Data>
    <Data Name="param2">%%1053</Data>
    <Binary>4F00700065006E0053004D000000</Binary>
  </EventData>
</Event>

とりあえずは動いているようですが、
なんなんでしょう。。。

NFSを構成してESXiのデータストアにしたり
iSCSIにしてみたり楽しい！！

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

Enter code * Time limit is exhausted. Please reload CAPTCHA.

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください。