ESXiには入れたので今度はWindows君にご登場願いましょう
今回使うInfinibandアダプタは前回と同じく、
ConnectX-2 MHQH19B-XTR(MT26428)
こんなところに良い資料が!!
http://www.slideshare.net/detteiu/infiniband-hackathon-2-windows
早速落としてきましょう。
http://www.mellanox.com/page/products_dyn?product_family=32&mtag=windows_driver
「WinOF-2」のほうが新しいのですが、
Unsupported Functionality/Features This version of the driver is limited to Ethernet only. Support for InfiniBand will be in future releases. The following are the unsupported functionalities/features in WinOF-2 Rev 1.10: • IPoIB • SR-IOV • Header Data Split • WoL • Encapsulation offl
ということなので、IPoIBが使えません。。。
おとなしく「WinOF」を使いましょう。
WinOF Driver: MLNX_VPI_WinOF-4_95_All_win2012R2_x64.exe
http://www.mellanox.com/related-docs/prod_software/MLNX_VPI_WinOF_User_Manual_v4.95.pdf
インストールは特に問題ないと思います。
あとは、SubnetManagerをWindowsが管理するようにしてあげます
「3.2.2 OpenSM – Subnet Manager」
sc create OpenSM binPath= "c:\Program Files\Mellanox\MLNX_VPI\IB\Tools\opensm.exe --service" start= auto sc start OpenSM
これでサービスとして上がるはずです。
*注意*
今回使用したConnectx2は4.80以降はサポートされていませんでした。
http://www.mellanox.com/related-docs/prod_software/MLNX_VPI_WinOF_Release_Notes_Rev_4.90.pdf
Unsupported Functionality/Features The following are the unsupported functionalities/features in WinOF Rev 4.90.50000: • ND over WinVerbs provider • SRP • IPv6 over IPoIB Team ports • VMQ over IPoIB team ports • Configure IPoIB team through PowerShell • ConnectX®-2 adapter cards
サポートされてるのは、「4.80」
http://www.mellanox.com/related-docs/prod_software/MLNX_VPI_WinOF_Release_Notes_Rev_4.80.pdf
僕の場合は、エラーで上げられませんでした。。。
がESXiとは通信出来ています。。。
*注意*
MTUのこのエラー、4.80にしたら出なくなりました。。
エラーログ
ログの名前: System ソース: ipoib6x 日付: 2015/09/13 11:30:37 イベント ID: 53 タスクのカテゴリ: なし レベル: エラー キーワード: クラシック ユーザー: N/A コンピューター: WIN 説明: According to the configuration under the "Jumbo Packets" advanced property, the MTU configured for device Mellanox ConnectX-2 IPoIB Adapter is 4092. The effective MTU is the supplied value + 4 bytes (for the IPoIB header). This configuration exceeds the MTU reported by OpenSM, which is 2048. This inconsistency may result in communication failures. Please change the MTU of IPoIB or OpenSM, and restart the driver. イベント XML: <Event xmlns="http://schemas.microsoft.com/win/2004/08/events/event"> <System> <Provider Name="ipoib6x" /> <EventID Qualifiers="49159">53</EventID> <Level>2</Level> <Task>0</Task> <Keywords>0x80000000000000</Keywords> <TimeCreated SystemTime="2015-09-13T02:30:37.895396300Z" /> <EventRecordID>1356</EventRecordID> <Channel>System</Channel> <Computer>WIN</Computer> <Security /> </System> <EventData> <Data> </Data> <Data>Mellanox ConnectX-2 IPoIB Adapter</Data> <Data>4092</Data> <Data>2048</Data> <Binary>000000000400300000000000350007C0000000000000000000000000000000000000000000000000</Binary> </EventData>a </Event>
MTU周りみたいですが。。。
*注意*
以下のログは僕がサービスの登録はミスっていました。
普通なら出ないです。。
こちらはサービスを上げようとしたときのエラー
ログの名前: System ソース: Service Control Manager 日付: 2015/09/13 11:35:01 イベント ID: 7009 タスクのカテゴリ: なし レベル: エラー キーワード: クラシック ユーザー: N/A コンピューター: WIN 説明: OpenSM サービスの接続を待機中にタイムアウト (30000 ミリ秒) になりました。 イベント XML: <Event xmlns="http://schemas.microsoft.com/win/2004/08/events/event"> <System> <Provider Name="Service Control Manager" Guid="{555908d1-a6d7-4695-8e1e-26931d2012f4}" EventSourceName="Service Control Manager" /> <EventID Qualifiers="49152">7009</EventID> <Version>0</Version> <Level>2</Level> <Task>0</Task> <Opcode>0</Opcode> <Keywords>0x8080000000000000</Keywords> <TimeCreated SystemTime="2015-09-13T02:35:01.515850200Z" /> <EventRecordID>1395</EventRecordID> <Correlation /> <Execution ProcessID="560" ThreadID="1548" /> <Channel>System</Channel> <Computer>WIN</Computer> <Security /> </System> <EventData> <Data Name="param1">30000</Data> <Data Name="param2">OpenSM</Data> <Binary>4F00700065006E0053004D000000</Binary> </EventData> </Event>
と
ログの名前: System ソース: Service Control Manager 日付: 2015/09/13 11:35:01 イベント ID: 7000 タスクのカテゴリ: なし レベル: エラー キーワード: クラシック ユーザー: N/A コンピューター: WIN 説明: OpenSM サービスを、次のエラーが原因で開始できませんでした: そのサービスは指定時間内に開始要求または制御要求に応答しませんでした。 イベント XML: <Event xmlns="http://schemas.microsoft.com/win/2004/08/events/event"> <System> <Provider Name="Service Control Manager" Guid="{555908d1-a6d7-4695-8e1e-26931d2012f4}" EventSourceName="Service Control Manager" /> <EventID Qualifiers="49152">7000</EventID> <Version>0</Version> <Level>2</Level> <Task>0</Task> <Opcode>0</Opcode> <Keywords>0x8080000000000000</Keywords> <TimeCreated SystemTime="2015-09-13T02:35:01.515850200Z" /> <EventRecordID>1396</EventRecordID> <Correlation /> <Execution ProcessID="560" ThreadID="1548" /> <Channel>System</Channel> <Computer>WIN</Computer> <Security /> </System> <EventData> <Data Name="param1">OpenSM</Data> <Data Name="param2">%%1053</Data> <Binary>4F00700065006E0053004D000000</Binary> </EventData> </Event>
とりあえずは動いているようですが、
なんなんでしょう。。。
NFSを構成してESXiのデータストアにしたり
iSCSIにしてみたり楽しい!!