僕のInfiniband−HCAはetherモードに出来るんです！

IPoverIBもいいですが、
Etherのことも忘れないであげて下さい。

ということでEtherにしてみます。
リンク速度は10Gbpsになるのかな。

デフォルトではIBになっています。

まずは、カードのデバイス情報が必要です。

# mst start
Starting MST (Mellanox Software Tools) driver set
Loading MST PCI module - Success
Loading MST PCI configuration module - Success
Create devices
# mst status
MST modules:
------------
    MST PCI module loaded
    MST PCI configuration module loaded

MST devices:
------------
/dev/mst/mt26428_pci_cr0         - PCI direct access.
                                   domain:bus:dev.fn=0000:01:00.0 bar=0xfea00000 size=0x100000
                                   Chip revision is: B0
/dev/mst/mt26428_pciconf0        - PCI configuration cycles access.
                                   domain:bus:dev.fn=0000:01:00.0 addr.reg=88 data.reg=92
                                   Chip revision is: B0
#

「0000:01:00.0」これが必要。

デフォルトではibなのでetherにしてみます。

# vi /etc/ofed/mlx4.conf

0000:01:00.0 eth
#

これだけ。。。

一旦再起動。

モジュールは

# dmesg |grep mlx4
mlx4_core: Mellanox ConnectX core driver v1.0-ofed1.5.4 (November 10, 2011)
mlx4_core: Initializing 0000:01:00.0
mlx4_core 0000:01:00.0: setting latency timer to 64
mlx4_en: Mellanox ConnectX HCA Ethernet driver v1.5.3 (Jan 2011)
mlx4_en 0000:01:00.0: Using 5 tx rings for port:1
mlx4_en 0000:01:00.0: Defaulting to 8 rx rings for port:1
mlx4_en 0000:01:00.0: Activating port:1
mlx4_en: 0000:01:00.0: Port 1: Using 5 TX rings
mlx4_en: 0000:01:00.0: Port 1: Using 8 RX rings
mlx4_ib: Mellanox ConnectX InfiniBand driver v1.0-ofed1.5.4 (November 10, 2011)
mlx4_en: eth1: Close port called
mlx4_en: eth1: Close port called
mlx4_en: eth1: Close port called

「eth1」になっているようです

こちらでみても

# lsmod |grep mlx4
mlx4_ib               105085  0 
ib_mad                 72037  4 ib_umad,ib_cm,ib_sa,mlx4_ib
ib_core               107841  9 ib_ipoib,ib_umad,ib_iser,rdma_cm,ib_cm,iw_cm,ib_sa,mlx4_ib,ib_mad
mlx4_en               112973  0 
mlx4_core             148873  2 mlx4_ib,mlx4_en

「mlx4_en 」これがetherドライバーです。

起動時にDHCPでIPアドレスを取得できずエラーがでるので
（「ifcfg-eth1」は自動で生成してくれたみたい）

# vi /etc/sysconfig/network-scripts/ifcfg-eth1

# Mellanox Technologies MT26428 [ConnectX VPI PCIe 2.0 5GT/s - IB QDR / 10GigE]
#DEVICE=eth1
#BOOTPROTO=dhcp
#ONBOOT=yes
#HWADDR=00:02:c9:0e:79:3c
DEVICE=eth1
BOOTPROTO=static
BROADCAST=192.168.0.255
IPADDR=192.168.0.100
NETMASK=255.255.255.0
NETWORK=192.168.0.0
ONBOOT=yes

#

こんな感じで設定してあげます。

で

# ifconfig eth1 up
#
# ifconfig eth1

eth1      Link encap:Ethernet  HWaddr 00:02:C9:0E:79:3C  
          UP BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)

きちんと「Link encap:Ethernet」になっています。

情報を見てみる

# ethtool -i eth1
driver: mlx4_en (FJT0D90200009)
version: 1.5.3 (Jan 2011)
firmware-version: 2.9.8350
bus-info: 0000:01:00.0

ファームウェアも見えていますｗ

もちろんIBではないので、
ibstat打っても返答はありません。

つなげる相手がいないので、
どうも実感がないｗ

[tegaki]はやく繋げたい[/tegaki]