スパインリーフ型ネットワークとは ― 3階層構成との違い

スパインリーフ型は、サーバをつなぐリーフスイッチと、リーフ同士をつなぐスパインスイッチの2種類だけで作るネットワークの構成です。すべてのリーフが、すべてのスパインにつながります。

基本の形では、リーフ同士やスパイン同士は直接つなぎません。別のリーフにいるサーバへ送る通信は、必ずスパインを1台通ります。サーバ同士の通信が増えたデータセンターで、3階層の構成に代わって広まった形です。規模が大きい場合は、スーパースパインと呼ぶ段を上に足し、スパインリーフのまとまり同士をつなぐ3段の形もありますが、以下では2段の基本の形で説明します。

従来のネットワークは、機器の役割で3段に分けて作ります。この構成を3階層構成と呼びます。Ciscoの設計ガイドによると、各層の役割は次のとおりです。

同じガイドは、1つの拠点でディストリビューションが3つを超えるあたりから、コア層を使うよう勧めています。コアへの接続はレイヤ3だけにします。

別のラックにある2台のサーバが通信するときの経路を、2つの構成で比べます。以下では、経路の長さを通るスイッチの台数で数えます。同じアクセススイッチやリーフにつながるサーバ同士なら、通るのは1台です。

3階層構成では、別のディストリビューションの下にあるサーバ同士は5台のスイッチを通ります。同じディストリビューションの下にあるサーバ同士なら、コアを通らず3台です。

スパインリーフ型では、別のリーフにつながるサーバ同士の通信は、どの組み合わせでも3台を通ります。順番は、リーフ、スパイン、リーフです。

East-West通信は、データセンターの中で、サーバ同士がやり取りする横向きの通信です。サーバと利用者の間の通信は、North-South通信と呼びます。

Ciscoのデータセンター保守のホワイトペーパーによると、アプリケーションは大きな1つのプログラムから、複数のサーバに分散する形へ変わりました。これに合わせて、データセンターのネットワークも、3階層のスケールアップ型から、スパインリーフのスケールアウト型へ変わりました。スケールアップは機器を大きくして規模を広げる方法で、スケールアウトは機器を増やして広げる方法です。なお、この資料はデータセンターの3階層をコア・アグリゲーション・アクセスと呼んでいます。真ん中の段のアグリゲーションは、ディストリビューションと同じ位置です。

3階層構成では、別のディストリビューションの下にあるサーバ同士の通信は、必ずコアを通ります。サーバ同士の通信が増えるほど、コアへの回線に通信が集まります。スパインリーフ型では、この通信が複数のスパインに分かれて流れます。

ECMP（Equal-Cost Multi-Path）は、宛先までのコストが等しい経路が複数あるとき、それらをすべて使う仕組みです。OSPFなどの等コストの経路を、負荷分散に使います。

スパインリーフ型では、あるリーフから別のリーフへの経路が、スパインの台数だけあります。リンクの速度をそろえると、どのスパインを通っても経路のコストは等しくなります。リーフは、これらの経路に通信を振り分けます。

CiscoのMSDC（大規模データセンター）のホワイトペーパーによると、スイッチは送信元と宛先のIPアドレスからハッシュ値を計算し、通る経路を決めます。計算には、ポート番号とプロトコルの種類も使います。従来の方式では、構成が変わらない限り、同じ通信は同じ経路を通ります。EtherChannelの通信（フロー）単位の振り分けと同じ考え方です。

Ciscoの構成では、リーフとスパインの間をレイヤ3でつなぎます。レイヤ2のまま配線を冗長にすると、ループを防ぐSTP（スパニングツリー）が一部のポートをブロックします。レイヤ3のリンクならルーティングされるので、この区間でSTPがポートをブロックすることはなく、すべてのスパインへの線を同時に使えます。

次の図でスパインとリーフの台数を選ぶと、経路の数、スパインが止まったときの影響、ケーブルの本数が変わります。各リーフは、すべてのスパインに1本ずつつなぐものとします。スパインの台数は、Ciscoの資料の例に合わせて2台・4台・8台にしています。

スパインを増やすと経路が増え、スパイン1台の負担が小さくなります。リーフを増やすと、サーバをつなぐポートが増えます。その代わり、リーフとスパインの間には、リーフの台数とスパインの台数を掛けた本数のケーブルが必要です。MSDCのホワイトペーパーによると、スパインの最大数はリーフ1台の上りポートの数で、リーフの最大数はスパイン1台のポートの数で決まります。

データセンター保守のホワイトペーパーによると、スパインが4台か8台なら、1台が止まっても失う容量は25%か12.5%です。3階層構成で大型のアグリゲーションスイッチが1台止まったときの50%と比べると、影響は小さく済みます。

2層構成は、3階層構成のコアとディストリビューションを1つにまとめた形です。Ciscoの設計ガイドは、この形をcollapsed coreと呼びます。ディストリビューションが、すべての機器のレイヤ3の集約点になります。

スパインリーフ型もスイッチは2段で、Ciscoの資料は2段のスパインリーフ型と呼んでいます。同じ2段でも、上の段の役割と広げ方が違います。

スパインが2台のスパインリーフ型は、サーバ側から見た接続の形は、冗長化した2層構成と同じです。違いは、上の段を増やせる点と、外部への出口を上の段ではなく専用のリーフに置くことが多い点です。