このサイトは、もともと作者の自分用メモとして書き始めたものです。書いてあることが全て正しいとは限りません。他の文献、オフィシャルなサイトも確認して、自己責任にて利用してください。

Proxy Balancerの使い方

Apache 2.2 から実装されたプロキシバランサを、左図のような構図で使うことを想定する。リバースプロキシはユーザ(インターネット) からの全ての http リクエスト と https リクエストをロードバランスして実サーバ 1, 2 へ振り分ける。 https の場合は、リバースプロキシがリクエスト内容の暗号化をほどいてから実サーバ (バックエンドサーバ) に HTTPリクエストを送る。つまり SSLキーはリバースプロキシにだけ置いておけばいい。

このやりかたでは、実サーバのドキュメント空間をリバースプロキシのローカルドキュメント空間に割り付ける (概念的には alias に近い) イメージになるので、帰りのトラフィックもリバースプロキシを通る。 SSL通信の場合、実サーバからリバースプロキシへは平文でレスポンスが返され、リバースプロキシがそれを暗号化してからリクエストユーザへ返す。その点から、SSLを使う場合のプロキシサーバの仕事量は比較的重く、どちらかといえば実サーバよりもリバースプロキシのほうに立派なハードウェアを与えてやりたい。

2台の実サーバとも、各々の Apache上の ServerName には、インターネットユーザが解決可能な同一のサーバ名を設定する。もちろん、マシンとしてのホスト名は内部ネットワーク内で解決できるものでさえあればよく、例では real1.hoge.local, real2.hoge.local としている。

設定方法は、設定例のかたちで示すことにしよう。

プロキシマシンのhttpd.conf

# 前略
 
# Dynamic Shared Object (DSO) Support
# このサーバはリバースプロキシ専用なので、ほとんどのモジュールは要らない。
# 以下はプロキシバランサとして必須のものだけで、これ以外にも基本モジュールが要る。
#
LoadModule include_module /usr/lib/httpd/modules/mod_include.so
LoadModule headers_module /usr/lib/httpd/modules/mod_headers.so
LoadModule proxy_module /usr/lib/httpd/modules/mod_proxy.so
LoadModule proxy_http_module /usr/lib/httpd/modules/mod_proxy_http.so
LoadModule proxy_balancer_module /usr/lib/httpd/modules/mod_proxy_balancer.so
LoadModule status_module /usr/lib/httpd/modules/mod_status.so
# ロードしておいた方がよさそう
LoadModule dir_module /usr/lib/httpd/modules/mod_dir.so
 
# ここでSSL設定ファイル以外を読み込む。conf.d/ssl.conf は conf-ssl にリネームしておく
Include conf.d/*.conf
 
## 中略
#
# 通常のサーバ設定類がここに入る。
#
##
 
# ここからがロードバランサ設定の核心
<IfModule mod_proxy.c>
    # `ProxyVia On' や `AllowCONNECT 443' をやってはいけない。
    # ProxyRequests は必ず off に。
    ProxyRequests Off
 
    # バランサマネージャインターフェイスを使えるようにする
    <Location /balancer-manager>
        SetHandler balancer-manager
        Order allow,deny
        Allow From 127.0.0.1
    </Location>
 
    # 実サーバへ転送しないURI
    ProxyPass /manual/ !
    ProxyPass /server-status !
    ProxyPass /server-info !
    ProxyPass /balancer-manager !
 
    # 振り分けせずに常に決まった実サーバへ回したいロケーションがあれば、先に書いておく
    #ProxyPass /chome http://real1.hoge.local/chme
 
    # `/' つまり全てのリクエストURIをバランサ仮想ワーカーにアサインする。
    # stickysession パラメータを指定すれば `...hoge.php?mysessid=xxx'
    # といったリクエストの xxx を加味して振り分け先実サーバが決定されるので、
    # 一続きのCGIセッションが別の実サーバに振り分けられてしまうことがない。
    ProxyPass / balancer://clusterflat/
    ProxySet balancer://clusterflat/ \
        timeout=5 stickysession=mysessid
 
    # リバースプロキシとしての基本設定。Apache Doc の `mod_proxy' 参照
    ProxyPassReverse / http://real1.hoge.local/
    ProxyPassReverse / http://real2.hoge.local/
 
    # 負荷分散実サーバの指定。timeout はこちらでも設定した方がよい。
    <Proxy balancer://clusterflat>
        # 実サーバ 1
        BalancerMember http://real1.hoge.local \
            loadfactor=50 timeout=5 keepalive=on route=14
        # 実サーバ 2
        BalancerMember http://real2.hoge.local \
            loadfactor=50 timeout=5 keepalive=on route=15
    </Proxy>
 
    # おまけだが、実サーバのCGI処理でSSLか非SSLか判定したい場合のディレクティブ。
    # X-SSL-REQ ヘッダ (ヘッダ名は自由) には、リクエストスキームが https://
    # だった場合には `1'、そうでない場合には `0' がセットされて実サーバへ
    # 転送される。
    RequestHeader set X-SSL-REQ %{HTTPS}s
 
</IfModule>
 
# ここで SSL設定ファイルをインクルードする
Include conf.d/conf-ssl
 
### Section 3: Virtual Hosts
#
#NameVirtualHost *:80
 
<VirtualHost _default_:80>
    ServerName www.hoge.com:80
    LogLevel warn
 
    # ユーザからのリクエストヘッダにあるHOSTヘッダは実サーバへそのまま伝える。
    # ネームベースのバーチャルホストを使っている場合には必須。
    ProxyPreserveHost On
 
    ## このプロキシサーバと実サーバとの通信もSSL化したい場合(通常はそうする必要なし)
    ## には、以下をアンコメントする。同時に、SSL設定ファイル内の同様の部分もアンコメ
    ## ントし、メインブロックの `<IfModule mod_proxy.c>..</IfModule>' 内の同様の部分
    ## はコメントアウトする。
    #ProxyPass / balancer://clusterflat/
    #ProxySet balancer://clusterflat/ \
    #    timeout=5 stickysession=mysessid
    #
    #ProxyPassReverse / http://real1.hoge.local/
    #ProxyPassReverse / http://real2.hoge.local/
    #
    #<Proxy balancer://clusterflat>
    #    BalancerMember http://real1.hoge.local \
    #        loadfactor=50 timeout=5 keepalive=on route=14
    #    BalancerMember http://real2.hoge.local \
    #        loadfactor=50 timeout=5 keepalive=on route=15
    #</Proxy>
 
</VirtualHost>

プロキシマシンのconf.d/conf-ssl

LoadModule ssl_module /usr/lib/httpd/modules/mod_ssl.so
 
## 中略
#
# 通常のSSL設定類がここに入る
#
##
 
#NameVirtualHost *:443
  
<VirtualHost *:443>
    ServerName www.hoge.com:443
    LogLevel warn
 
    ## 中略
    #
    # 通常の設定類がここに入る
    #
    ##
 
    # ユーザからのリクエストヘッダにあるHOSTヘッダは実サーバへそのまま伝える。
    # ネームベースのバーチャルホストを使っている場合には必須。
    ProxyPreserveHost On
 
    ## このプロキシサーバと実サーバとの通信もSSL化したい場合(通常はそうする必要はない)
    ## には、以下をアンコメントする。同時に、メイン設定ファイル内の同様の部分もアンコ
    ## メントし、メインブロックの `<IfModule mod_proxy.c>..</IfModule>' 内の同様の部分
    ## はコメントアウトする。詳しい解説はメイン設定ファイルの方を参照のこと。
    #ProxyPass / balancer://clusterssl/
    #ProxySet balancer://clusterssl/ \
    #    timeout=5 stickysession=mysessid
    #
    #ProxyPassReverse / https://real1.hoge.local/
    #ProxyPassReverse / https://real2.hoge.local/
    #
    #<Proxy balancer://clusterssl>
    #    # 実サーバ 1
    #    BalancerMember https://real1.hoge.local:443 \
    #        loadfactor=50 timeout=5 keepalive=on route=14
    #    # 実サーバ 2
    #    BalancerMember https://real2.hoge.local:443 \
    #        loadfactor=50 timeout=5 keepalive=on route=15
    #</Proxy>
 
</VirtualHost>

ProxySet は、ProxyPass に渡すオプションを別途指定するディレクティブ。
`ProxyPass / balancer://clusterflat/ timeout=5 ...'
といった具合に直接 ProxyPass の引数でセットしてもいいのだが、各所でオプションを上書きする場合にはオプションは ProxySet でセットする方が妥当な気がする。あくまでも主観だが。stickysession= の引数は大文字小文字を区別する。もし、リクエストの Cookieヘッダの時は大文字、GETメソッド等でURIのクエリに直接指定する時は小文字という風に異なるなら、stickysession=MYSESSID|mysessid と書けば、バーティカルバーの前がクッキー時、後が直接指定時という解釈になる。

また、Apache 2.2.12 からは、ProxyPassReverse ディレクティブが、バランサメンバを認識するようになった。つまり、ProxyPassReverse をバックエンドサーバの数だけ書く必要がなくなった。よって、その部分は下記のように書くこともできる。少なくとも BalancerMember が http://... である場合は問題なく動いた。ただしバックエンドのプロトコルが ajp://... だったりすると動かないという報告もある。

ProxyPass / balancer://clusterflat/
ProxySet balancer://clusterflat/ \
  timeout=5 stickysession=mysessid
 
ProxyPassReverse / http://real1.hoge.local/
ProxyPassReverse / http://real2.hoge.local/
 
<Proxy balancer://clusterflat>
    BalancerMember http://real1.hoge.local \
      loadfactor=50 timeout=5 keepalive=on route=14
    BalancerMember http://real2.hoge.local \
      loadfactor=50 timeout=5 keepalive=on route=15
</Proxy>
 
ProxyPassReverse / balancer://clusterflat/

BalancerMember の route=xxx は、ロードバランスを機能させるためには事実上必須。というより、Proxy Balancer にとって、ドットより前のセッションID自体はどうでもよく、ドット以降こそが重要なのだ。例のように route=14 とした場合、mod_proxy_balancer は、(StickySession=mysessid だとすると) Webアプリケーションが mysessid=abcdabcdabcd.14 というようなクッキーをクライアントへ発行すること要求する。あらかじめ、Webアプリケーション(例えばPHPやPerl CGI) の方で、それに合わせた実装をしておかなければならない。言うまでもないが、もう一方のバックエンドアプリが発行すべきクッキーは cdefcdefcdef.15 といった具合。ただし、そこがままならない場合もある - Javaアプリケーションサーバがその典型だ。苦肉の策で mod_headers で補完する手 (コラム参照) もある。

複数のドメインを VirtualHost でホスティングしていて、それぞれにバランサの設定 (振り分け割合や stickysession などのパラメータ) を変えたい場合は、バランサを直接仕切るディレクティブと (入れるのであれば) 関連の RewriteRule は各 <VirtualHost> セクション内に書き、グローバルセクションからは削除する。その際には、conf-ssl の <VirtualHost> セクション内にも書かなければならない。balancer定義名は VirtualHost 毎に変えた方が気持ちがいい - 例えば非SSLの VirtualHost ひとつ目で clusterflat にしたなら、2つ目の非SSL VirtualHost では clusterflatdeux にするといった具合だ。

cache_module などをロードしてコンテンツキャッシュを効かせる設定も試みたが、無駄だった。プロキシサーバ自体にあるコンテンツは確かにキャッシュされたが、実サーバから得たコンテンツはキャッシュされなかった。

記述としては些細でありながら重大な落とし穴となるのが、パスの最後のスラッシュの有無だ。基本的に、マッピング先とマッピング元は、スラッシュの有無をそろえないといけない。例えば、

悪い例：

# 前略
... 
# Dynamic Shared Object (DSO) Support
#
...
LoadModule rewrite_module /usr/lib/httpd/modules/mod_rewrite.so
 
## 中略
...
<IfModule mod_proxy.c>
    ProxyRequests Off
 
    RewriteEngine On
 
    ## 中略
    ... 
    <Proxy balancer://clusterflat/>
        # 実サーバ 1
        BalancerMember http://real1.hoge.local \
            loadfactor=50 timeout=5 keepalive=on route=14
        # 実サーバ 2
        BalancerMember http://real2.hoge.local \
            loadfactor=50 timeout=5 keepalive=on route=15
    </Proxy>
 
    RewriteRule ^/(.*)$ balancer://clusterflat/$1 [P]
</IfModule>

このように <Proxy> ブロックのロケーションと BalancerMember の URI とでスラッシュの有無が食い違っていると、クライアントからのリクエストURI の最後に "/" が付いていた場合に実サーバからコンテンツが取ってこれない。RewriteRule による補正でなんとか動作が成り立つが、正しく書けばこんな小細工は不要なのだった。

nzrZ3pm42MWToGb7GZ4vcPWU26O-n7B3dxXYIuNKXTa_1b114EVw!-828310230

...前略
LoadModule headers_module modules/mod_headers.so
...中略
 
<IfModule mod_proxy.c>
...中略

    ProxyPass / balancer://clusterflat/
    ProxySet balancer://clusterflat/ \
        timeout=5 stickysession=SESSROUTE scolonpathdelim=On
 
    <Proxy balancer://clusterflat>
        BalancerMember http://real1.hoge.local:7003 \
            loadfactor=50 timeout=5 keepalive=on route=14
        BalancerMember http://real2.hoge.local:7003 \
            loadfactor=50 timeout=5 keepalive=on route=15
    </Proxy>
 
    ProxyPassReverse / balancer://clusterflat/
 
    Header add Set-Cookie "SESSROUTE=session.%{BALANCER_WORKER_ROUTE}e; path=/" env=BALANCER_ROUTE_CHANGED
</IfModule>

...前略
LoadModule headers_module modules/mod_headers.so
LoadModule rewrite_module modules/mod_rewrite.so
...中略
 
# リクエストのCookieヘッダから"!"以降の数字部だけを取り出して(ヒットすれば)環境変数SESS_ROUTEに投入する
SetEnvIf Cookie "JSESSIONID=[^!;[:blank:]]+!-?([0-9]+)" SESS_ROUTE=$1
 
<IfModule mod_rewrite.c>
# セッションIDを"http://url?jsessionid=...."のようにリクエストボディ自体に載せてきた場合への対処。クッキーもある時はこちらを勝たせる。
    RewriteEngine On
    #RewriteLog logs/rewrite_log
    #RewriteLogLevel 9
    # QUERY_STRINGはSetEnvIfでは読み取れないためmod_rewriteのENV設定アクションを利用
    RewriteCond %{QUERY_STRING} jsessionid=[^!;[:blank:]]+!-?([0-9]+) [NC]
    RewriteRule .* - [E=SESS_ROUTE:%1]
</IfModule>
 
<IfModule mod_proxy.c>
...中略

    ProxyPass / balancer://clusterflat/
    ProxySet balancer://clusterflat/ \
        timeout=5 stickysession=SESSROUTE scolonpathdelim=On
 
    <Proxy balancer://clusterflat>
        BalancerMember http://real1.hoge.local:7003 \
            loadfactor=50 timeout=5 keepalive=on route=828310230
        BalancerMember http://real2.hoge.local:7003 \
            loadfactor=50 timeout=5 keepalive=on route=1152481115
    </Proxy>
 
    ProxyPassReverse / balancer://clusterflat/
 
    Header add Set-Cookie "SESSROUTE=session.%{SESS_ROUTE}e; path=/" env=BALANCER_ROUTE_CHANGED
</IfModule>

# tar xzvf mod_setenvifplus-x.x.src.tar.gz
# cd mod_setenvifplus-x.x/apache2
# vim Makefile.in
<"SH_LDFLAGS += -lcrypto"という行のコメントマークを外す>
# apxs -c -i -a mod_setenvifplus.c

...前略
LoadModule headers_module modules/mod_headers.so
LoadModule ssl_module modules/mod_ssl.so
LoadModule setenvifplus_module modules/mod_setenvifplus.so
...中略
 
# レスポンスのSet-Cookieヘッダから"!"以降の数字部だけを取り出して(ヒットすれば)環境変数SESS_ROUTEに投入する
<Location />
    ResponseSetEnvIfPlus Set-Cookie "JSESSIONID=[^!;[:blank:]]+!-?([0-9]+)" SESS_ROUTE=$1
</Location>
 
<IfModule mod_proxy.c>
...中略

    ProxyPass / balancer://clusterflat/
    ProxySet balancer://clusterflat/ \
        timeout=5 stickysession=SESSROUTE scolonpathdelim=On
 
    <Proxy balancer://clusterflat>
        BalancerMember http://real1.hoge.local:7003 \
            loadfactor=50 timeout=5 keepalive=on route=828310230
        BalancerMember http://real2.hoge.local:7003 \
            loadfactor=50 timeout=5 keepalive=on route=1152481115
    </Proxy>
 
    ProxyPassReverse / balancer://clusterflat/
 
    Header add Set-Cookie "SESSROUTE=session.%{SESS_ROUTE}e; path=/" env=BALANCER_ROUTE_CHANGED
</IfModule>

ファイル/ディレクトリのパーミション設定

以下で指すユーザディレクトリは、 UserDir ディレクティブによる開放の場合だけでなく、 alias ディレクティブなどで開放する DocumentRoot 外のディレクトリも同様。Apache が当該のディレクトリにアクセスできるようにするには、ルートフォルダ / から当該のディレクトリに至る途中のディレクトリも、少なくとも実行ビットが立っていなくてはならない。パーミションそのものに関する考察はこちら。 Apache はユーザ apache、グループ apache で動かしているものとする。

• ユーザdir： user.user 711
  • ユーザdir/www： user.user 711 (ディレクトリインデックスも可能にしたいなら 755)
  • その下のドキュメントファイル： user.user 誰にでも読めること (つまり 644 以上)
• /var/www/： root.root 755
  • /var/www/html/： root.root 755
  • その下のドキュメントファイル： root.root 644 または root.apache 644
• CGI 関係
  • 実行ファイルのあるフォルダ (/var/www/cgi-bin/ など)： root.root 755
    • 実行ファイル： root.root 755 または root.apache 750
    • CGI がファイルや画像を書き出すディレクトリ： root.root 777 または root.apache 770
      • CGI が書き込みを行うファイル： root.root 666 または root.apache 660
• ベーシック認証関係
  • htpasswd ファイルのあるdir： root.root 755
    • htpasswd ファイル： root.apache 640 または root.root 644

必要なモジュール、要らないモジュール

不要なモジュールをロードから外すための参考となるよう、各モジュールの役割を一覧にした。通常最低限必要と思われるモジュールはセルをブルーにした。デフォルトの httpd.conf でいかにたくさんの無用なモジュールがロードされているかが分かる。もちろんサーバの運用方法によって事情は全く異なるので、設定ファイル内で実際に使っているディレクティブを確認しながら慎重に絞り込まなければならない。必要なものまで削ってしまうと、かえってセキュリティや安定性を落とすおそれもある。

Apache 2.2系

`auth' 系のモジュールは、2.0系とは違って auth_*, authn_*, authz_* の 3種類に別れた。authn_* の n は Authentication (「認証」と訳される) であり「アクセス者の身元を確認するため」のモジュール、authz_* の z は Authorization (「承認」) であり「誰がどこへアクセスできるかを決定するため」のモジュール。auth_* はそれら n や z を利用して実際のアクションを行うフロントエンドとなっている。

水色のセルは、最低限必要と思われるモジュール。
Apache 2.0系のモジュール一覧は別ファイルへ引退させた。

mod_ A B C D E F G H I J K L M N O P Q R S T U V W X Y Z