☆覇者王道☆

☆［速報］mixiが障害の経緯を発表。原因はお盆のアクセス急増ではなく、memcachedの異常終了 － Publickey

だ、そうです。
どこのにキャッシュサーバーを使ってるか、なんてのも関係してくるかも知れませんがWebアクセスが増えれば当然キャッシュアクセスも増えるからキャッシュサーバーも増強しておこうとはならなかったのかな？と思いましたがそれだけで解決しないのがキャッシュの面倒なところかも知れませんね。
例えばmemcachedにバグが有って「トータルで見て有る一定量のレスポンスしか返せない」とか有った上でコアを吐かないのであればもうそれは再現性テストから研究って感じに変わるので嫌な感じですねぇ。
所謂「大規模運用」って経験が無いので想像の域を超えないわけで、でもこの辺はその領域外な気もするし中の人は大変ですねー。
自分なんかは逆に盆休みになると寒くなるサーバーの運用が多いくらいなので（笑）

ハードって突っ込めれば突っ込めるだけ入れた方が良いですけど、分かりやすく「予算」ってのものが壁として存在してるので悩ましい問題です。
その点Googleとかは完全に自作PCレベルなので直ぐ組めるし「取りあえずつっこんどけー。」ってやってから原因究明しても良いし、と学ぶべき所は多い部分も有ります。
でも二日連続とはいえダウンタイムは少ない方だったのかなぁ・・・SNSって考えると異常に長いダウンタイムだったかも知れないけど。