今でこそNetflixやU-NEXTなどの定額制動画配信サービスが完全にインフラとして定着したが、少し前までは漫画村やAnitubeといったグレーなアングラサイトがネットの裏通りに跋扈していた時代があった。
当時、そうしたサイトに張り巡らされていた無数のうざいポップアップ広告やリダイレクトを鬱陶しく思い、「動画や画像データだけを直接引っこ抜いて快適に見られるスクレイピングの仕組み」を趣味半分で構築したことがある。
最初は完全に自分用のビューアとして開発したものだったが、インターネット上に公開した瞬間、想像を絶するアクセスが殺到し恐ろしいPVを記録することになった。しかし、その裏で待っていたのは「不労所得」とは程遠い、泥沼のインフラ運用とイタチごっこの日々だった。
アングラ運営者との仁義なき技術戦：スクレイピング遮断と海外プロキシ運用
爆発的なトラフィックを生み出した自作キュレーションサイトだったが、相手側のアングラサイト運営者も黙ってはいない。彼らにとっても広告収入が生命線であるため、あの手この手でスクレイピングを弾く対策を講じてきた。
- ワンタイムURL対策と1日数回の定期クローリング：相手側も直リンクを防ぐため、動画や画像に有効期限付きの「ワンタイムURL」を発行する仕組みを導入してきた。リンク切れを防ぐため、1日に何回もバックグラウンドでクローリングを自動実行し、常に最新の有効なメディアURLを拾い直して更新し続ける泥臭いバッチ設計を余儀なくされた。
- 国内IPの徹底遮断と海外プロキシの調達：スクレイピングを実行している国内サーバーのIPが次々とブラックリスト入りしたため、規制をすり抜けるべく海外の安価なサーバー（VPS）を血眼になって探索。現地の規約やプロバイダのサポートと渡り合うため、英語のドキュメントや問い合わせ対応を嫌でも理解せざるを得ない状況に追い込まれた。
- デプロイコマンドの自作と1時間でのインフラ高速再構築：IP遮断や障害のたびに手動でサーバーを設定していてはキリがないため、ワンライナーでプロキシやWebサーバーのミドルウェア設定、ネットワーク構成を流し込める独自のデプロイスクリプトを開発。これにより、新しい海外サーバーを契約してからわずか1時間以内に完全稼働させる自動構築の仕組みを確立した。
- 通信トラフィック過多によるプロバイダからの警告：構築拠点にしていた大手有名プロバイダから、SSLポート（443）での異常な暗号化トラフィックに対して警告を受ける事態に発展。本体サーバー側にもリバースプロキシを挟み、SSL通信の負荷分散やトラフィック経路を偽装して退避させる羽目になった。
相手側もアングラとはいえ技術力を持ったエンジニア集団であり、コードの改修とインフラのチューニングを延々と強いられる泥臭い攻防戦が続いた。
爆発的トラフィックを耐え抜く自前キャッシュバッチの実装
リアルタイムに相手先へリクエストを飛ばしていては、相手からの遮断リスクが高まるだけでなく、こちらのWebサーバー自体のCPUや帯域も一瞬でパンクしてしまう。
そこで、裏で定期的にスクレイピングを走らせ、取得したコンテンツデータを静的ファイルとして自前でキャッシュ・自動生成するバッチ処理を組んだ。ユーザーからのアクセスはこの自前キャッシュからレスポンスを返すアーキテクチャに変更することで、オリジンへの無駄なリクエストを遮断し、サーバー負荷を劇的に軽減させた。
この「バッチによる事前生成と静的キャッシュ配信」という泥臭いインフラ設計によって、ようやく激増するトラフィックの直撃をかわすことができた。
月40万稼いでも半分消える：サーバー維持費の罠
急増したトラフィックを捌き切るため、サーバー代の維持費を捻出する目的で最低限の広告を掲載した。結果として最大で月40万円ほどの売上は発生したものの、現実は甘くない。
激増するデータ転送量、複数確保した海外プロキシ、キャッシュ用サーバーの運用コストにより、毎月のインフラ代だけで20万円以上が問答無用で消し飛んだ。さらに回線監視や障害対応、英語でのプロバイダ交渉や遮断回避のコード修正にかかる労力を時給換算すれば、完全に割に合わない「ただの激務」と化していた。
グレーゾーンのトラフィックをかすめ取って楽に稼ぐなどという都合の良い話は存在せず、スケールすればするほどインフラコストと運用負荷が首を絞めるという構造的欠陥を骨身に染みて体験することになった。
アングラの終焉と現場に残った本物のナレッジ
やがて漫画村の摘発や法改正による取り締まりが本格化し、アングラサイト群は次々と撲滅されていった。データソースを失った自作キュレーションシステムも、時代の流れとともに完全に役目を終えて消滅した。
グレーなキュレーションサイトで金銭的に大儲けすることはできなかったが、この過酷な攻防戦で得た以下の知見は、結果として本業のインフラエンジニア実務において極めて強力な武器になっている。
- インフラ構築のコード化（IaC的な自動デプロイ）：ゼロから1時間以内にWebサーバーやプロキシを自動立ち上げ・復旧させる設計思想とスクリプト構築力
- CDNの重要性とエッジキャッシュ戦略：大量アクセスをオリジンサーバーに到達させずにエッジ側で捌き切る負荷分散の設計技術
- ワンタイム認証・時限URLに対するバッチ設計：失効するリソースを追従・再取得するための定期クローリングパイプラインの構築力
- 海外ホスティング選定と英語力：海外プロバイダの仕様把握やサポートと渡り合う実務的な英語読解力
- 静的キャッシュ生成バッチの運用ノウハウ：オリジン負荷を抑え込むための事前キャッシュ設計
- ネットワーク制御と例外処理：トラフィック監視、リバースプロキシのルーティング、ブロック検知回避の現場勘
楽して稼げるシステムはない：結局は技術を知らないと生き残れない
「他人のコンテンツをスクレイピングして自動でまとめるだけで稼げる」と語る情報商材が今も後を絶たないが、現場の実態は遮断と規制、時限URLへの追従、海外プロバイダとの格闘、そしてサーバー代の支払いに追われる泥沼の運用作業である。
世の中に溢れる「なんちゃってインフラをちょっとかじった程度の薄っぺらいサイト」や安直な自動化ツールを見れば、その脆弱さと底の浅さにため息しか出ない。相手も技術を知っている人間である以上、小手先の誤魔化しでノーメンテナンスで回り続けるシステムなど存在しないのだ。
甘い言葉で不労所得を夢見る前に、泥臭いトラブルシューティングを通じて本物の技術力を血肉に変えること。結局のところ、インフラの基礎と現場の技術を徹底的に知っている人間だけが、変化の激しいウェブの世界で生き残ることができる。
