スパイダーのデプロイ

この節では、Scrapyスパイダーをデプロイして定期的に実行するためのさまざまなオプションについて説明します。ローカルマシンでScrapyスパイダーを実行することは(初期の)開発段階には非常に便利ですが、長時間実行されるスパイダーを実行したり、スパイダーを動かして実稼働で実行する必要がある場合はそれほど便利ではありません。そこで、Scrapyスパイダーをデプロイするためのソリューションの出番です。

Scrapyスパイダーをデプロイするための一般的な選択肢は以下の通りです:

Scrapydサーバへのデプロイ

Scrapyd は、Scrapyスパイダーを実行するためのオープン・ソース・アプリケーションです。Scrapyスパイダーを実行および監視できるHTTP APIをサーバーに提供します。

スパイダーをScrapydにデプロイするには、 scrapyd-client パッケージで提供されるscrapyd-deployツールを使用できます。 詳細については、 scrapyd-deploy documentation を参照してください。

Scrapydは、一部のScrapy開発者によって管理されています。

Zyte Scrapyクラウドへのデプロイ

Zyte Scrapy Cloud は、Scrapyの後ろだてとなっている会社である Zyte によってクラウドベースのサービスとしてホストされています。

Zyte Scrapyクラウドは、サーバーをセットアップおよび監視する必要をなくし、スパイダーを管理し、スクレイプされたアイテム、ログ、および統計を確認するための素晴らしいUIを提供します。

スパイダーをZyte Scrapy Cloudにデプロイするには、 shub コマンドラインツールを使用できます。詳細については、 Zyte Scrapy Cloud documentation を参照してください。

Zyte ScrapyクラウドはScrapydと互換性があり、必要に応じてそれらを切り替えることができます。設定は scrapyd-deploy と同様に scrapy.cfg ファイルから読み込まれます。