概要
PicklesCrawlerプラグインは、Pickles Frameworkにウェブサイトのクロール機能を追加します。
PicklesCrawlerは、幾つかの項目で設定されたウェブサイトにHTTPでアクセスし、リンクやリソースを辿ってローカルホストにコピーを保存します。ローカルに保存されたコピーは、内部リンクや画像などのリソースパスが相対パスに変換され、Apacheなどのウェブサーバを介さない場合でも閲覧できる状態にします。この変換方式は、相対パス、絶対パス、URL、変換なしの中から選択して設定できます。
用途
主に、Pickles Framework で構築されたプロジェクトを、静的なHTMLファイルに書き出す目的で開発されましたが、Pickles Frameworkで構築されたサイトに限らず、汎用的にクロールすることができます。
Windowsアプリケーション版のPicklesCrawler
サブプロジェクトとして、PicklesCrawlerプラグインを、WinBinder+Bamcompilerの環境でWindowsデスクトップで動作するようにした、「PicklesCrawlerExe」も開発しています。詳しくは、サブプロジェクト PicklesCrawlerExeを参照してください。
著作権と利用についての規約
- PicklesCrawlerプラグイン および PicklesCrawlerExe の著作権は、Tomoya Koyanagi に帰属します。
- 商用利用、個人利用を問わず、著作権を侵害しない範囲において自由に利用できます。
- ただし、これらのソースコードやアプリケーションに起因するいかなる損害やトラブルに関しても、著作者は責任を負うことはできませんので、利用者の自己責任の範囲でご利用ください。
- PicklesCrawlerプラグイン および PicklesCrawlerExe は、ファイルの収集に当たりリモートホストにある程度の負荷をかけます。他人のサーバをむやみにクロールすると、迷惑をかける場合がありますので、ご注意ください。
ダウンロード
PicklesCrawlerプラグイン は、ダウンロードページから入手することができます。