Web::Scraper on qwerty.work

Mixhostで運用中のMovable Typeの再構築をCronジョブで定期的に自動で行う方法

Wed, 13 Jun 2018 20:30:02 +0900

Mixhost のレンタルサーバーで運用しているMovable Typeの再構築をCronジョブを使って、深夜に自動的に行いたいときの方法をメモ。

Cronジョブに登録

Mixhost の [cPanel]-[Cronジョブ] の画面に以下のようにコマンドを登録していきます。

登録例

以下は**「毎日03:45分にカテゴリアーカイブを再構築」**するときのコマンド設定例です。

コマンド例

rebuild-pages という Movable Type にあるスクリプトファイルを使って再構築を行います。パラメータを加えることによって部分的に指定して再構築を行うことができます。

  再構築の内容
  コマンド




  すべて再構築
  /usr/bin/perl /home/ze****ju/public_html/domain.name/mt-folder/tools/rebuild-pages


  ブログ記事を再構築
  /usr/bin/perl /home/ze****ju/public_html/domain.name/mt-folder/tools/rebuild-pages --type=Individual


  月別ページを再構築
  /usr/bin/perl /home/ze****ju/public_html/domain.name/mt-folder/tools/rebuild-pages --type=Monthly


  カテゴリアーカイブを再構築
  /usr/bin/perl /home/ze****ju/public_html/domain.name/mt-folder/tools/rebuild-pages --type=Category


  インデックステンプレートとウェブページアーカイブを再構築
  /usr/bin/perl /home/ze****ju/public_html/domain.name/mt-folder/tools/rebuild-pages --type=index --type=Page

これ以外に複数のブログがあったりする場合は記事下の参考ページにブログIDを指定する方法などが書かれています。

ユーザー名とパスワードを指定したコマンドの例

以下のように、あらかじめMTにログインする際のユーザ名とパスワードをコマンドに含めておけば、下の方にもある rebuild-pages での事前設定が不要です。

/usr/bin/perl /home/ze****ju/public_html/domain.name/mt-folder/tools/rebuild-pages --user=ユーザー名 --pass=パスワード --silent その他のオプション

Cronジョブで再構築が成功した場合のメール

メールアドレスを登録しておくと、Cronジョブが実行されるたびに結果のメールが届きます。

以下のメールはインデックステンプレートとウェブページアーカイブの再構築に成功した場合ですが、メールの本文に success の文字が入ったメールが届きます。

Perlモジュールが足らなくて失敗した場合

Perlモジュールが不足してCronジョブが失敗したときは以下のようなメールが届きます。ここでは Web::Scraper というPerlモジュールが足りませんので、 [cPanel]-[Perlモジュール] の画面から Web::Scraper をインストールします。

パスの指定が間違っていて失敗した場合

以下の場合、 Local.pm というファイルの94行目にあるパスが正しく /home/ze****ju/public_html/domain.name/mt-folder/tools/ になっていないというメールです。

mt-folder/lib/LWP/UserAgent/Local.pm を開いてパスを toolsフォルダまでの /home/ze****ju/public_html/domain.name/mt-folder/ に変更します。以下は正しく変更したときのソースですが、88行目にも同じようなソースがありますので、ここにあるパスも同じものに変更します。（※Local.pmはMTにはデフォルトで存在していないファイルです。ページの下の方に準備する方法を記載しています。）

大前提としての基本準備

最初に書くべき内容かもしれませんが、ここでは以前に他のレンタルサーバーでCronジョブによる再構築を行っていたものを Mixhost で行うとしたらどうやって設定すればいいかをメインにしていますので、後に書きました。Cornジョブを登録すれば簡単に自動で再構築ができるというもではありません。MTにいくつかの設定とPerlモジュールのインストールが必要です。

Web::Scraper のインストール

上にも書いていますが、Perlモジュールの Web::Scraper が必要です。Web::Scraper を [cPanel]-[Perlモジュール] から検索して Mixhost にインストールしてください。

rebuild-pages の基本設定

rebuild-pages は再構築を行うためのスクリプトファイルです。ここに以下の初期設定が必要です。

  ファイルの場所
  /home/ze****ju/public_html/domain.name/mt-folder/tools/


  ファイル名
  rebuild-pages

  （拡張子なしのファイル）


  2行目に追記
  use cPanelUserConfig;

    （※レンタルサーバーがMixhostの場合に必要）


  $username
  MTの管理画面にログオンするときのユーザー名

    （※コマンドに直接指定している場合は不要）


  $password
  MTの管理画面にログオンするときのパスワード

  （※コマンドに直接指定している場合は不要）


  $script_path
  MTフォルダのパス

  （例：/mt-folder/　※不要かも？）


  $hostname
  ドメイン名

  （例：qwerty.work　※不要かも？）

LWP::UserAgent::Localの設置

ebuild-pages が必要としている LWP::UserAgent::Local がMTには標準ではないので、以下より Local.pm のソースをダウンロード（ソースをコピー）します。

https://github.com/movabletype/movabletype/blob/master/t/lib/LWP/UserAgent/Local.pm

ソースをテキストエディタに貼り付け、Local.pmというファイル名で保存します。保存場所は以下のようになるよう、フォルダを作成して保存します。

/mt-folder/lib/LWP/UserAgent/Local.pm

Local.pmの基本設定

Local.pm はそのまま使うとエラーになるので、以下の追記が必要です。

use lib qw(../lib ../extlib);

あとは上の方でも書きましたが、** 94行目あたりに MTフォルダまでのパスを挿入することが必要**です。もっとスマートな書き方があると思うのですが、Perl はよくわからないのでいい書き方が見つかれば修正した方法を掲載したいと思います。

以前書いた参考記事

以前、他のサーバーでCronジョブによる再構築を行ったときに書いたページ。

cronとrebuild-pagesを使って定期的にMovableTypeを自動で再構築する

その他参考ページ

https://www.h-fj.com/blog/archives/2014/05/27-102904.php https://www.h-fj.com/blog/archives/2014/05/27-102904.php

https://redamoon.net/log/post/000029.html https://redamoon.net/log/post/000029.html

バリューサーバーのcronでMovabletypeの再構築を自動化できない

Tue, 07 Apr 2015 10:15:27 +0900

バリューサーバーのcronでMovabletypeの再構築を自動化できない

昨日はバリューサーバーでMovabletypeの再構築を行うスクリプトの動作を確認できたので、）あとはcronにそのスクリプトを登録し、毎日自動的に再構築をしようと**コントロールパネルの「CRONジョブの設定・編集」**に登録しました。

ところが実行されていない！？あれ？？なんで？？

ヘテムルの時は実行が成功したのか、エラーが出ているのかメールが届いていたのですが、メールも届かず、cronが動いているのかどうなのか、さっぱりわかりません。サポートも期待できないので、自己解決するためにいろいろ調べました。

crondの動作状況を調べる

cronを使用するためにcrondというやつが動いていないといけないみたいで、Tera Termを使ってレンタルサーバーにSSHで接続し、以下のコマンドで調べます。(SSHはTeraTermなどのSSHクライアントでバリューサーバーの場合、ホスト名：**.valueserver.jp、ユーザーID、FTPパスワードで接続します。）

# /etc/rc.d/init.d/crond status

すると、

crond (pid  *****) is running...

と返ってきたので、どうやらcronは動いているみたいです。

もし、cronが動いていなかったら

/etc/rc.d/init.d/crond start

再起動の場合は

/etc/rc.d/init.d/crond restart

参考：https://www.express.nec.co.jp/linux/distributions/knowledge/system/crond.html

crontab -lでcronジョブの登録状況を調べる

SSHで以下のコマンドを打つ

crontab -l

すると「CRONジョブの設定・編集」に登録した内容が表示されました。

ちゃんと登録されているみたいです。

じゃあなんで動かない！？

昨日はSSHからcronで登録したファイルでちゃんとrebuild-pageｓを実行することができたのになんで？まだ何かエラーがあるの？

とういうことで、cronで登録のファイルが実行されたときにどうなっているのかを知るために、今度はエラーメールが届くような方法がないか探したところcrontab　-eでcrontab -lで表示されたリストにMAILTO=“user@example.com”と宛先を入れればいいようです。（※contab -rと打つとジョブが削除されますので隣同志のeとrを打ち間違えないように注意）

crontab -eでMAILTOを追加する

crontab -e

と打つとviエディタが起動し、crontab -lで表示された内容が出てくるので、一番上の行にメールの宛先を入力します。

ただし、Linuxに慣れている方はご存知だとおもいますが、viエディタの操作は普通に文字を入力するようにできませんので注意。

viエディタの操作方法の参考：http://www.envinfo.uee.kyoto-u.ac.jp/user/susaki/command/vi.html

ちなみにTera Termでは以下できました。

iを押し入力モードにする
カーソルで移動して最初の行を改行し、そこに**MAILTO=“user@example.com”**と入力
ESCを押して入力モードから出る
:wq と打つと保存して終了

そして、ちゃんと保存できているかはcrontab -lで確認できます。

cronを実行してみる

バリューサーバーのコントロールパネルの「CRONジョブの設定・編集」に2分後の時刻を設定してみましたが、設定の反映に1時間程度かかるようで、待っていられないので、SSHからcrontab -eで2～3分後の時間を設定してみました。

すると、メールキター！！でもエラー！！

BEGIN failed–compilation aborted at /virtual/user-dir/bin/lib/perl5/Web/Scraper.pm line 10.

Compilation failed in require at ./tools/rebuild-pages line 14.

BEGIN failed–compilation aborted at ./tools/rebuild-pages line 14.

/Web/Scraperの10行目を見る

use HTML::TreeBuilder::XPath;

とある。ですが、HTML::TreeBuilder::XPathはインストールしてやったはず…。もしかして、HTML::TreeBuilder::XPathがどこにあるかわからないよいう意味でパスを入れてやればいいのかな？ということで、パスを挿入。

use lib ("/virtual/user-dir/perl5/lib/perl5");
use HTML::TreeBuilder::XPath;

rebuild-pagesの14行目を見る

/mt/tools/の中にあるrebuild-pagesを開くと

use Web::Scraper;

とある。前回、これもパスを追加して対策したはず…。Web::ScraperはHTML::TreeBuilder::XPathがないと動かない。ここにもHTML::TreeBuilder::XPathのパスがいるのかな？何故かWeb::ScraperとHTML::TreeBuilder::XPathの保存されている場所がそれぞれ違う（多分インストールをミスった）。

ということで、rebuild-pagesにHTML::TreeBuilder::XPathのパスを追加。

#追加前
use lib ("$FindBin::Bin/../lib", "$FindBin::Bin/../extlib", "/virtual/user-dir/bin/lib/perl5");

#追加後
use lib ("$FindBin::Bin/../lib", "$FindBin::Bin/../extlib", "/virtual/user-dir/bin/lib/perl5", "/virtual/user-dir/perl5/lib/perl5");

そしてもう一度cron実行

キター！！メールにsuccessの文字

rebuilding (QWERTY.WORKブログ …

      Individual built success.

無事、毎日cronでMovabletypeの再構築が自動化されました。

ただ、バリューサーバーは3分以上かかるスクリプトはダメみたいなので、全部の再構築をするのに時間が足りないため、インデックスやアーカイブページの再構築を個別に行うよう、cronジョブを複数に分けました。また、複数のジョブの間隔は1時間空けないといけないみたいなので、1時間5分間間隔で連続してcronを実行するようしました。

バリューサーバーでMovabletypeのrebuild-pagesを動かす

Mon, 06 Apr 2015 13:09:52 +0900

速くて安いサーバーないかな～なんてネットで検索してたらレンタルサーバーの比較をしているページ（http://rs-hikaku.com/）を見つけました。

速くて安いのなら乗り換えようかとバリューサーバー（ValueServer）の10日間のお試しで使ってみた。けどヘテムル（heteml）で動いていたものが動かない…。

cronに登録してMovabletypeの再構築をrebuild-pagesで自動的に毎日行っているのですが、以前の記事で書いた内容でヘテムル（heteml）では動いていたのにバリューサーバー（ValueServer）では動かない。

以前の記事：cronとrebuild-pagesを使って定期的にMovableTypeを自動で再構築する

でも動かないままあきらめるのも嫌なので動くまでやってやろうと以下の事を追加で行い動かすことができました。

SSHでrebuild-pagesを実行したらエラー

まず動かない原因を探るためTera Termをインストールして、バリューサーバー（ValueServer）のサーバーにSSHでログインし、rebuild-pagesを実行してみます。

/usr/bin/perl /virtual/user-dir/public_html/mt/tools/rebuild-pages

とrebuild-pagesを実行してみたところ

BEGIN failed–compilation aborted at /virtual/user-dir/public_html/mt/tools/rebuild-pages line 14. というエラー。どうやらcronの設定が悪いのではなく、スクリプトでエラーが出ているようです。

/mt/tools/にあるrebuiled-pagesを開いて14行目を見ると「use Web::Scraper;」とありました。PerlモジュールのWeb::Scraperで引っ掛かっているようで、どのフォルダーを探してもWeb::Scraperが見当たらないのでエラーとなっているようです。

Web::Scraperを入れる

PerlモジュールのWeb::Scraperをどうやって入手すればいいのかわからなかったのですが、以下のサイトを参考にSSHでbinというディレクトリを作ってWeb::ScraperをインストールするためのcpanmとWeb::Scraperに必要なHTML::TreeBuilder::XPathをそれぞれインストールしました。

参考：http://blog.eleclabo.com/2015/02/post-158.html

cpanmを/virtual/user-dir/binにインストール

% cd /virtual/user-dir
% mkdir bin
% cd bin
% curl -LO http://xrl.us/cpanm
% chmod +x cpanm

Web::ScraperとHTML::TreeBuilder::XPathを/virtual/user-dir/binにインストール

% cd /virtual/user-dir
% cpanm -l bin Web::Scraper
% cpanm -l bin HTML::TreeBuilder::XPath

これで、/virtual/user-dir/bin/lib/perl5/Web/Scraperができあがりました。

rebuiled-pagesにパスを追加

rebuiled-pagesの8行目あたりにPerlモジュールの参照先を指定する部分があります。ここにはWeb::Scraperのある場（/virtual/user-dir/bin/lib/perl5）が指定されていませんので追加します。

#編集前
use lib ("$FindBin::Bin/../lib", "$FindBin::Bin/../extlib");<br>

#編集後
use lib ("$FindBin::Bin/../lib", "$FindBin::Bin/../extlib", "/virtual/user-dir/bin/lib/perl5");

LWP::UserAgent::Localのあるディレクトリ（/mt/lib/）または/mt/extlib/にWeb::Scraperをインストールしておけば、これは不要だったかもしれませんがあまりSSHになれていないので、変なことにならないようここは参考通りにしておきます。

最後にlocal.pmのパスを修正

/virtual/user-dir/public_html/mt/lib/LWP/UserAgent/Local.pmの**".$script_name"を"/virtual/user-dir/public_html/mt/$script_name"**に修正します。

#88行目あたり
#修正前<br>my $pid = open2( \*RESPONSE, \*REQUEST, "./$script_name" )

#修正後
my $pid = open2( \*RESPONSE, \*REQUEST, "/virtual/user-dir/public_html/mt/$script_name" )

#94行目あたり
#修正前
open RESPONSE, "./$script_name|" or die "Couldn't spawn $script_name";

#修正後<br>open RESPONSE, "/virtual/user-dir/public_html/mt/$script_name|" or die "Couldn't spawn $script_name";

できた！

それぞれ修正したファイルをアップロードして、パーミッションも700にして、再度SSHで

/usr/bin/perl /virtual/user-dir/public_html/mt/tools/rebuild-pages

と打ってrebuiled-pagesを実行したらキター！！

ってことで一件落着。

【追記】これでcronもうまくいくはずだったのですが、うまくいかず以下のページで解決。

バリューサーバーのcronでMovabletypeの再構築を自動化できない