Rebuild-Pages on qwerty.work

Mixhostで運用中のMovable Typeの再構築をCronジョブで定期的に自動で行う方法

Wed, 13 Jun 2018 20:30:02 +0900

Mixhost のレンタルサーバーで運用しているMovable Typeの再構築をCronジョブを使って、深夜に自動的に行いたいときの方法をメモ。

Cronジョブに登録

Mixhost の [cPanel]-[Cronジョブ] の画面に以下のようにコマンドを登録していきます。

登録例

以下は**「毎日03:45分にカテゴリアーカイブを再構築」**するときのコマンド設定例です。

コマンド例

rebuild-pages という Movable Type にあるスクリプトファイルを使って再構築を行います。パラメータを加えることによって部分的に指定して再構築を行うことができます。

  再構築の内容
  コマンド




  すべて再構築
  /usr/bin/perl /home/ze****ju/public_html/domain.name/mt-folder/tools/rebuild-pages


  ブログ記事を再構築
  /usr/bin/perl /home/ze****ju/public_html/domain.name/mt-folder/tools/rebuild-pages --type=Individual


  月別ページを再構築
  /usr/bin/perl /home/ze****ju/public_html/domain.name/mt-folder/tools/rebuild-pages --type=Monthly


  カテゴリアーカイブを再構築
  /usr/bin/perl /home/ze****ju/public_html/domain.name/mt-folder/tools/rebuild-pages --type=Category


  インデックステンプレートとウェブページアーカイブを再構築
  /usr/bin/perl /home/ze****ju/public_html/domain.name/mt-folder/tools/rebuild-pages --type=index --type=Page

これ以外に複数のブログがあったりする場合は記事下の参考ページにブログIDを指定する方法などが書かれています。

ユーザー名とパスワードを指定したコマンドの例

以下のように、あらかじめMTにログインする際のユーザ名とパスワードをコマンドに含めておけば、下の方にもある rebuild-pages での事前設定が不要です。

/usr/bin/perl /home/ze****ju/public_html/domain.name/mt-folder/tools/rebuild-pages --user=ユーザー名 --pass=パスワード --silent その他のオプション

Cronジョブで再構築が成功した場合のメール

メールアドレスを登録しておくと、Cronジョブが実行されるたびに結果のメールが届きます。

以下のメールはインデックステンプレートとウェブページアーカイブの再構築に成功した場合ですが、メールの本文に success の文字が入ったメールが届きます。

Perlモジュールが足らなくて失敗した場合

Perlモジュールが不足してCronジョブが失敗したときは以下のようなメールが届きます。ここでは Web::Scraper というPerlモジュールが足りませんので、 [cPanel]-[Perlモジュール] の画面から Web::Scraper をインストールします。

パスの指定が間違っていて失敗した場合

以下の場合、 Local.pm というファイルの94行目にあるパスが正しく /home/ze****ju/public_html/domain.name/mt-folder/tools/ になっていないというメールです。

mt-folder/lib/LWP/UserAgent/Local.pm を開いてパスを toolsフォルダまでの /home/ze****ju/public_html/domain.name/mt-folder/ に変更します。以下は正しく変更したときのソースですが、88行目にも同じようなソースがありますので、ここにあるパスも同じものに変更します。（※Local.pmはMTにはデフォルトで存在していないファイルです。ページの下の方に準備する方法を記載しています。）

大前提としての基本準備

最初に書くべき内容かもしれませんが、ここでは以前に他のレンタルサーバーでCronジョブによる再構築を行っていたものを Mixhost で行うとしたらどうやって設定すればいいかをメインにしていますので、後に書きました。Cornジョブを登録すれば簡単に自動で再構築ができるというもではありません。MTにいくつかの設定とPerlモジュールのインストールが必要です。

Web::Scraper のインストール

上にも書いていますが、Perlモジュールの Web::Scraper が必要です。Web::Scraper を [cPanel]-[Perlモジュール] から検索して Mixhost にインストールしてください。

rebuild-pages の基本設定

rebuild-pages は再構築を行うためのスクリプトファイルです。ここに以下の初期設定が必要です。

  ファイルの場所
  /home/ze****ju/public_html/domain.name/mt-folder/tools/


  ファイル名
  rebuild-pages

  （拡張子なしのファイル）


  2行目に追記
  use cPanelUserConfig;

    （※レンタルサーバーがMixhostの場合に必要）


  $username
  MTの管理画面にログオンするときのユーザー名

    （※コマンドに直接指定している場合は不要）


  $password
  MTの管理画面にログオンするときのパスワード

  （※コマンドに直接指定している場合は不要）


  $script_path
  MTフォルダのパス

  （例：/mt-folder/　※不要かも？）


  $hostname
  ドメイン名

  （例：qwerty.work　※不要かも？）

LWP::UserAgent::Localの設置

ebuild-pages が必要としている LWP::UserAgent::Local がMTには標準ではないので、以下より Local.pm のソースをダウンロード（ソースをコピー）します。

https://github.com/movabletype/movabletype/blob/master/t/lib/LWP/UserAgent/Local.pm

ソースをテキストエディタに貼り付け、Local.pmというファイル名で保存します。保存場所は以下のようになるよう、フォルダを作成して保存します。

/mt-folder/lib/LWP/UserAgent/Local.pm

Local.pmの基本設定

Local.pm はそのまま使うとエラーになるので、以下の追記が必要です。

use lib qw(../lib ../extlib);

あとは上の方でも書きましたが、** 94行目あたりに MTフォルダまでのパスを挿入することが必要**です。もっとスマートな書き方があると思うのですが、Perl はよくわからないのでいい書き方が見つかれば修正した方法を掲載したいと思います。

以前書いた参考記事

以前、他のサーバーでCronジョブによる再構築を行ったときに書いたページ。

cronとrebuild-pagesを使って定期的にMovableTypeを自動で再構築する

その他参考ページ

https://www.h-fj.com/blog/archives/2014/05/27-102904.php https://www.h-fj.com/blog/archives/2014/05/27-102904.php

https://redamoon.net/log/post/000029.html https://redamoon.net/log/post/000029.html

バリューサーバーのcronでMovabletypeの再構築を自動化できない

Tue, 07 Apr 2015 10:15:27 +0900

バリューサーバーのcronでMovabletypeの再構築を自動化できない

昨日はバリューサーバーでMovabletypeの再構築を行うスクリプトの動作を確認できたので、）あとはcronにそのスクリプトを登録し、毎日自動的に再構築をしようと**コントロールパネルの「CRONジョブの設定・編集」**に登録しました。

ところが実行されていない！？あれ？？なんで？？

ヘテムルの時は実行が成功したのか、エラーが出ているのかメールが届いていたのですが、メールも届かず、cronが動いているのかどうなのか、さっぱりわかりません。サポートも期待できないので、自己解決するためにいろいろ調べました。

crondの動作状況を調べる

cronを使用するためにcrondというやつが動いていないといけないみたいで、Tera Termを使ってレンタルサーバーにSSHで接続し、以下のコマンドで調べます。(SSHはTeraTermなどのSSHクライアントでバリューサーバーの場合、ホスト名：**.valueserver.jp、ユーザーID、FTPパスワードで接続します。）

# /etc/rc.d/init.d/crond status

すると、

crond (pid  *****) is running...

と返ってきたので、どうやらcronは動いているみたいです。

もし、cronが動いていなかったら

/etc/rc.d/init.d/crond start

再起動の場合は

/etc/rc.d/init.d/crond restart

参考：https://www.express.nec.co.jp/linux/distributions/knowledge/system/crond.html

crontab -lでcronジョブの登録状況を調べる

SSHで以下のコマンドを打つ

crontab -l

すると「CRONジョブの設定・編集」に登録した内容が表示されました。

ちゃんと登録されているみたいです。

じゃあなんで動かない！？

昨日はSSHからcronで登録したファイルでちゃんとrebuild-pageｓを実行することができたのになんで？まだ何かエラーがあるの？

とういうことで、cronで登録のファイルが実行されたときにどうなっているのかを知るために、今度はエラーメールが届くような方法がないか探したところcrontab　-eでcrontab -lで表示されたリストにMAILTO=“user@example.com”と宛先を入れればいいようです。（※contab -rと打つとジョブが削除されますので隣同志のeとrを打ち間違えないように注意）

crontab -eでMAILTOを追加する

crontab -e

と打つとviエディタが起動し、crontab -lで表示された内容が出てくるので、一番上の行にメールの宛先を入力します。

ただし、Linuxに慣れている方はご存知だとおもいますが、viエディタの操作は普通に文字を入力するようにできませんので注意。

viエディタの操作方法の参考：http://www.envinfo.uee.kyoto-u.ac.jp/user/susaki/command/vi.html

ちなみにTera Termでは以下できました。

iを押し入力モードにする
カーソルで移動して最初の行を改行し、そこに**MAILTO=“user@example.com”**と入力
ESCを押して入力モードから出る
:wq と打つと保存して終了

そして、ちゃんと保存できているかはcrontab -lで確認できます。

cronを実行してみる

バリューサーバーのコントロールパネルの「CRONジョブの設定・編集」に2分後の時刻を設定してみましたが、設定の反映に1時間程度かかるようで、待っていられないので、SSHからcrontab -eで2～3分後の時間を設定してみました。

すると、メールキター！！でもエラー！！

BEGIN failed–compilation aborted at /virtual/user-dir/bin/lib/perl5/Web/Scraper.pm line 10.

Compilation failed in require at ./tools/rebuild-pages line 14.

BEGIN failed–compilation aborted at ./tools/rebuild-pages line 14.

/Web/Scraperの10行目を見る

use HTML::TreeBuilder::XPath;

とある。ですが、HTML::TreeBuilder::XPathはインストールしてやったはず…。もしかして、HTML::TreeBuilder::XPathがどこにあるかわからないよいう意味でパスを入れてやればいいのかな？ということで、パスを挿入。

use lib ("/virtual/user-dir/perl5/lib/perl5");
use HTML::TreeBuilder::XPath;

rebuild-pagesの14行目を見る

/mt/tools/の中にあるrebuild-pagesを開くと

use Web::Scraper;

とある。前回、これもパスを追加して対策したはず…。Web::ScraperはHTML::TreeBuilder::XPathがないと動かない。ここにもHTML::TreeBuilder::XPathのパスがいるのかな？何故かWeb::ScraperとHTML::TreeBuilder::XPathの保存されている場所がそれぞれ違う（多分インストールをミスった）。

ということで、rebuild-pagesにHTML::TreeBuilder::XPathのパスを追加。

#追加前
use lib ("$FindBin::Bin/../lib", "$FindBin::Bin/../extlib", "/virtual/user-dir/bin/lib/perl5");

#追加後
use lib ("$FindBin::Bin/../lib", "$FindBin::Bin/../extlib", "/virtual/user-dir/bin/lib/perl5", "/virtual/user-dir/perl5/lib/perl5");

そしてもう一度cron実行

キター！！メールにsuccessの文字

rebuilding (QWERTY.WORKブログ …

      Individual built success.

無事、毎日cronでMovabletypeの再構築が自動化されました。

ただ、バリューサーバーは3分以上かかるスクリプトはダメみたいなので、全部の再構築をするのに時間が足りないため、インデックスやアーカイブページの再構築を個別に行うよう、cronジョブを複数に分けました。また、複数のジョブの間隔は1時間空けないといけないみたいなので、1時間5分間間隔で連続してcronを実行するようしました。

バリューサーバーでMovabletypeのrebuild-pagesを動かす

Mon, 06 Apr 2015 13:09:52 +0900

速くて安いサーバーないかな～なんてネットで検索してたらレンタルサーバーの比較をしているページ（http://rs-hikaku.com/）を見つけました。

速くて安いのなら乗り換えようかとバリューサーバー（ValueServer）の10日間のお試しで使ってみた。けどヘテムル（heteml）で動いていたものが動かない…。

cronに登録してMovabletypeの再構築をrebuild-pagesで自動的に毎日行っているのですが、以前の記事で書いた内容でヘテムル（heteml）では動いていたのにバリューサーバー（ValueServer）では動かない。

以前の記事：cronとrebuild-pagesを使って定期的にMovableTypeを自動で再構築する

でも動かないままあきらめるのも嫌なので動くまでやってやろうと以下の事を追加で行い動かすことができました。

SSHでrebuild-pagesを実行したらエラー

まず動かない原因を探るためTera Termをインストールして、バリューサーバー（ValueServer）のサーバーにSSHでログインし、rebuild-pagesを実行してみます。

/usr/bin/perl /virtual/user-dir/public_html/mt/tools/rebuild-pages

とrebuild-pagesを実行してみたところ

BEGIN failed–compilation aborted at /virtual/user-dir/public_html/mt/tools/rebuild-pages line 14. というエラー。どうやらcronの設定が悪いのではなく、スクリプトでエラーが出ているようです。

/mt/tools/にあるrebuiled-pagesを開いて14行目を見ると「use Web::Scraper;」とありました。PerlモジュールのWeb::Scraperで引っ掛かっているようで、どのフォルダーを探してもWeb::Scraperが見当たらないのでエラーとなっているようです。

Web::Scraperを入れる

PerlモジュールのWeb::Scraperをどうやって入手すればいいのかわからなかったのですが、以下のサイトを参考にSSHでbinというディレクトリを作ってWeb::ScraperをインストールするためのcpanmとWeb::Scraperに必要なHTML::TreeBuilder::XPathをそれぞれインストールしました。

参考：http://blog.eleclabo.com/2015/02/post-158.html

cpanmを/virtual/user-dir/binにインストール

% cd /virtual/user-dir
% mkdir bin
% cd bin
% curl -LO http://xrl.us/cpanm
% chmod +x cpanm

Web::ScraperとHTML::TreeBuilder::XPathを/virtual/user-dir/binにインストール

% cd /virtual/user-dir
% cpanm -l bin Web::Scraper
% cpanm -l bin HTML::TreeBuilder::XPath

これで、/virtual/user-dir/bin/lib/perl5/Web/Scraperができあがりました。

rebuiled-pagesにパスを追加

rebuiled-pagesの8行目あたりにPerlモジュールの参照先を指定する部分があります。ここにはWeb::Scraperのある場（/virtual/user-dir/bin/lib/perl5）が指定されていませんので追加します。

#編集前
use lib ("$FindBin::Bin/../lib", "$FindBin::Bin/../extlib");<br>

#編集後
use lib ("$FindBin::Bin/../lib", "$FindBin::Bin/../extlib", "/virtual/user-dir/bin/lib/perl5");

LWP::UserAgent::Localのあるディレクトリ（/mt/lib/）または/mt/extlib/にWeb::Scraperをインストールしておけば、これは不要だったかもしれませんがあまりSSHになれていないので、変なことにならないようここは参考通りにしておきます。

最後にlocal.pmのパスを修正

/virtual/user-dir/public_html/mt/lib/LWP/UserAgent/Local.pmの**".$script_name"を"/virtual/user-dir/public_html/mt/$script_name"**に修正します。

#88行目あたり
#修正前<br>my $pid = open2( \*RESPONSE, \*REQUEST, "./$script_name" )

#修正後
my $pid = open2( \*RESPONSE, \*REQUEST, "/virtual/user-dir/public_html/mt/$script_name" )

#94行目あたり
#修正前
open RESPONSE, "./$script_name|" or die "Couldn't spawn $script_name";

#修正後<br>open RESPONSE, "/virtual/user-dir/public_html/mt/$script_name|" or die "Couldn't spawn $script_name";

できた！

それぞれ修正したファイルをアップロードして、パーミッションも700にして、再度SSHで

/usr/bin/perl /virtual/user-dir/public_html/mt/tools/rebuild-pages

と打ってrebuiled-pagesを実行したらキター！！

ってことで一件落着。

【追記】これでcronもうまくいくはずだったのですが、うまくいかず以下のページで解決。

バリューサーバーのcronでMovabletypeの再構築を自動化できない

Cronとrebuild-pagesを使って定期的にMovableTypeを自動で再構築する

Thu, 24 Apr 2014 10:10:00 +0900

現在、heteml（ヘテムル）のサーバーでMovabletype6（MT6）を使っています。

ムーバブルタイプの再構築を毎日決まった時間に再構築できないかいろいろ調べていたところ、mt-rebuild.plを使用した方法がたくさん検索でヒットしました。ところが現在はファイルを入手できない状況になっているようで、別の方法を検討することにしました。そこでMovabletypeに元々あるrebuid-pagesというファイルを使った方法がありましたのでメモ。

cronによる再構築のスケジュールを設定してみました。cronの設定までに以下のファイルが必要です。

rebuild-pages（MT6に元々ある再構築用スクリプト用のファイル） mt.sh（cronに登録するrebuild-pagesを実行させるためのもの） Local.pm（MTになくrebuild-pagesに必要なものでテキストエディタで作成）

rebuild-pagesの設定

rebuild-pagesというファイルは**mt/tool/**にあります。このファイルを開いて再構築に必要な項目を入力します。

### Parses options.
my @blog_ids;
my @types;
my $username    = 'MTのユーザー名';
my $password    = 'MTのパスワード';
my $script_path = '/mt/';
my $hostname    = 'qwerty.work';　←ホスト名（ドメイン名）
my $silent      = 0;
my $usage       = 0;
my $elapse      = 0;

rebuild-pagesの最後の方のソースを見ればわかりますが、オプションを加えることによりblog_IDやカテゴリページやインデックスページのみを再構築するなど、細かく指定することもできるようです。

mt.shを用意

テキストエディタで以下のソースをmt.shと名前を付けて保存します。（ここでは仮にmt.shとしていますが、.shという拡張子であれば名前はなんでもいいです。）

#!/bin/sh

cd /home/sites/heteml/users***/m/h/0/ヘテムルのユーザー名/web/qwerty.work/mt/
/usr/bin/perl ./tools/rebuild-pages

exit

リビルドに必要な項目はrebuild-pagesで設定しなくても、コマンドで設定することもできるようです。

/usr/bin/perl ./tools/rebuild-pages --user=MTのユーザー名 --pass=MTのパスワード

その他、指定できるパラメータは以下のページが参考になります。

参考：http://www.h-fj.com/blog/archives/2014/05/27-102904.php

mt.shをアップロード

/home/sites/heteml/users*/m/h/0/ヘテムルのユーザー名/にアップロードします。パーミッションは700**（ヘテムルの場合）にします。

違うディレクトリにアップロードすると以下のようなエラーメールが届いて動きませんでした。

/bin/sh: /home/sites/heteml/users/m/h/0/****/web/qwerty.work/mt.sh: /bin/sh: bad interpreter: No such file or directory

Local.pmを作成とアップロード

rebuild-pagesでLWP::UserAgent::Localというモジュールが必要らしいのですが、標準ではないのでmt/lib/の中にLWP/UserAgent/Local.pmを作ります。

Local.pmのソースは「movabletype/t/lib/LWP/UserAgent/Local.pm at master · movabletype/movabletype · GitHub」を使いました。

Local.pmの2行目あたりに以下を追記します。

package LWP::UserAgent::Local;

use lib qw(../lib ../extlib); ←これ

または

use lib qw(
    /home/sites/heteml/users***/m/h/0/ヘテムルのユーザー名/web/qwerty.work/web/mt/lib
    /home/sites/heteml/users***/m/h/0/ヘテムルのユーザー名/web/qwerty.work/web/mt/extlib
);

use LWP::UserAgent;
use base 'LWP::UserAgent';
use IPC::Open2 'open2';

このパスの指定がないとうまく動きませんでした。

cronを設定

ヘテムルのコントロールパネルのcron設定のページでスケジュールで登録します。毎日朝4:00に再構築するように設定して終了。

無事、毎日4時に再構築してくれています。

ヘテムル以外のサーバーでこれでもダメだった場合は以下のページのことも合わせてやってみてください。

バリューサーバーでMovabletypeのrebuild-pagesを動かす

Rebuild-Pages on qwerty.work

Mixhostで運用中のMovable Typeの再構築をCronジョブで定期的に自動で行う方法

Cronジョブに登録

登録例

コマンド例

ユーザー名とパスワードを指定したコマンドの例

Cronジョブで再構築が成功した場合のメール

Perlモジュールが足らなくて失敗した場合

パスの指定が間違っていて失敗した場合

大前提としての基本準備

Web::Scraper のインストール

rebuild-pages の基本設定

LWP::UserAgent::Localの設置

Local.pmの基本設定

以前書いた参考記事

その他参考ページ

バリューサーバーのcronでMovabletypeの再構築を自動化できない

crondの動作状況を調べる

crontab -lでcronジョブの登録状況を調べる

crontab -eでMAILTOを追加する

cronを実行してみる

/Web/Scraperの10行目を見る

rebuild-pagesの14行目を見る

そしてもう一度cron実行

バリューサーバーでMovabletypeのrebuild-pagesを動かす

SSHでrebuild-pagesを実行したらエラー

Web::Scraperを入れる

cpanmを/virtual/user-dir/binにインストール

Web::ScraperとHTML::TreeBuilder::XPathを/virtual/user-dir/binにインストール

rebuiled-pagesにパスを追加

最後にlocal.pmのパスを修正

できた！

Cronとrebuild-pagesを使って定期的にMovableTypeを自動で再構築する

rebuild-pagesの設定

mt.shを用意

mt.shをアップロード

Local.pmを作成とアップロード

cronを設定

参考にしたページ