カウント on qwerty.work

PHPのcurl_multiを使って非同期でカウント数を取得するSNSのシェアボタンを自作してみた

Mon, 14 Jan 2019 13:14:21 +0900

先日、CURLというPHPの関数を使ってシェアカウント付のSNSボタンを自作しましたが、スピードがいまいちだったので、他に高速表示できる方法がないか探してみたところ、cURL関数に非同期で値を取得できるcurl_multiという関数があることを知りました。これを使えば複数のcURLハンドルを非同期で実行できるようです。

こんなSNSをボタンを作る

前回、CURLで自作したSNSボタンと同じボタンをcurl_multiを使って作ります。

これを表示するソース

<?php
//カウント数を取得したい対象URL
$targeturl = 'https://www.apple.com/jp/';
$targeturl = urlencode($targeturl);

//現在のページで取得したいとき
//$url = 'https://'.$_SERVER["HTTP_HOST"] . $_SERVER["REQUEST_URI"];

// 並列通信用マルチハンドルを用
$mh = curl_multi_init();

// APIごとにCurl Handleを作る
// Twitter
$ch_twitter = curl_init("http://jsoon.digitiminimi.com/twitter/count.json?url=$targeturl");
curl_setopt($ch_twitter, CURLOPT_RETURNTRANSFER, TRUE);
curl_multi_add_handle($mh, $ch_twitter);

// Facebook
$ch_facebook = curl_init("https://graph.facebook.com/?id=$targeturl");
curl_setopt($ch_facebook, CURLOPT_RETURNTRANSFER, TRUE);
curl_multi_add_handle($mh, $ch_facebook);

// Hatena
$ch_hatena = curl_init("https://b.hatena.ne.jp/entry.count?url=$targeturl");
curl_setopt($ch_hatena, CURLOPT_RETURNTRANSFER, TRUE);
curl_multi_add_handle($mh, $ch_hatena);

// Pocket
$ch_pocket = curl_init("https://widgets.getpocket.com/v1/button?v=1&count=horizontal&url=$targeturl&src=$targeturl");curl_setopt($ch_pocket, CURLOPT_RETURNTRANSFER, TRUE);
curl_multi_add_handle($mh, $ch_pocket);

// 複数の通信を非同期で同時実行
do { curl_multi_exec($mh, $running); } while ( $running );

// APIから戻ってきた値を変数に入れる
$json_twitter  = curl_multi_getcontent($ch_twitter);
$json_facebook = curl_multi_getcontent($ch_facebook);
$count_hatena = curl_multi_getcontent($ch_hatena);
$html_pocket = curl_multi_getcontent($ch_pocket);

//cURLハンドルセットを閉じる
curl_multi_remove_handle($mh, $ch_twitter)
curl_close($ch_twitter);
curl_multi_remove_handle($mh, $ch_facebook);
curl_close($ch_facebook);
curl_multi_remove_handle($mh, $ch_hatena);
curl_close($ch_hatena);
curl_multi_remove_handle($mh, $ch_pocket);
curl_close($ch_pocket);
curl_multi_close($mh);

/*デバッグ用
var_dump($json_twitter)."\n";
var_dump($json_facebook)."\n"
var_dump($count_hatena)."\n";
var_dump($html_pocket)."\n";
*/

//Twitterのカウント数を取り出す
$count_twtter = json_decode($json_twitter, true );
$count_twtter = num_format(strval($count_twtter['count']));

//facebookのカウント数を取り出す
$count_facebook = json_decode($json_facebook, true );
$count_facebook = num_format($count_facebook['share']['share_count']);

//Hatenaのカウント数を取り出す
$count_hatena = num_format($count_hatena);

//Pocketのカウント数を取り出す
//HTML→DOM→XML→JSON→配列に変換
$dom_pocket = new DOMDocument('1.0', 'UTF-8');
$dom_pocket->preserveWhiteSpace = false;
$dom_pocket->loadHTML($html_pocket);
$xmlString_pocket = $dom_pocket->saveXML();
$xmlObject_pocket = simplexml_load_string($xmlString_pocket);
$count_pocket = json_decode(json_encode($xmlObject_pocket), true);
$count_pocket = num_format(strval($count_pocket['body']['div']['a']['span']['em']))
?>

<!DOCTYPE html>
  <html lang="ja" itemscope itemtype="http://schema.org/WebPage">
  <head>
  <meta charset="UTF-8">
  <meta http-equiv="X-UA-Compatible" content="IE=edge">
  <meta name="viewport" content="width=device-width,initial-scale=1"><br>  <meta http-equiv="x-dns-prefetch-control" content="on"><br>  <link rel="dns-prefetch" href="//cdn.jsdelivr.net">
<style>
  .sns-counter {<
    width: 100%;
  }
  .sns-counter li {
  display: inline-block;
  border-radius: 2px;
  width: 80px;
  padding: 3px;
  margin-left: 3px;
  }
  .sns-counter li span {
  display: inline-block;
  text-align: center;
  width: 70%;
  font-size: 12px;
  font-weight: bold;
  color: #fff;
  }
 .sns-counter li i {
 display: inline-block;
  text-align: center;
  width: 30%;
  color: #fff;
  font-size: 14px;
  position: relative;
  top: 1px;
  }
 .sns-counter .btn-tw {
  background-color: #55ACEE;
  }
 .sns-counter .btn-fb {
  background-color: #3A5795;
  }
 .sns-counter .btn-hb {
  background-color: #008CE1;
  }
 .sns-counter .btn-pk {
  background-color: #ef4357;
  }
 .sns-counter .btn-line {
  background-color: #1dcd00;
  }
  .sns-counter .btn-total {
  background-color: #000;
  }
 .btn-hb:hover,.btn-tw:hover,.btn-fb:hover,.btn-pk:hover,.btn-line:hover,.btn-total:hover {
  background-color: #ccc;
  }<
  i.fa-hatena:before {
  content: "B!";
  font-family: Verdana;
  font-weight: bold;
  }
</style>
</head>
<body>
<div>
<ul class="sns-counter" title="<?php echo $targeturl; ?>"><!--
  --><li class="btn-tw">
  <a href="//twitter.com/intent/tweet?url=<?php echo $targeturl; ?>" target="_blank">
  <i class="fab fa-twitter"></i><span><?php echo $count_twtter; ?></span>
  </a><br>  </li><!--
  --><li class="btn-fb">
  <a href="//www.facebook.com/sharer/sharer.php?u=<?php echo $targeturl; ?>" onclick="window.open('https://www.facebook.com/sharer/sharer.php?u=<?php echo $targeturl; ?>', 'new', 'width=500,height=300');return false;" target="_blank">
  <i class="fab fa-facebook-f"></i><span><?php echo $count_facebook; ?></span>
  </a>
  </li><!--
  --><li class="btn-hb">
  <a href="//b.hatena.ne.jp/entry/<?php echo $targeturl; ?>" target="_blank">
  <i class="fa fa-hatena"></i><span><?php echo $count_hatena; ?></span>
  </a>
  </li><!--
  --><li class="btn-pk">
  <a href="//getpocket.com/edit?url=<?php echo $targeturl; ?>" target="_blank">
  <i class="fab fa-get-pocket"></i><span><?php echo $count_pocket; ?></span>
  </a>
  </li><!--
  --><li class="btn-line">
  <a href="//social-plugins.line.me/lineit/share?url=<?php echo $targeturl; ?>" target="_blank">
  <i class="fab fa-line"></i><span>LINE</span>
  </a>
  </li>
</ul>
</div>
<script>
window.addEventListener("load",function(){
  const css=[ "//cdn.jsdelivr.net/npm/@fortawesome/fontawesome-free@5.6.3/css/all.min.css" ];
  for(i in css){
   let html=document.createElement("link");
   html.rel="stylesheet";html.href=css[i];
   html.async=true;document.head.appendChild(html);
  }
});
</script>
</body>
</html>

たった0.5秒だけど速い！

前回は平均2秒だったのが今回1.5秒になりました。

期待していたのは1秒以下だったのですが、curl_multiを使った効果はありました。非同期なのはAPIから結果を取得しに行く部分で、表示は非同期ではありません。よってブログのページにこのボタンを埋め込むとこの1.5秒分ほどページ全体の表示を遅くさせる可能性があります。それでも純正のシェアボタンを使うよりは速いと思います。

表示も非同期にしたいときはPHPでカウント数を呼び出す部分をJavascriptから実行させることができれば可能かもしれません。jQueryでできるらしいので今度試してみたいと思います。

2019/01/17追記

jQueryから非同期でPHPを実行する方法をやってみました。

jQueryのAjaxからカウント数付のソーシャルボタンを出力するPHPを非同期で実行する

参考サイト

http://php.net/manual/ja/ref.curl.php http://php.net/manual/ja/ref.curl.php

http://asklife.info/archives/3335 http://asklife.info/archives/3335

https://minory.org/php-curl_multi.html https://minory.org/php-curl_multi.html

https://techblog.yahoo.co.jp/architecture/api1_curl_multi/ https://techblog.yahoo.co.jp/architecture/api1_curl_multi/

PHPでPocketの公式ボタンからストックされたカウント数だけを取得する

Tue, 08 Jan 2019 22:24:33 +0900

PocketのAPIが見当たらない

公式のSNSのシェアボタンをホームページやブログに設置すると重くてページの表示速度が遅くなるので、軽くて速く表示できるように自作のSNSボタンの作成にチャレンジしています。

それにPocketのストック数を表示させようと思っていいたのですが、Pocketのカウントを取得しようと公式APIを探しまくったのですが、ページをストックするためのAPIは存在するものの、特定のページがストックされたカウント数が取得できるAPIは現在存在していないみたいで見つかりませんでした。

公式ボタンからカウント数をを抜き出す

カウント付のSNSシェアボタンを自作しようとしているのですが、Pocketについては唯一、公式シェアボタンのHTMLからカウント数をWEBスクレイピングで抜き出すという方法しかなさそうです。今回はこれをPHPでやってみたいと思います。

できれば非同期でJSONからJavascriptで取得したいところですが、PHPで行う以外の方法が見当たりませんでしたので、今回はPHPで行ってみました。

公式のシェアボタン

Pocketの公式シェアボタンは以下ページから設置用のソースを取得できます。

https://getpocket.com/publisher/button https://getpocket.com/publisher/button

ちなみにこのページに設置した例（表示されているのはこのページのシェアカウント）

!function(d,i){if(!d.getElementById(i)){var j=d.createElement(“script”);j.id=i;j.src=“https://widgets.getpocket.com/v1/j/btn.js?v=1";var w=d.getElementById(i);d.body.appendChild(j);}}(document,“pocket-btn-js”);

PHPのコード

さて、本題です。上記のシェアボタンの数の部分を抜き出すPHPコードです。2通り作ってみました。例としてAppleのホームページ（https://www.apple.com/jp/）のシェア数を取得するように書いています。

file_get_contents で取得する場合

<?php
//Pocket
function get_pocket_count1($url) {
<br>
	$url = urlencode($url);
<br>
	//指定されたURLのPocketボタンを取得するクエリ
	$query = 'https://widgets.getpocket.com/v1/button?v=1&count=horizontal&url='.$url.'&src='.$url;
<br>
	//HTTPでアクセスし、Pocketボタンのソースを取得
	$html = file_get_contents($query);
<br>
	//DOMパーサーを作成
	$dom = new DOMDocument('1.0', 'UTF-8');
<br>
	//余分な空白は削除
	$dom->preserveWhiteSpace = false;
<br>
	//PocketボタンのHTMLソースを読み込む
	$dom->loadHTML($html);
<br>
	//XPathパーサーを作成
	$xpath = new DOMXPath($dom);
<br>
	//XPathでブックマーク数にあたる要素を取得
	$count = $xpath->query('//em[@id = "cnt"]')->item(0);
<br>
	//当該要素の中身が存在すれば、その数字を返し、存在しなければ0を返す
	$count = strval($count->nodeValue);
<br>
	//3桁区切りのカンマを削除
	$count = str_replace(',','',$count);
<br>
	//数値に変換
	$count = intval($count);
<br>
	return isset($count) ? intval($count) : 0;
<br>
}
<br>
//カウント数を取得したい対象URL
$url = 'https://www.apple.com/jp/';
<br>
echo $url.'のPocketシェアカウント→ '.get_pocket_count1($url);
<br>
?>

cURL で取得する場合

<?php
//Pocket
function get_pocket_count2($url) {
<br>
	$url = urlencode($url);
<br>
	//指定されたURLのPocketボタンを取得
	$ch = curl_init();
	curl_setopt($ch,CURLOPT_URL,"https://widgets.getpocket.com/v1/button?v=1&count=horizontal&url=$url&src=$url");
	curl_setopt($ch,CURLOPT_CUSTOMREQUEST, 'GET');
	curl_setopt($ch,CURLOPT_RETURNTRANSFER, true);
	$html = curl_exec($ch);
	curl_close($ch);
<br>
	//PocketボタンのHTMLソースを読み込みXMLパーサーを作成
	$dom = new DOMDocument('1.0', 'UTF-8');
	$dom->preserveWhiteSpace = false;
	$dom->loadHTML($html);
	$xmlString = $dom->saveXML();
	$xmlObject = simplexml_load_string($xmlString);
<br>
	//XMLをJSONに変換
	$array = json_decode(json_encode($xmlObject), true);
<br>
	//配列からカウント数を文字列として取り出す
	$count = strval($array['body']['div']['a']['span']['em']);
	//3桁区切りのカンマを削除
	$count = str_replace(',','',$count);
	//数値に変換
	$count = intval($count)
<br>
	return isset($count) ? intval($count) : 0;
<br>
};
<br>
//カウント数を取得したい対象URL
$url = 'https://www.apple.com/jp/';
<br>
//カウント数表示
echo $url.'のPocketシェアカウント→ '.get_pocket_count2($url);
<br>
?>

テスト結果

上記のソースで実際に取得しているカウント数です。どちらも同じ数字を取得できています。

file_get_contents で取得した場合

preserveWhiteSpace = false; //PocketボタンのHTMLソースを読み込む $dom->loadHTML($html); //XPathパーサーを作成 $xpath = new DOMXPath($dom); //XPathでブックマーク数にあたる要素を取得 $count = $xpath->query(’//em[@id = “cnt”]’)->item(0); //当該要素の中身が存在すれば、その数字を返し、存在しなければ0を返す $count = strval($count->nodeValue); //3桁区切りのカンマを削除 $count = str_replace(’,’,’’,$count); //数値に変換 $count = intval($count); return isset($count) ? intval($count) : 0; } //カウント数を取得したい対象URL $url = ‘https://www.apple.com/jp/'; echo $url.‘のPocketシェアカウント→ ‘.get_pocket_count1($url); ?>

cURL で取得する場合

preserveWhiteSpace = false; $dom->loadHTML($html); $xmlString = $dom->saveXML(); $xmlObject = simplexml_load_string($xmlString); //XMLをJSONに変換 $array = json_decode(json_encode($xmlObject), true); //配列からカウント数を文字列として取り出す $count = strval($array[‘body’][‘div’][‘a’][‘span’][’em’]); //3桁区切りのカンマを削除 $count = str_replace(’,’,’’,$count); //数値に変換 $count = intval($count); return isset($count) ? intval($count) : 0; }; //カウント数を取得したい対象のURL $url = ‘https://www.apple.com/jp/'; //カウント数表示 echo $url.‘のPocketシェアカウント→ ‘.get_pocket_count2($url); ?>

取得できたけど遅い…。

上記のソースでどちらも同じシェア数が取得できましたが、それぞれのテストページを作り、GTmetrixで計測してみたところ、Pocketのシェア数を取得するだけなのにどちらも約1.4～****2秒かかっていました。（cURLの方が平均200msくらい速かったです。）ページの表示スピードを速くするために作ったのですが、正直使い物になりません…。

公式のシェアボタンを表示するだけで約1.2秒。1秒以下を期待してしていたのですが残念。そもそも遅い公式ボタンを丸ごと読み込んで変換しているわけですから当然といえば当然ですよね。非同期で実行できるように、このPHPをJavascriptから実行すれば多少マシになるかもしれません。試していませんがjQueryで簡単にできるっぽいです。

Pocket側が仕様を変えることがあるので注意

現時点のPocketボタンに合わせて書いたソースですが、Pocketボタンの仕様が変わるとエラーが出たり数値が表示できなくなる可能性がありますので注意してください。

参考にさせていただいたページ

エクセルでSUMPRODUCT関数を使って特定の文字列を含むものをカウントする

Wed, 22 Mar 2017 19:43:52 +0900

エクセルで数や金額のの集計をする場合、単純な条件であればSUMIFやCOUNTIFでいいのですが、複数の条件にマッチする集計の場合はいつもSUMPRODUCT関数を使っています。

SUMPRODUCT関数では**"*"**などのワイルドカードで特定の文字を指定ができず不便でしかたありません。

ところがいろいろ検索したらSUMPRODUCT関数でワイルドカードを使わなくても特定の文字を含む文字列をカウントする方法があったのでメモ。

ISNUMBERとFIND関数を併用

以下の表を参考にした場合。

特定の文字を含む文字列をカウント

例えば、メモ欄に「リンゴ」が含まれている「セット商品」をカウントする場合の計算式は以下のようになります。

=SUMPRODUCT((B2:B6="セット商品")*(ISNUMBER(FIND("リンゴ",C2:C6))))

特定の文字を含まない文字列をカウント

逆に「リンゴ」が含まれていない「セット商品」をカウントしたい場合はNOT関数を挿入します。

=SUMPRODUCT((B2:B6="セット商品")*(NOT(ISNUMBER(FIND("リンゴ",C2:C6)))))

サンプルファイル

sample1.zip

XLSファイルをZIPで圧縮しています。

その他方法

以下の方法でも同じカウントができました。

=COUNT(INDEX(0/SEARCH("セット商品*リンゴ*",B2:B6&C2:C6),))

=COUNT(INDEX(SEARCH("セット商品_*リンゴ*",B2:B6&"_"&C2:C6),))

エクセルは奥が深いですね。

エクセルで重複を除き（ユニークな値のみを）複数条件でカウントする方法

Thu, 04 Apr 2013 17:35:43 +0900

以下のような顧客データがあった場合に、重複するお客様は1人のお客様として、支払い方法別など複数条件で人数をカウントする方法です。（ユニークな値のみを複数の条件別でカウントします。）

サンプルダウンロード (count.xls)

単一条件で重複を除いて（ユニークな値のみ）カウント

=COUNT(INDEX(1/(MATCH(A2:A10,A2:A10,0)=ROW(A1:A10)),0)) ※途中に未入力のセルがあってもカウントします。

複数条件で重複を除いて（ユニークな値のみ）カウント

=COUNT(INDEX(1/(MATCH(A2:A10&G2&H1,A2:A10&C2:C10&D2:D10,)=ROW(A1:A10)),))

※ROWの範囲はA1からにしておかないと結果は0になっていまいます。

その他

全体の人数はSUMPRODUCT関数とCOUNTIF関数を組み合わせた使い方もあります。

=SUMPRODUCT(1/COUNTIF(A2:A10,A2:A10))

ただし、途中に未入力のセルが含まれているとエラーで#DIV/0となります。