シルバーエッグのレコメンドサービスでは、ABテストを行っています。(もちろん日本でABテストという概念をレコメンドサービスに導入したのはシルバーエッグです。)
現在でも、このABテストはよく活用されており、弊社のサービスコンサルタントたちも大忙しです。
ABテストは、同じベースのもとで一か所だけ変更してテストすることによって、その変更が効果があるのかどうかが明確にわかるもので、広告によくつかわれる手法です。ただ、よりABテストの効果を出そうと思うと、ABテストを行う前に仮説をたてておくということが大事なのではないかと思います。
ABテストをして、どちらの内容がより数値が高いかということを単に見るだけでは、やはり結果オーライにしかなりません。
このページのレコメンドは、こんな作戦でいったほうが絶対にあたるのではないかという仮説をたてABテストをしてこそ、その仮説どおりに行った時や行かなかった時の検証ができ、そしてノウハウはその検証の中にこそ存在します。
インターネットでは、比較的簡単にトライできるだけに、まずやってみて結果をみるということも多いと思いますが、仮説をたてることで、より自社にノウハウがたまることをもっと大事にするべきではないかと思います。