テスティング基礎コースの利用状況

JSTQB SQUARING

昨日は、JSTQB Foundationの第10回試験でした。受験された方、ご苦労さまでした。シラバスV1.1.0での最後の試験となるでしょう。次回第11回(2011/08)からはシラバス2010に対応されるものと思います。

昨日の試験は、非常に簡単であったとの情報が結構ありますね。Foundationの人気が若干下降気味なのと、今後のAdvancedの展開に向けて、Foundationのレベルをすこし落としたのかもしれません。また相変わらず、題意のはっきりしない問題も含まれていたようですね。

ソフトウェアテスティング基礎コース(無料にて132問)を2011/02/01に公開して、アナウンスもこの「はてな」での記事のみに限定しておこなったのですが、結構、予想以上に利用いただきました。利用いただいた方々が、今回の試験に合格されていることを願います。利用者の方で、手ごたえはどうだったか、少しは役にたったか、是非、お感想をお聞かせください。

公開したコースの利用状況を分析して、今後の対応を検討しています。この手のサービスを提供するのは初めてのことなので、基礎データは十分に分析しておいた方がいいでしょう。若干、紹介しておきます。

テスティング基礎コースの利用概況

2011/02/02から2011/02/19までの18日間で、ソフトウェアテスティング基礎コースのみを対象として、サービスの利用状況を集計してみた。

ゲストの演習回数は、793回だった。誰が何回行ったかは集計していない。793回のうち、449回はカテゴリ学習で、344回が本試験形式の演習だった。1回の演習では、平均5.84問が出題され、有効回答は平均5.78問、正解は平均4.59問だった。有効回答のみから正解率を求めると、79.8％となる。この79.8％は、テイスタコースとして公開している模擬問題のおおよその難度と言える。JSTQB Foundationの合格基準が65％であり、ほぼ50％の人が合格できると仮定すると、テイスタコースの問題は比較的簡単と言える。(※ちなみに、イータコースは難度を高くしています。)

アカウント登録して実際に模擬問題演習をされた方は、43人だった。アカウント登録しても1回も利用されていない方もあったが、除外している。このメンバ43人の演習回数は、合計で2,087回だった。一人あたりの平均演習回数は、48.5回になる。1回の演習では、平均7.61問が出題され、有効回答は平均7.57問、正解は平均6.44問だった。アカウント登録での学習は、ほとんどの方が満点近くになるまでくり返して演習されるので、正解率を計算してもあまり意味はない。2,087回のうち、カテゴリ学習が777回、本試験形式モードが590回が、弱点克服モードが374回、根こそぎモードが112回だった。残りの234回はイータコース申し込み者の演習になる。ちなみに一人で行った演習回数を上位から挙げるなら、455回、219回、93回、68回と続く。数人の熱烈なファンが数値を上げてくれたことになる。上位2人を除外して計算すると、一人あたりの平均演習回数は、34.5回に下がる。この34.5回に平均の7.57問を乗じると260.9問となる。無料公開した設問が132問なので、偶然だが、ちょうど1問につき2回演習を行ったことになる。

アカウント登録の実態

サンプル数は少ないが、アカウント登録の実態を集計してみた。アカウント登録した人は46人だった。

  • アカウント登録しても1回も利用されなかった人：3人 (6.5％)
  • ほぼフルネームで登録された人：11人 (23.9％)
  • それなりの名前で登録された人：15人 (32.6％)
  • 誰だか全く不明の人：20人 (43.5％)
  • 会社名など所属を明らかにされた人：28人 (60.9％)
FaceBookのような訳にはいかない。実名を公開する人は少ないが、会社名などの所属は意外と提示してくれている。特に1社から10人ほど集団で利用していただいたところもある。

利用状況の推移

サービス公開から2011/02/19までの18日間での演習回数の推移を見てみる。試験は昨日2011/02/19(土)だ。一夜漬けで利用される方が非常に多い。ゲスト利用者、アカウント登録されたメンバ利用者に分けている。

年月日ゲストメンバ合計
2011/02/02(水)21012*
2011/02/03(木)606*
2011/02/04(金)628*
2011/02/05(土)165470**
2011/02/06(日)152742*
2011/02/07(月)10717*
2011/02/08(火)69096**
2011/02/09(水)54348*
2011/02/10(木)94857**
2011/02/11(金)54853**
2011/02/12(土)67379**
2011/02/13(日)20133153****
2011/02/14(月)50103153****
2011/02/15(火)3485119***
2011/02/16(水)93149242*****
2011/02/17(木)86207293******
2011/02/18(金)184638822*****************
2011/02/19(土)256375631*************
半年間ごとに一斉に実施される試験では、どうしても前日の一夜漬けでの利用が多くなる。せめて1週間前くらいにゆるやかなピークがくるように学習もらいたいところだ。このままだと、次回試験では、低コストのサーバーでは対応できくなるだろう。ゲストや無料メンバは利用を制限することも必要かもしれない。（※ゲストは履歴を伴わないので負荷は少ない。むしろピーク時は無料メンバを強制的にゲスト扱いにして履歴対象から除外する案がある。）

利用時間帯の分析

運用プロファイルではないが、サービス公開から2011/02/19までの18日間の統計で、演習回数を時間帯ごとに集計してみた。朝の出勤前、お昼休み、夕刻の帰宅前、そして夜中22時ころから1時過ぎまでが利用が多いことは分かっていた。以下は土日も含めた集計なので、あまり顕著な傾向とはいえないが、夜中22時ころから1時過ぎまでの利用は圧倒的に多いことが分かる。深夜2時から朝7時台まではほとんど利用がない。また全国一斉の夕食時なのか、夕刻19時台の利用もないことが掴めた。

時間帯演習回数
00237*****
01121***
0232*
037*
047*
0515*
0618*
0720*
0871**
09136***
10160****
11165****
12161****
13110***
14139***
15116***
16141***
1797**
1891**
1933*
2087**
21196****
22352********
23389********

大した情報ではないが、折角分析したので載せてみた。