JSTQB Advanced第1回試験を分析してみた。
相変わらずではあるが、いくつか試験問題に不備があったような報告が見られる。2chやtwitterでは「仮にもテストのための資格だ。レビューはしっかりとして欲しい」との意見がみられた。FLでは、問22と問30に、問題文中に正解を記述したままであったり、なくてもいいような間接的な選択肢の記述があったりしたようだ。
ALでは「テスト」が「テかスト」になっていたり、正解が他の設問の問題文に含まれているものが2題もあったようだ。ちなみに品質コストの4つのカテゴリと、プロセス改善の7つのステップの順序の問題だ。その他にも問題や選択肢として適切なのか疑わしいものもいくつかあったが、それを主張する術はない。
最近、私はもう、これらはJSTQBの個性である、風物詩であると思うようにしている。完全でなければいけないのか。「人間はエラーを起こす」とシラバスの冒頭にも掲げているはずだ。完全でないから面白いんだ。たしかに完全なJSTQBはイヤだなと思えてくるから不思議だ。
第1回AL試験の配分は
まずALの65問の配分をチェックしてみた。シラバスの学習時間から算出した配分と今回第1回試験での配分だ。勿論、第1回試験での配分は、個人的に判断したものであって、厳密さはない。
| 学習時間から算出した配分 | 第1回試験での配分 | |
|---|---|---|
| 1 ソフトウェアテストの基本的側面 | 5問 | 4問 |
| 2 テストプロセス | 4問 | 5問 |
| 3 テストマネジメント | 35問 | 35問 |
| 4 テスト技法 | 0問 | - |
| 5 ソフトウェア特性のテスト | 0問 | - |
| 6 レビュー | 4問 | 3問 |
| 7 インシデント管理 | 3問 | 2問 |
| 8 標準とテスト改善プロセス | 4問 | 5問 |
| 9 テストツールと自動化 | 3問 | 4問 |
| 10 個人スキルとチーム構成 | 7問 | 7問 |
| 合計 | 65問 | 65問 |
シラバスで提示の学習時間から算出される配分にほぼ等しくなっている。シラバスに準拠して整然と出題はされていることが伺える。きっちり満たさなければならないISTQBの要件なのだろう。ちなみに53問までは思い出せたのだが、残りの12問についてははっきり思い出せていない。それらはテストマネジメントにカウントしておいた。
次に基本問題と応用問題で分けて集計してみる。基本問題は、シラバスを熟読して把握していれば解答できる問題であり、応用問題は特定のシナリオにおいてテストマネージャとしてどのように判断・分析して行動するかという問題である。
- 基本問題 41問（63%）
- 応用問題 24問（37%）
第1回AL試験の傾向は
想像していた以上に基本問題が多く、シラバスを中心した学習で十分合格圏に到達できそうだ。応用問題は一般的な知識と経験で冷静に判断すれば解が絞れるようなものが多い。むしろ、基本問題はシラバスでの字句をそっくりそのまま覚えておく必要のあるものが多く、逆に対応しにくい側面がある。
前回のトライアルでは、シラバスを2回読んで合格したという方もあったが、まんざら虚言ではなさそうだ。また半年前にFLに合格され、連続してALに合格された方が2人以上あるという事実、その反面、経験豊かなテストのプロの多くが不合格になってしまうという状況があったようだ。その要因が今回判った気がした。
基本問題はシラバスでの字句をそっくりそのまま覚えておく必要があったのだ。経験による先入観を排除して、忠実にシラバスの記述のままのものが選択できないといけない。シラバスをじっくり読んで、解釈がどうこうでなく、機械的に字句そのものを記憶しておくことが非常に有効だと感じた。しかもこの手の基本問題はかなり多い。第1回試験なので、まだ問題がこなれていないということかもしれず、徐々に回を増すごとにこの傾向は小さくなるかもしれない。
用語や概念をそっくり覚えておけばいいものには、品質コストの4つの分類、7ステップの改善プロセス、プロセス参照モデルの定義、SBTMの3ステップのプロセス、テストオラクル、4つのマネジメントドキュメントがあった。シラバスの字句がそのまま問題文や選択肢にあるものは非常に多く、システムオブシステムズ、セーフティクリティカルシステム、モニタリングすべきメトリクス(テストと欠陥)、IEEE 829のドキュメントテンプレート、FMEAなどだ。30問近くあるといってもいい。
1つ例を挙げるなら、「開発者は処理の正常系に注視しがちだ」という字句がシラバスにあったとしよう。だがそれを読んだ読者や受験者は「自分はそうではないな。むしろ処理の異常系にこそ注視している」と普段から思っているし、実践してきているとしよう。しかし、試験では「開発者は処理の異常系に注視しがちだ」という記述があれば、それは間違いであると判断しなくてはならないのだ。シラバスの字句をそのまま素直に記憶できる人が有利であり、むしろ経験豊かな先入観のある人が、不合格になるという落とし穴がここにあるのだ。
応用問題といっているものが、経験豊かな人に有利であれば、まだ相殺されるのだが、シナリオベースのものは一般的な知識と経験で冷静に判断すれば解が絞れるような、比較的簡単なものが多い。相殺するには足らない感じだ。これは、ISTQBやJSTQBの本意なのだろうか。そうではないはずだ。トライアル試験の結果だけからも十分に推測できたはずだ。そういった振り返りは行われなかったのか。今後改善していってほしいと思う。
いつのまにか変な方に話が進んでしまった。
4章5章は出題されたのか
テストマネージャ試験には4章5章から出題されるのかされないのかといった問いに誰も答えてはいただけなかった。では今回第1回試験では出題されたのかというと、「されたともいえるし、されなかったともいえる」が結論だ。4章5章に関係するキーワードは、メモリリーク、ワイルドポインタ、静的解析、動的解析、性能テストくらいである。動的解析に関する問題はあったが、4章のK1レベルの問題ともとれるが、9章の動的解析ツールに関する問題とも取れるからだ。性能テストもキーワード程度であり、5章の内容とは言えない。残念ながら、第1回試験を経てもまだ、4章5章のキーワード程度は読んで理解しておくべきとしか言えない。前述の出題の配分の表では、一応、4章5章をゼロにしておいた。
ちなみに、行動規範からも1題も出ていなかった。
ツールは、マネジメントツールのみの出題で、他のツールはテストアナリストの範疇ということなのだろう。
一生懸命学習した見積り技法(WBS,3点見積り,デルファイ,TPA)や、TPI以外のプロセス改善(TMM,STEP,CTP,SPICE,CMM,TOM,TIM,SQR)も全く出題されていなかった。標準もIEEE 829、1044のみが出題され、他のものは触れられてもいない。ただし、今回だけのことだろうから、次回のことは分からない。次回は3点見積りやSTEPが取り上げられるかもしれない。TPIのテスト成熟度マトリックスの問題は、いい問題だなと思った。
あれだけのボリュームの試験の中で、WモデルやSTEPに一言も触れないというのは、いかがなものかと思ってしまった。意外なところでは「ペアプロ」という表現がそのまま採用されていた。アジャイルは推進するが、形式的なWモデルやSTEPは排除傾向かもしれない。そういえば、信頼性成長曲線さえ出題されていなかったな。
「システムオブシステムズとセーフティクリティカルシステムにはうんざりだ」という意見もあった。私も同感だ。こういったドメインの特性に応じたテストよりも、開発ライフサイクルや方法論に応じたテストを語った方がより有益だろうとは思う。
今回の試験でどこが出題され、どこが出題されなかったかは、今後の試験の対策には大してならない。再度似たような出題があるかもしれないし、次回は別なものが選ばれるかもしれない。ただ全く出ないとか、出ても1問程度といったボリュームについての参考情報にはなるだろう。
計算問題はあったか
計算問題は1題は出題されると予測していた。とくに3点見積りでの平均値の算出が有力なのかと思っていたが、残念ながら外れた。暗算できる程度の簡単な工数見積りが出題されていた。
総じて
シラバスのいろんなところから数人の担当者が作成した問題を寄せ集めただけといった感じがする。全体的な構成がチェックされていない。全体的なレビューが足らないのだろう。だから品質コストやプロセス改善の7つのステップのように重複した問題が盛り込まれたり、「テかスト」が見逃されたりする。監修者は最後に「革新的」と言い切って満足されているのかもしれないが、非常に中途半端なものに感じられてしまった。
WモデルやSTEP、開発ライフサイクルに応じたテストのパターン、信頼性成長曲線などは必須の要素かと思っていたが、それさえもない。もしかするとそれらはトライアルで出題したために、今回は除外されたのかも知れない。ただ、構成上、根幹となるものは毎回でも出題してほしい。試験は受けてみたが、一体何の試験だったか忘れてしまう感じなのだ。仮に合格したとしても、結局、シラバスを通しても、試験をとおしても「テストマネージャとはこうあるべきだ」というものが見えないまま終わってしまうような空しさや危惧が感じられるのだ。
