CAREER JOURNAL

平均は改善、一部の利用者は悪化|データ職・PM面接で展開対象をどう選ぶか

株式会社Global Career Incubator 代表取締役CEO 井川真一

最終更新:2026年10月29日。本文・参考資料は更新日時点の情報です。

平均は改善、一部の利用者は悪化|データ職・PM面接で展開対象をどう選ぶか

新しい画面を試したところ、全体の完了率が改善した。「それなら公開しましょう」と答える前に、その変化の中で、誰が進みやすくなり、誰が進みにくくなったかを確かめたいところです。

データ職やプロダクトマネージャー〈PM〉のケース面接では、全体の数字を計算することに加え、利用者による違いをどう判断へ入れるかを説明しましょう。全体の改善を見つけた後に、対象を広げる根拠を説明できずに迷うこともあるでしょう。表へ戻り、利用者ごとに何が変わったかを確かめれば、次の選択を具体化できます。どの情報が加われば判断を変えるかまで、ご自身の言葉で答えてみてください。

全体の結果を、どこまで適用するかを考える

2024年11月20日公表のMicrosoft Researchのオンライン実験に関する記事は、ある対象で得た結果を、別の対象や将来へ適用する際の限界を論じています。実験で観察した改善が、異なる利用者の構成でも、そのまま続くと決まるわけではありません。

面接で表を渡された場合も、指標の定義、対象、期間、割り当ての方法を確認してください。全体が改善していることと、すべての利用者層で改善していることを、分けて考える必要があります。

一方、後から多くの切り口で分けて、不利な数字だけを拾うことにも注意が必要です。層をどう定義したか、事前に注目していたか、対象数と不確実性はどうかを確認しましょう。

全体では改善しても、支援を必要とする層では下がっていた

以下はGCIが作成した仮想例です。

会員サービスの手続きを新しい画面へ変える案について、面接官から次の結果を渡されたとします。実験前に定めた利用者の区分を使い、同じ期間、従来画面と新画面へ無作為に割り当てています。一人は対象の手続きを一回行い、期間内に完了した人数を数えます。

区分は、通常の操作で進める層と、事前に操作支援の対象として登録されている層です。区分が実験後の行動で決まったものではないという条件で考えます。表の対象人数を分母、期間内の完了人数を分子として、まず結果を読み取ってください。

利用者層 従来画面:対象人数 従来画面:完了人数・率 新画面:対象人数 新画面:完了人数・率
通常の操作で進める層 800人 640人・80% 800人 688人・86%
操作支援の対象の層 200人 160人・80% 200人 140人・70%
全体 1,000人 800人・80% 1,000人 828人・82.8%

全体の完了率は従来画面の80%に対して新画面が82.8%で、差は2.8ポイントです。通常層では80%に対して86%、支援対象の層では80%に対して70%となっています。通常層の6ポイントの上昇と、支援対象の10ポイントの低下を、全体の数字と併せて示してください。「全体で増えたから問題ない」と相殺しないことが重要です。

ここまで分かったのは、表に示された観察値の違いです。測定の正しさ、割り当て、記録の抜けを確認し、層別の差にどの程度の不確実性があるかを評価してから効果を判断します。原因を探る調査と、差の確かさを調べる分析も分けましょう。検定結果だけで、どの操作が妨げになったかまで分かるわけではありません。

完了できなかった人の仕事を、数字と一緒に確認する

支援の対象の層で何が起きたかを確かめず、「慣れれば改善するでしょう」と片づけないでください。表示の理解、入力、補助的な操作手段、支援の受け方など、どの段階で進めなかったかを調べる必要があります。

また、未完了が本人にどんな影響を持つかも関わります。必須の手続きができなくなったなら、単なる利用時間の減少と同じには扱えません。サービス運営と利用者支援の担当者に、従来の方法で手続きを続けられるか、支援を求める先へ到達できるかを確かめる提案をしてください。原因調査が終わるまで、利用者が困ったまま待つ案にしないことが大切です。

一方、通常の操作で進める層の改善も、無視する必要はありません。対象ごとの結果と課題を合わせ、何を継続して確かめ、何を直すかを比較することになります。

全面展開、対象限定、追加確認を比べる

全員へ新画面を展開すれば、改善が確かなら広く便益を届けられます。ただし、今の表には支援対象の完了率の低下が残っています。この問題を調べずに対象を増やす案は勧められません。

対象を限定して検証を続ける案なら、課題のある層へ広げずに通常層の変化を確かめられます。一方、支援を必要とする人を正しく扱えること、従来の方法へ戻れること、運用と測定を続けられることが前提です。属性を推測して勝手に選別する案にはしないでください。

全面展開を保留して修正と追加確認を行う案は、問題を確かめてから再評価できます。その間に改善の機会を待つ負担もあるので、調査・修正の担当と次に判断する時点を決めます。保留という言葉だけで、判断を先送りしないことが重要です。

このケースでは、私はまず全面展開を保留し、支援対象が使える手段を確保しながら、測定と操作上の問題を調べる提案を勧めます。通常層だけの継続検証は、対象の扱いと従来方法への戻り方をサービス運営の担当者が確認し、分析担当が結果を追える場合に、事業責任者と判断する案です。

利用者の構成が変わると、全体の値も変わる

今回の表は、通常層八割、支援対象二割という構成です。各層の率を固定し、将来の構成だけが半分ずつになったと仮定すると、新画面の全体の完了率は、86%×50%+70%×50%=78%になります。従来画面を両層80%のままと置けば、全体でも80%で、新画面の方が低くなります。

これは将来の予測ではありません。各層の率が変わらないという仮定で、構成の違いが全体へ与える影響を確かめた計算です。今回の2.8ポイントの改善を、そのまま別の構成へ約束できない理由を説明するために使います。

面接でも、率を足すだけでなく、誰をどの比率で含めた全体かを確かめましょう。

保留の後に、何が分かれば判断を変えるか

最初の回答では、数字と当面の推奨をつなげます。

「全体の完了率は従来80%に対して新画面82.8%ですが、支援対象の層では80%に対して70%です。私は今の時点では全面展開を勧めません。サービス運営と利用者支援の担当者に、従来の手段で必要な手続きを続けられるかを確認します。並行して、分析担当と測定・割り当て・層の定義・記録の抜けを確かめ、差の不確実性を評価します。そのうえで、どの操作で進めなくなったかを調べる提案です。通常層への限定した継続検証も、適切な対象の扱いと運用が可能かを確認して判断します」

面接官から新しい情報が出たら、守るべき条件を残し、理由が変わった部分を選び直しましょう。同じケースに、二通りの追加条件を置いて答えてみます。

「記録を直したら、支援対象の差がなくなりました」と与えられた場合は、当初の表をそのまま判断材料にし続けないことが重要です。

「完了率が低いことを根拠にした懸念は見直します。両画面を同じ定義で集計し直した値と対象人数を確認し、通常層を含む結果を再評価します。ただ、記録の誤りが直ったことと、すべての利用者が問題なく使えることは別なので、操作上の不利益が残っていないかも確かめます。運用条件と必要な精度での比較がそろえば、対象を広げる案を改めて事業責任者へ出します」

「記録は正しく、支援対象の利用者が入力の途中で進めなくなっていました」と与えられた場合は、調査を続けるだけでなく、修正する対象ができます。

「従来の手段を残したうえで、止まった入力の段階をデザイナー・開発担当と確認し、修正案を作る提案に変えます。修正後は、その手続きを進められるかと支援への到達性を確かめます。さらに同じ完了の定義で結果を追い、見過ごせない不利益が残っていないか、利用者の負担と不確実性を含めて判断します。修正したことだけで全面展開を決めず、確認できた対象から次の範囲を提案します」

観察数が足りずに判断できない場合は、分析担当と、判断に必要な精度、対象人数、観察期間をそろえ、次に結果を見る日を事業責任者と決める案にしてください。件数を増やすために、問題のある画面へ利用者を戻す提案にはしないよう注意が要ります。

「少数の層なので許容できませんか」と問われた場合も、人数だけで答えないでください。必要な手続きが止まる不利益なのか、代わりの手段を使えるか、どの対応なら続けられるかを示しましょう。比率を計算する力を、利用者と事業の選択を考える力へつなげたいところです。

応募職種に合わせ、答え直す練習をする

データ職を目指す方は、分母、割付単位、記録の抜け、層別結果の不確実性をどう確かめるかまで説明してみてください。PMを目指す方は、その確認を受けて、誰にどの手段を残し、どの条件なら展開対象を広げるかを話すところまで進めましょう。どちらの職種でも、分析と利用者への対応のつながりは必要です。そのうえで、自分が担う判断を具体的に伝えます。

選考で分析手法の説明まで扱うか、判断を中心にしたケースかは、採用担当・リクルーターへ確認してください。問いが分からないまま広く準備を増やすより、求められる深さを確かめて、足りないところへ時間を使いましょう。

練習では、最初の表への回答を一度録音します。その後、上の追加条件から一つだけ選んで答え直し、「撤回した判断」「維持した条件」「次に取る行動」を一文ずつ残してください。慎重な答えを続けることではなく、変わった事実に合わせて判断を動かせたかを見ます。

最初と二回目で同じ答えになったら、無理に違う結論へ変える必要はありません。どの事実が変わっても維持できる理由があるかを確かめましょう。理由が出てこない箇所が、次に掘り下げる場所です。実務経験を使う場合も、当時確認したことと、今なら行う改善案を分けて話してください。

数字は説明できても、次の案で迷う場合は

計算結果を正しく話せるのに、「ではどうしますか」と聞かれると、確認項目ばかりが増えることもあるでしょう。すべてを整えてから相談する必要はありません。最初の回答と、追加条件を受けて変えた部分を残しておいてください。

GCAPの企業・職種別の個別対策では、本人の経験と応募する役割に合わせ、ケースを含む職務別の問いへの準備を扱います。個人向け相談フォームには、応募求人と、二つの回答で判断に迷った箇所をお知らせください。GCIは必要な準備と支援できる範囲を確認し、分析した事実から、ご自身が勧める行動へつなぐ説明を一緒に整理します。

参考資料

資料の確認日は2026年10月28日です。