a0001_015454

ネット調査

なんかインターネットを使った調査では、回答者が質問文をよく読まずに手抜き回答しがちという研究結果を紹介してる記事を読んだんだが。

ネット調査、「手抜き」回答横行か 質問文読まずに…

似たようなネットアンケートは、回答するとポイントや抽選でプレゼントがもらえる奴とかは回答してるけど。昔は色々やっていたが、今では恒常的に回答してるのはTポイントのだけだな。まあ、ポイント目当てでだから手っ取り早く選択してるけど。質問文を読まずにってのはないかな。

ただ、この研究って意図的「手抜き回答」させてる感じなんだよね。

朝日新聞デジタル

記事では2回の調査を行ったらしいが。

 1回目の調査では、長い質問文の末尾で「以下の質問には回答せずに次のページに進んで下さい」と指示していたが、一社は51・2%、もう一社は83・8%のモニターが指示を守らずに答えたという。

そんな大事なことなら「長い質問文の末尾」じゃなく一番最初に書いとけよ。それに、条件(例えば次の質問は既婚者のみ要回答とか)なしで「以下の質問には回答せずに次のページに進んで下さい」なんて指示があったとしたら、公正な調査にはならないんじゃね。

 2回目の調査では、五つの選択肢から選ぶ形式の質問を10~50問出し、そのなかに「一番『右』の選択肢を選んで下さい」などとする指示を潜り込ませた。すると、1回目で指示を守ったモニターはほとんどが2回目も指示に従ったが、1回目の調査で指示を守らなかったモニターの2割前後が2回目も指示を守らなかったという。

これ普通の人は「あなたの生活に関するお伺い」という調査に回答するなら、まさかこんな引掛け問題があるとは思わないよな。まあ、質問文をちゃんと読んでないといえばそうだけど。それと、「五つの選択肢から選ぶ形式の質問を10~50問」って幅多すぎ。正直、私でも50問のアンケートとかで数円程度のポイントしか貰えないなら最初からやらないか、やってもやっつけで答えると思う。

この記事には続きがあるけど、無料登録しないと読めないんで読んでないが。ここまでの記事で判断できるのは、この研究結果ははじめに回答者が「手抜き回答」してるという結果ありきで、意図的に回答者を引っ掛けようとした質問文を作ってるようにしか見えない

今回使われた質問文

今回の調査で使われたらしい質問文について言及してる記事を見つけたんだが。

ネット調査で手抜き回答を誘発する質問を置いといて、手抜き回答をされると「手抜きされました」と主張する論文があるらしい

上記記事のリンク先に今回行われたと思われる調査の詳細が書いてあったが。

オンライン調査モニタのSatisficeに関する実験的研究

これによると「長い質問文」とはこういうものらしい。

あなたの日常的な行動についておたずねします

人間の意思決定に関する近年の研究で、人間の決定は「真空」状態でおこなわれるものではないことが知ら
れています。個人の好みや知識、そしてその人がそのときどんな状況にあるかが、意思決定過程に重要な影
響を及ぼすの です。われわれはこうした意思決定過程の研究のため、あなたの意思決定者としてのある要素
を知りたいと考えています。つまり、あなたがこの指示を時間をかけてよく読んでいるかどうかに興味があるの
です。もし誰もこの指示をお読みになっていないとしたら、指示内容を変えることが意思決定に与える影響を
見たい、というわれわれの試みは効果を持たないからです。そこで、あなたがこの指示をお読みになったな
ら、以下の質問には回答せずに(つまり、どの選択肢もクリックせずに)次のページに進んで下さい。よろしく
お願いします。

オリジナルの英文を機械翻訳したみたいな感じだが、予想以上にひどかった。これ、真面目なアンケート調査でこんな設問あったら、まともな調査結果求めてるとは思えないな。調査依頼した企業にこんなネット調査するような会社があったら、間違いなく潰れると思う。

今回の感想

今回の記事の元となった研究で行われた調査はかなり悪質な誘導に思えるので、今回の結果についてネットがどうこうとかは関係ないと思う。ぶっちゃけ、こんなクソみたいな設問が50問ぐらいがある読者アンケートを朝日新聞が実施したら、「朝日新聞の読者アンケートは手抜き回答が横行か」って記事が作れる結果が出るんじゃね。

ちなみに、この調査はオンライン調査サービスを提供する5社に打診したうちの2社が行ったらしいが。他の3社が断った理由についても書いてあった。

なお、調査実施を打診したうち3社が不可とした理由は、いずれもこのIMC項目が「モニタに不快感を与える」と判断したものであった。

IMC項目ってのは例の、長文の質問文の後に回答せず次のページに進めって奴。そんな訳で、この調査については協力を拒否した3社の理由がすべてを語ってると思う。

関連記事


ブログランキング にほんブログ村

Leave a Reply