6 пилотным пилотажным исследованием называют. Пробное и пилотажное исследования. Математико-статистический анализ результатов проведения пилотажного исследования

Термин «пробное исследование » в литературе употребляется как:

  1. синоним поискового (разведывательного) исследования;
  2. синоним пилотажного исследования;
  3. собирательное понятие, включающее как свои разновидности (подвиды) поисковое (разведывательное) и пилотажное исследования. Будем считать, что поисковое (разведывательное) и пилотажное - два основных подвида пробного исследования.

Поисковое (разведывательное) исследование проводится с целью уточнения проблемы, более корректной постановки задач и выдвижения обоснованных гипотез. Таким образом, по своей сути оно есть концептуальное исследование. Проведение его особенно желательно в том случае, если литература по интересующей вас тематике отсутствует или ее недостаточно.

Разведывательное исследование - наиболее простой вид социологического анализа: круг задач ограничен, число опрошенных невелико, программа и инструментарий крайне упрощенные; данные нерепрезентативные. Ученый получает лишь прикидочные сведения об объекте исследования для общей ориентации в проблеме. Оно используется для мало изученных или вообще не изученных проблем. Его лозунг - приблизительно, дешево и быстро.

Поисковое исследование может проводиться следующими методами:

  • интервью (лучше неформализованное) с потенциальными респондентами;
  • наблюдение;
  • фокус-группа по центральной проблеме исследования;
  • опрос экспертов - специалистов или просто людей, имеющих отношение к интересующей вас проблемной области;
  • изучение документов, статистических данных, содержащих необходимые сведения по выдвинутым задачам и гипотезам.

Вариантом разведывательного исследования выступают экспресс-опросы. Их еще называют оперативными опросами. Ими пользуются многочисленные опросные фирмы - от ВЦИОМ до РОМИР. Правда, опросы они проводят, как правило, очень грамотные, но глубоких научных задач развития фундаментальной науки не ставят. Решаются сиюминутные, но очень нужные обществу, ведомству или частному заказчику утилитарные задачи: как народ относится к президенту, запрещению абортов, войне в Чечне, приезду Буша, террористическим актам 11 сентября 2001 г. Таким образом получают свежую, недолговечную (срок ее жизни исчисляется днями, неделями, реже месяцами), но очень нужную в данный момент информацию.

Если за дело берется не солидная опросная фирма, имеющая лицензию на проведение опросов, а группа любителей (отдел кадров, хозяин веб-сайта, кружок друзей словесности, журнал и т.д.), то оперативный опрос дает хотя и свежую, даже нужную информацию, но совершенно нерепрезентативную, не очень надежную или совершенно ненадежную. Она может быть достоверной, но только на первый взгляд. Стоит подойти к инструменту по всем научным меркам, как проявятся многочисленные изъяны. Но там, где не требуется великой строгости, где нужно лишь как-то сориентироваться в проблеме (разведать объект), оперативный опрос вполне годится.

Разведывательное исследование часто называют также пилотажным исследованием. Хотя правильнее считать его самостоятельным видом социологического исследования. Разведывательное и пилотажное исследования похожи в двух аспектах:

  • Цель - получить примерные данные о том или ином явлении либо апробировать применение методики к более широкомасштабным исследованиям.
  • Объект - для проведения того и другого исследования нужна незначительная совокупность объектов, поэтому они проводятся в ограниченные сроки.

Но в отличие от разведывательного, пилотажное исследование предназначено для отработки технических процедур и приемов, чаще всего - для апробации вопросника. Предварительная проверка опросного инструментария столь же важна для успеха исследования, считают Дж. Мангейм и Р. Рич, как пробная поездка - для успешной покупки подержанного автомобиля. Она помогает обнаружить проблемы, которые в полной мере могут проявиться только в полевых условиях.

При проведении пилотажного исследования необходимо учитывать правила:

  • Объем выборки в пилотажном исследовании не имеет четкого методического обоснования. Обычно полагают достаточным опросить около 30 респондентов. Важно только, чтобы они представляли все существенные категории планируемого объекта исследования.
  • Малая выборка в пилотаже вовсе не обязательно должна быть репрезентативной по отношению к генеральной совокупности. Куда важнее другое ее качество - разнообразие: она должна включать те группы респондентов, которые способны реагировать на инструментарий по-разному. Если малообразованные люди составят в будущей выборке незначительную долю, их необходимо опрашивать в первую очередь именно потому, что они могут отвечать на ваши умные вопросы совсем не так, как ожидается.
  • В пилотажную выборку включают тех респондентов, которые представляют наиболее важные для темы опроса социально-демографичекие признаки (пол, возраст, образование, стаж работы, содержание труда и т.п.).

В социальной психологии пилотажное исследование (рабочий термин «зондаж») применяется для установления необходимого объема выборки, уточнения содержания и числа вопросов анкеты, времени опроса и др. В зарубежной и отечественной практике применения тестов (тестологии) пилотажа (рабочий термин - «претест») служит средством выявления некоторых стандартов основного теста.

В социологии пилотаж проводится до основного исследования и выступает способом проверки обоснованности гипотез и задач, а также профессионального уровня и методической отработанности инструментария. Пилотаж помогает оценить правильность модели выборки и внести в нее в случае необходимости соответствующие исправления; уточнить некоторые характеристики объекта и предмета исследования, обосновать финансовые расходы и сроки проведения главного исследования. Пилотаж полезен также для тренировки группы интервьюеров (анкетеров).

Современные социологи придерживаются правила: прежде чем отдавать анкету в большой тираж, ее целесообразно опробовать в малотиражном (пилотажном) опросе, чтобы уточнить, правильно ли понимают вопросы респонденты, не слишком ли она длинна и утомительна, сколько времени занимает ее заполнение (или интервью), а в случае почтовой рассылки - сколько дней проходит с момента отправления анкеты до получения ответов.

Пилотажное исследование представляет собой исследование по «укороченному» плану - в нем используются малые выборки, не в полной степени проводится сбор информации, полученная информация анализируется только по наиболее значимым критериям. Если пилотажное исследование проводится в цикле исследования хорошо изученной проблемы, оно позволяет «отточить» инструментарий исследования, выявить и устранить его дефекты и дефекты подходов к математическому анализу. Проведение пилотажного исследования в этом случае позволяет избежать сбора информации по «пустым» вопросам, ответы респондентов на которые не подлежат анализу, или неадекватно (неоднозначно) интерпретируются самими респондентами. Для поискового исследования (исследования в сфере недостаточно разработанной) пилотажное исследование предоставляет информацию для уточнения многих пунктов программы, что в дальнейшем обеспечивает немалую экономию ресурсов.

Пилотаж полезен для:

  1. тестирования инструментария, в котором исследователь вполне уверен,
  2. усовершенствования инструментария в ситуации, когда предмет исследования хуже известен исследователю.

В первом случае инструментарий проходит предварительное испытание в своем окончательном варианте. Во втором исследователь может захотеть поэкспериментировать с разными вариантами (макетами) инструмента, чтобы узнать, какой из них удобнее в работе, Предварительное тестирование такого типа может включать в себя:

  1. Тестирование различных словесных формулировок и форм вопросов.
  2. Опробование анкеты, предназначающейся для самостоятельного заполнения респондентом, в личном интервью, чтобы в процессе живого общения с респондентом выявились возможные трудности ее заполнения.
  3. Употребление открытых вопросов для выявления типичных ответов, которые затем можно будет включить в набор ответов на закрытые вопросы, с тем чтобы использовать последние в окончательном варианте.
  4. Тестирование различных видов инструментария (почтовых анкет, очных интервью, телефонных интервью) с целью определения годности каждого из них.

Пилотаж можно считать генеральной репетицией к главному исследованию. Он позволяет сделать первые выводы о том, насколько успешно прошел этап подготовки к нему, какими могут быть ожидаемые результаты. В ходе такого опроса собирается методическая информация, т.е. информация о качестве разработанного инструментария. Проверяются все организационные и методические условия будущего исследования, и прежде всего: доступность необходимых документов, отношение респондентов к опросу и их реакция на вопросы анкеты. Оценивая качества методики опроса, социолог регистрирует любые затруднения респондента, вызванные техникой заполнения, непониманием смысла вопросов, отдельных слов. Учитываются также все замечания и наблюдения анкетеров о методических недостатках, которые им удалось обнаружить.

Пилотаж проводится в двух вариантах . В первом - всю группу респондентов приглашают в отдельную комнату, где на столах разложены анкеты. Респондентов «вводят» в ситуацию пилотажа, т.е. объясняют его цели и задачи, инструктируют по технике заполнения анкеты и просят высказать после заполнения критические замечания, поговорить о неясностях и о тех вопросах, которые затрудняют работу с анкетой. Заполненные анкеты опускаются в опечатанные урны, после чего начинается групповое обсуждение содержания опроса в целом. Показателями, позволяющими оценить пригодность анкетного вопроса, выступают число неответивших на вопрос и характер распределения ответов по шкале, используемой в вопросе.

Второй вариант пилотажного опроса предполагает приглашение группы из 3-4 респондентов для обсуждения анкеты по мере ее заполнения: опрашиваемые делают пометки о качестве вопросов. Перед началом пилотажа их вводят в ситуацию экспертного опроса, объясняя, что содержание ответов не анализируется, так как опрос преследует только методические цели. Им задается примерно тот же круг методических вопросов, что и в предыдущем случае. Замечено, что подобная процедура повышает заинтересованность респондентов и уровень критического восприятия анкетного вопроса.

В Аналитическом центре «Бизнес и маркетинг» обязательный пилотаж сформированной анкеты проводится в ходе пробных интервью с несколькими респондентами, принадлежащими к целевой группе (обычно 3-5 респондентов, при сложных исследованиях - 10-15). Это позволяет определить степень понимания вопросов, обнаружить другие особенности их восприятия. По результатам пилотажа, если необходимо, в анкету вносятся коррективы. Особенности проведения пробного опроса подробно обсуждаются также на «круглых столах» с интервьюерами, участвующими в проекте. При этом коллективно имитируется процесс проведения интервью в лабораторных условиях.

Пилотажные материалы хранятся в особых папках опросной фирмы. Они включают в себя первоначальный вариант вопросника, протоколы, фиксирующие замечания респондентов и социологов, а также доработанный вариант анкеты. Со временем накапливается своеобразный «банк» методических решений, появляется опыт и навыки анализа типичных методических ошибок, доработки инструментария.

Пилотажное исследование составляется на основе логического осмысления всей проблемы будущего исследования, приблизительного расположения вопросов с точки зрения их очевидной целесообразности. В ходе пилотажа проверяются все процедуры, весь инструментарий исследования, выбраковываются неудачные вопросы, вносятся коррективы на отдельных этапах исследования.

К его проведению надо относиться как к приобретению страховки: вы, конечно, можете обойтись и без нее, если повезет. А если нет?

Что собой представляет пилотажное исследование? С какой целью оно проводится? На выполнение каких задач направлено?

Общая информация

Для начала давайте определимся, что же собой являет пилотажное исследование. Это обозначение используется для того, чтобы именовать пробные или небольшие поисковые (разведывательные) проверки существующего положения дел. Так, если нужно уточнить проблемы, более корректно поставить задачу и выдвинуть обоснованные гипотезы, то пилотажное исследование является наилучшим вариантом для этого. Особенная потребность в нём может быть в тех случаях, когда отсутствует литература по интересующей теме. Тогда пилотажное исследование проводится с целью восполнения информационного пробела.

Что оно собой представляет?

Пилотажное исследование - это в социологии вид анализа, при котором значительно ограничивается круг задач, количество опрошенных людей невелико, данные нерепрезентативные, а инструментарий и программа чрезвычайно упрощены. Из-за этого исследователь получает только примерную информацию о том, чем же является объект исследований. Эти знания используются для общей ориентации. Главный лозунг пилотажных исследований - дешево, быстро и приблизительно. Поэтому они применяются в тех случаях, когда проблема или вообще не изучена, или же познания о ней весьма жалки.

Как проводится?

Итак, нам уже известно, что пилотажное исследование - это Но как оно проводится? Здесь существует большое количество различных вариантов. Наиболее оптимальным считается неформализованное интервью с потенциальными респондентами. Но, увы, субъективность людей может повлиять на их ответы. Чтобы подкорректировать данные используют наблюдение со стороны специалистов. Для этого может формировать фокус-группа. Но тогда следует предельно сконцентрироваться на чем-то конкретном. Весьма популярным является и опрос экспертов. К ним относят специалистов или же простых людей, но которые обязательно должны иметь определённое отношении к проблемной области, что интересует исследователя. В качестве дополнения можно изучать документацию и статистические данные, где имеются нужные сведения для подтверждения/опровержения гипотезы или решения задачи. Весьма популярными являются и экспресс-опросы. Правда они, как правило, несмотря на свою грамотность, не ставят перед собой решение глубоких научных задач и развитие фундаментальной науки. С их помощью узнаётся сиюминутная важность чего-то для общества. При этом не суть важно, что выступает в качестве объекта: выборы Трампа президентом США, запрещение абортов или же что-то ещё. Как бы там ни было - получение данных осуществляется с целью наложить их на более масштабные процессы.

О надежности

Насколько можно доверять полученной информации? Учитывая, что пилотажное исследование - это пробное исследование, уже сам этот факт подразумевает высокую долю рисков. А если оно ещё проводится и не специалистами, а группой любителей (в качестве которых может выступать отдел кадров, журнал, кружок, хозяин веб-сайта), то в таком случае хотя и имеется свежая и нужная информация, она, тем не менее, является нерепрезентативной, и её надёжность весьма сомнительна. На первый взгляд, она может быть вполне надёжной. Но если подойти с научной точки зрения - тут-то и откроются её изъяны. Поэтому использовать пилотажные исследования имеет смысл только в том случае, когда не выдвигаются строгие требования относительно надежности. Первоначально следует затронуть выборку. Четких методических требований здесь нет. Как правило, полагают, что опрос 3-х десятков респондентов позволит получить требуемую информацию. Но при этом следует позаботиться о том, чтобы среди них были представители всех категорий людей, которые подпадают под исследование. При этом нужно стремиться к максимальному разнообразию. Кроме этого, следует позаботится о том, чтобы среди респондентов были люди, для которых тема представляет хоть какое-то значение. В качестве отборочных признаков выступает пол, образование, возраст, стаж работы и прочие подобные критерии.

Важность пилотажных исследований

В целом и общем этот аспект был рассмотрен ранее. Сейчас же давайте остановимся на этом по подробнее. Из самого названия понятно, что пилот проводится до начала основного исследования. Он необходим для того, чтобы проверить обоснованность задач и гипотез. Хотя также может быть использован и для методической отработки инструментария. В случае необходимости пилотное исследование помогает внести коррективы в модель, которые улучшат её работу, позволять уточнить характеристики, предмет, обосновать финансовые траты и сроки завершения. Ведь если будет проводиться полноценный мониторинг настроений в обществе и где-то закрадётся ошибка, то её наличие будет чревато значительными неприятностями. Такой подход оказывает благотворное влияние в вопросе экономии ресурсов. Для проверки эффективности и целесообразности использования имеющегося инструментария могут быть проведены также пилотажные исследования. Они же подходят и в качестве генеральной репетиции главного исследования. В таком случае проверяется успешность проведения первого этапа и оцениваются результаты. Также при исследовании нового объекта это позволяет наработать методический материал. Проверяются одновременно и организационные условия: как относятся респонденты к проводимому опросу, есть ли все нужные документы и оценивается качество материала. При этом регистрируются все затруднения, которые возникают в ходе дела.

Заключение

Само пилотажное исследование проходит, как правило, в группах. Вопрос только в том, насколько большими они являются. Существует два наиболее популярных варианта. Первый предусматривает приглашение всех респондентов в отдельную комнату, где они заполняют анкеты. Перед этим людей информируют про пилотаж, сообщают и объясняют его задачи и цели, инспектируют нюансы заполнения анкеты и просят высказывать все замечания. Второй вариант опирается на небольшие группы, которые состоят из 3-4 человек. При этом анкеты обсуждаются по мере их заполнения. Наибольший интерес для исследователей представляет качество задаваемых вопросов. В таких случаях наибольший интерес предоставляют, как правило, методические цели.

Термин «пробное исследование» в литературе употребляется как: 1) синоним поискового (разведывательного) исследования; 2) синоним пилотажного исследования; 3) собирательное понятие, включающее как свои разновидности (подвиды) поисковое (разведывательное) и пилотажное исследования. Будем считать, что поисковое (разведывательное) и пилотажное - два основных под­вида пробного исследования.

Поисковое (разведывательное) исследование проводится с целью уточнения проблемы, более корректной постановки задач и выд­вижения обоснованных гипотез. Таким образом, по своей сути оно есть концептуальное исследование. Проведение его особенно же­лательно в том случае, если литература по интересующей вас те­матике отсутствует или ее недостаточно.

Разведывательное исследование - наиболее простой вид соци­ологического анализа: круг задач ограничен, число опрошенных невелико, программа и инструментарий крайне упрощенные; дан­ные нерепрезентативные. Ученый получает лишь прикидочные све­дения об объекте исследования для общей ориентации в проблеме. Оно используется для мало изученных или вообще не изученных проблем. Его лозунг - приблизительно, дешево и быстро.

Поисковое исследование может проводиться следующими ме­тодами: интервью (лучше неформализованное) с потенциальными респондентами; наблюдение; фокус-группа по центральной пробле­ме исследования; опрос экспертов - специалистов или просто лю­дей, имеющих отношение к интересующей вас проблемной облас­ти; изучение документов, статистических данных, содержащих не­обходимые сведения по выдвинутым задачам и гипотезам.

Вариантом разведывательного исследования выступают эксп­ресс-опросы. Их еще называют оперативными опросами. Ими пользуются многочисленные опросные фирмы - от ВЦИОМ до РОМИР. Правда, опросы они проводят, как правило, очень гра­мотные, но глубоких научных задач развития фундаментальной науки не ставят. Решаются сиюминутные, но очень нужные об­ществу, ведомству или частному заказчику утилитарные задачи: как народ относится к президенту, запрещению абортов, войне в Чечне, приезду Буша, террористическим актам 11 сентября 2001 г. Таким образом получают свежую, недолговечную (срок ее жизни исчисляется днями, неделями, реже месяцами), но очень нужную в данный момент информацию.

Разведывательное исследование часто называют также пило­тажным исследованием. Хотя правильнее считать его самостоя­тельным видом социологического исследования. Разведыватель­ное и пилотажное исследования похожи в двух аспектах:

♦ Цель - получить примерные данные о том или ином явле­нии либо апробировать применение методики к более широкомас­штабным исследованиям.

♦ Объект - для проведения того и другого исследования нуж­на незначительная совокупность объектов, поэтому они проводят­ся в ограниченные сроки.

Но в отличие от разведывательного, пилотажное исследование предназначено для отработки технических процедур и приемов, чаще всего - для апробации вопросника. Предварительная про­верка опросного инструментария столь же важна для успеха ис­следования, считают Дж. Мангейм и Р. Рич, как пробная поезд­ка - для успешной покупки подержанного автомобиля. Она по­могает обнаружить проблемы, которые в полной мере могут проявиться только в полевых условиях.

В социологии пилотаж проводится до основного исследования и выступает способом проверки обоснованности гипотез и задач, а также профессионального уровня и методической отработанности инструментария. Пилотаж помогает оценить правильность модели выборки и внести в нее в случае необходимости соответствующие исправления; уточнить некоторые характеристики объекта и предмета исследования, обосновать финансовые расходы и сроки проведения главного исследования. Пилотаж полезен также для тренировки группы интервьюеров (анкетеров).

Пилотаж полезен для: а) тестирования инструментария, в котором исследователь вполне уверен, б) усовершенствования инструментария в ситуации, когда предмет исследования хуже известен исследователю. В первом случае инструментарий проходит предварительное испытание в своем окончательном варианте. Во втором- исследователь может захотеть поэкспериментировать с разными вариантами (макетами) инструмента, чтобы узнать, ка­кой из них удобнее в работе.

Пилотажное исследование можно проводить с различными целями: проверка основных гипотез программы, выявление отдельных характеристик объекта с целью определения наиболее устойчивых для их дальнейшей углубленной разработки, выяснение действенности методики в целом или ее отдельных частей, предварительная проверка достоверности результатов опроса и т.д.

Существуют различные формы проведения пилотажного исследования. Оно может проводиться на небольших и на больших выборках. Если этого требует программа исследования, то пилотаж анкеты может проходить с большой представительной выборкой. По существу такой пилотаж иногда выступает как самостоятельное эмпирическое исследование, на которое затрачивается не меньше сил и времени, чем на основное исследование.

Однако обычно пилотажное исследование проводится на небольшом массиве. Точная численность обследуемых в этом случае не устанавливается, поскольку в каждом конкретном случае она может быть различной. Практика показывает, что численность опрашиваемых чаще всего не превышает 50-100 человек. Этого количества респондентов бывает достаточно, чтобы решить задачи, стоящие перед пилотажным исследованием. Необходимое условие заключается в том, что объектом исследования должны быть те люди, которые по своим основным характеристикам соответствуют основному объекту исследования. При этом пилотажный опрос проводится не на основном объекте, а на другом "поле", близком по своим характеристикам к основному. Это делается для того, чтобы не испортить основное "поле" исследования, поскольку любое, даже самое маленькое исследование получает резонанс, и тем или иным способом может оказать воздействие на основное исследование. Так, если в качестве основного объекта исследования выступают рабочие промышленного предприятия, то в пилотажном опросе объектом должны стать рабочие тоже промышленного, но другого предприятия.

Очень важен порядок проведения пилотажного опроса. Несмотря на то, что анкета готовится для заочного опроса, в пилотажном исследовании ее лучше представить в виде формализованного интервью. Преимущество формализованного интервью заключается в том, что, кроме того, что результаты пилотажного опроса будут анализироваться в совокупности ответов, оно дает и непосредственные наблюдения интервьюеров за реакцией респондентов на тот или иной вопрос и на всю анкету в целом. В качестве интервьюеров чаще всего выступают члены исследовательской группы или специально подготовленные для этого люди. По окончании опроса интервьюеры пишут небольшие отчеты по результатам каждого интервью. Такие письменные отчеты, хотя и отнимают много времени и сил и приятны далеко не каждому интервьюеру, но играют значительную роль в пилотажном исследовании. Они представляют большой интерес как документ непосредственного наблюдения, и их анализ чрезвычайно важен для доработки анкеты. Вот как описывает свое впечатление от опроса в пилотажном исследовании один из интервьюеров.

Фрагмент:

"Первые вопросы не затронули внимание респондента, он остался безразличным к их содержанию. По всей видимости, он еще не успел перестроиться и было видно, что мыслями он еще остался на своей работе, и оторвали мы его, по всей видимости, не в самый удачный момент. Но как человек добросовестный, он старался понять задаваемые ему вопросы, не проявлял видимого нетерпения и недовольства и старался делать предлагаемую ему работу добросовестно. К пятому вопросу его внимание несколько обострилось, он уже начал перестраиваться на наше интервью и сделал первое замечание по ходу (вопрос №______). Через пять-семь минут он уже полностью включился в работу и даже стал проявлять интерес. Первую остановку мы сделали на вопросе №______ и довольно долго обсуждали его, поскольку он ему был непонятен. Я тщательно записывал его предложения, и ему это явно понравилось (почувствовал свою роль, значимость и занял активную позицию). После этого он стал еще внимательнее прислушиваться к задаваемым вопросам и в вопросе №______ сделал, на мой взгляд, существенное замечание о специфике работы, которая фактически не была отражена в вопросе. Анкета, по его выражению и, надо сказать, справедливому, как мне кажется, является безликой в том смысле, что ее с успехом можно было бы использовать и на других предприятиях совершенно противоположного характера работы.

Большие трудности вызвали шкалы. Респондент не прочел их с первого чтения, и ему пришлось объяснять, как с ними надо работать. Поняв, он уже спокойно отвечал на все остальные шкалы, правда, при этом нередко испытывал затруднения при оценках по предлагаемым градациям (в основном по десятибалльной шкале). По всей видимости, необходимо более подробно объяснять правила работы со шкалами, а, может быть, и пересмотреть сами шкалы.

В целом анкета, судя по реакции респондента и по его высказываниям, оставляет хорошее впечатление, большинство вопросов было понятно, времени на заполнение анкеты было затрачено немного, в пределах нормированного".

После сдачи письменных отчетов, можно провести устный обмен мнениями, который имеет свои особенности. Не все возможно описать, что можно высказать в устной беседе. Коллективный обмен мнениями позволяет уточнить некоторые специфические представления и оценки анкеты и выработать определенное коллективное мнение по каждому вопросу и по анкете в целом. Руководитель исследования, за которым остается последнее слово, синтезирует как письменные, так и устные отчеты и принимает окончательное решение: оставить тот или иной вопрос в прежнем виде или переформулировать его, ввести новые вопросы, перестроить анкету и т.д.


После отбора психологических методик для проведения мероприятий ППО должна быть проведена проверка их прогностичности, т. е. осуществлена оценка их возможности решать поставленные перед ними задачи: дифференциация всех обследуемых по степени выраженности ПВК и прогнозирование вероятности успеха в профессиональной деятельности. С этой целью проводится так называемое пилотажное исследование.
Понятие «пилотажное исследование» (иногда его еще называют пилотное исследование) достаточно широко распространено в психологии. Причем под этим понятиям очень часто подразумевают совершенно разные мероприятия, проводимые с разными целями. Однако если обобщить все, что понимается под этим понятием, то его смысл сводится к проведению «пробного», «оценочного» или «ориентировочного» исследования.
Суть пилотажного исследования, проводимого с целью оценки прогностичности психодиагностических методик, заключается в обследовании группы лиц, уже выполняющих профессиональную деятельность, для которой планируется проводить отбор. При этом предполагается, что работающие по данной специальности люди
обладают индивидуально-психологическими и личностными характеристиками, которые или мешают, или, наоборот, способствуют успешному выполнению профессиональных обязанностей. Поэтому если профессионально важные качества были определены верно, если правильно были подобраны методики, то результаты исследования должны иметь тесную связь с показателями успешности деятельности.
При проведении пилотажного исследования всегда возникает необходимость решить две проблемы: как определить критерии успешности деятельности, в отношении которых будет оцениваться прогностичность отобранных методик; как сформировать группу лиц, которые будут обследоваться.
Как правило, при формировании группы обследуемых для проверки прогностичности отобранных методик принимается одно из двух принципиальных решений: обследовать две группы лиц, имеющих полярные показатели успешности выполнения профессиональной деятельности, или провести обследование по принципу случайной выборки, т. е. обследовать всех, кого возможно.
В случае если оценка прогностичности отобранных методик проводится на основе результатов обследования полярных групп, то экспериментальная работа осуществляется в следующем порядке. На основании четко определенных критериев успешности деятельности формируются две группы работников: успешных и неуспешных, причем обследуемые группы должны быть сопоставимы по возрасту и полу. Далее проводится обследование и осуществляется обработка первичных результатов. На завершающем этапе проводится математико-статистический анализ результатов.
Для реализации данного подхода на практике в первую очередь необходимо обеспечить репрезентативность выборки, для чего потребуется достаточно большая группа людей. Говоря о численности групп, следует вспомнить те требования, о которых говорилось выше (см. главу 8). Исходя из этих требований можно утверждать, что для обеспечения статистической достоверности результатов обе сравниваемые между собой группы успешных и неуспешных работников должны быть как минимум по 30 человек. Однако реально обеспечить такой объем выборки удается крайне редко, хотя бы потому, что руководство организации или предприятия вряд ли будет мириться с таким большим количеством неуспешных работников. Поэтому, несмотря на то что обследование полярных групп является идеальным вариантом, чаще всего при проведении пилотажного исследования в ходе разработки системы ППО разработчики обследуют случайную выборку работников предприятия.
При проведении пилотажного исследования по принципу случайной выборки, как правило, обследуются все работники, выполняющие одни и те же профессиональные обязанности, т. е. представители одной и той же профессии. В этом случае порядок работы выглядит следующим образом: проводится обследование работников предприятия, выполняющих профессиональные обязанности по должности, в отношении которой предполагается проводить профессиональный психологический отбор; далее определяются критерии успешности профессиональной деятельности и по возможности разрабатывается интегральный показатель успешности; на завершающем этапе проводится математико-статистический анализ полученных результатов.
Вместе с тем следует отметить, что бывают случаи, когда ни один из двух названных выше способов проведения пилотажного исследования не подходит для их осуществления в конкретных условиях. Например, это происходит тогда, когда разрабатывается система профотбора на вновь создаваемые профессии. Кроме этого, бывают ситуации, когда отобрать необходимое для проведения пилотажного исследования количество людей не представляется возможным. В этом случае психологу приходится моделировать выборку обследуемых; тогда этапность экспериментального исследования будет такой: на первом этапе моделируется экспериментальная выборка обследуемых и проводится психологическое тестирование; на втором этапе проводится математико-статистический анализ полученных результатов.

Наиболее сложным этапом в этом варианте проведения пилотажного исследования является этап моделирования экспериментальной выборки, поскольку от него зависит точность оценки соответствия отобранных методик условиям выполнения задач ППО. При моделировании экспериментальной выборки следует учитывать предполагаемый возраст людей, которым предстоит выполнять соответствующие профессиональные обязанности, а также их пол и образование. При этом желательно, чтобы профессиональная деятельность, которую они реально выполняют, предъявляла очень близкие по содержанию требования к наличию у работников соответствующих профессионально важных качеств, необходимых для успешной работы на новой должности. Также желательно учесть, что объем моделируемой выборки должен быть не менее 55-60 человек, а в идеальном случае - не менее 100.
Следует отметить, что все варианты проведения пилотажного исследования по оценке прогностичности методик, которые предполагается использовать в мероприятиях ППО, имеют весьма схожий этап - математикостатистический анализ полученных результатов. Однако содержание и порядок осуществления данного этапа могут быть различными. Рассмотрим этот этап более подробно.

Еще по теме Основные принципы и способы проведения пилотажного исследования:

  1. 3. Основные понятия и опыт проведения маркетинговых исследований 3.1. Содержание и направления маркетинговых исследований


Вверх