С Л Мельников - Организация контроля в процессе проведения социологических исследований в системе образования - страница 1

Страницы:
1 

ОРГАНИЗАЦИЯ КОНТРОЛЯ В ПРОЦЕССЕ ПРОВЕДЕНИЯ СОЦИОЛОГИЧЕСКИХ ИССЛЕДОВАНИЙ В СИСТЕМЕ ОБРАЗОВАНИЯ

 

Мельников С. Л., канд. пед. наук, проф., первый проректор Брянского государственного университета

им. акад. И. Г. Петровского В статье анализируется система работы с интервьюерами, развитие нормативных представлений и контрольных процедур направленных на оценку надежности методики, достоверности информации с качеством исследования, как условие совершенствования социологических опросов в системе образования. Анализ качества работы интервьюеров. Решение организационных и методических задач в процессе проведения социологических исследований.

Ключевые слова: интервьюеры, надежность и достоверность данных, социологический контроль, система образования.

 

В процессе проведения социологических исследований одним из важнейших этапов является сбор данных - «полевой этап». В отличии от подготовительного этапа в нем самое активное участие принимает человек, как правило не имеющий специального социологического образования, а на начальном этапе своей работы, и систематической подготовки - интервьюеры.

Работа интервьюеров с респондентами и инструментарием влияет на достоверность эмпирических данных, надежность результатов социологического опроса.

Важной составной частью при организации работы интервьюеров является контроль за основными ее этапами. Несмотря на значимость такого рода деятельности, публикаций по этой проблеме практически нет.

Мы анализируя в данной статье систематический контроль за работой интервьюеров ставим задачи:

-  совершенствования организационной основы исследования;

-  развитие системы работы с интервьюерами;

-    развитие нормативной основы и контрольных схем, связанных с оценкой надежности методики, достоверности информации и качеством исследования.

В основе системы предупреждения, выявления и устранения систематических    и случайных ошибок, способных повлиять накачество первичной информации, получаемой с помощью систематизированного интервью, лежит контроль за основными ситуациями работы интервьюеров.

Так проверяется: 1) правильность отбора респондента в соответствии с заданной процедурой отбора; 2) количество попыток установить контакт с человеком, отобранным в качестве респондента, причины его недостижимости; 3) факт проведения интервью; 4) даты и время в течении которого проходило интервью; 5) ритмичность работы интервьюера; 6) обстановка, в которой проводилось интервью; 7) проверка качества заполнениия анкеты.

Следует отметить, что единой, универсальной схемы контроля за работой интервьюера нет. Каждое социологическое исследование обладает своей ресурсной базой, временной, кадровой, финансовой.

Общеизвестно, что процесс интервьюирования населения -изучения общественного мнения, в т.ч. по проблемам образования, -является наименее доступной непосредственному, прямому контролю фазой опроса и «полевой» этап предполагает многоступенчатый непрямой контроль.

Широко известен случай контроля работы интервьюеров, при котором они, чаще всего во время инструктажа становятся первыми респондентами, данного опроса, заполняют анкету при этом высказывая личное мнение по включенным в нее вопросам, сдают ее руководителю полевого этапа.

Совпадения в ответах интервьюеров и определенной части его респондентов дают пищу для специального анализа. Этот способ обладает хорошим психологическим эффектом на начальной стадии работы интервьюера, когда он узнает, что контроль за ним осуществляется еще и с помощью сложных статистических процедур.

Случаются экстренные экспресс-опросы, на которые отведено всего несколько дней или часов. В этой ситуации отработанная годами процедура контроля нереализуема. Необходимо свести ее до нескольких ключевых моментов. Очевидно, что определенная часть контрольных процедур будет проведена в прошедшем времени. Какие-то вообще останутся нереализованными.

Характеризуя исследования в области образования важно
разделить: контроль при опросе учащихся; контроль педагогов.
Школьникам или студентам, как правило, раздают анкеты для
самостоятельного     заполнения     в     присутствии работника

социологической службы, который и осуществляет контроль. Ондолжен предупреждать возможность «списывания» ответов у соседей, проверять полноту заполнения анкет при их сдаче.

При опросе педагогов, когда используется как интервью, так и раздаточное анкетирование, контроль социолога заключается в том, чтобы не допускать обсуждения проблем с коллегами, проверять анкеты на полноту заполнения, предупреждать невозврат анкет.

Если схема организации опросов отрабатывалась годами, а коллектив интервьюеров опытен и стабилен, есть основания надеяться, что полученные результаты будут достоверными. Нередко экстренные опросы проводятся с прогностическими целями под какое-то событие и позволяют иногда лучше многоступенчатых проверок оценить качество работы всей сети. Если одна составляющая успеха проблематична, то будет правильнее не рисковать и отказаться от проведения опроса.

Кадровые ресурсы сети тоже подвержены изменениям. Выпадает по каким-то причинам одна ее региональная ячейка, и возникает потребность изменения схемы организации контроля, перераспределения усилий сотрудников, осуществляющих эту функцию. Потребность в этом может возникнуть и при значительном увеличении традиционного объема выработки, выпадающего на долю регионов. Им приходится срочно расширять коллектив интервьюеров, исследователям - усиливать меры контроля.

Объем финансирования - важная составляющая контроля, которая напрямую влияет на объем и качество контрольных процедур.

В принципе важно сформировать ясные представления о задачах и принципах контроля, иметь некую базовую модель, которая гибко модифицируется применительно к конкретным особенностям того или иного опроса. Качество адаптации «модели» определяется квалификацией социологов, осуществляющих контрольную деятельность.

Комплекс контрольных процедур включает в себя визуальный, компьютерный, адресный или телефонный а также контроль на логическую непротиворечивость данных. Все ошибки по категориям фиксируются в специальном блоке «Типичные ошибки заполнения вопросника» организатором полевого этапа, что позволяет выявить специфические ошибки каждого интервьюера.

Перед началом исследования проводится тренинг или инструктаж интервьюеров, разъясняются особенности и задачи исследования, специфические особенности работы с некоторымивопросами, правила работы в «поле». Каждый интервьюер имеет письменную инструкцию для проведения контроля, в которой зафиксированы особенности метода исследования, специфика ситуации проведения интервью, правила поведения интервьюера, даются пояснения к структуре анкеты и отдельным вопросам, порядок отбора респондентов и правила заполнения и оформления сдаваемых материалов (анкет, бланка поиска респондентов, карточек, временного удостоверения интервьюера и.т.д.).

Руководитель полевого этапа напоминает интервьюерам прежде чем сдавать анкеты необходимо их просмотреть на предмет правильности и полноты заполнения, провести самоконтроль. При проверке анкет интервьюер сможет восстановить отдельные пропущенные позиции опираясь на записи в тетради, в которой фиксируются основные моменты и пространные ответы респондентов. Случается, что эти заметки становятся единственным доказательством того, что интервью состоялось.

Проверив анкеты, интервьюер сдает их и другие документы организатору полевого этапа - супервайзеру, который в присутствии интервьюера проверяет их на предмет точности, полноты и качества заполнения, с целью исключить возможность неточной или неоднозначной интерпретации ответов респондентов. Супервайзер задает вопросы интервьюеру об условиях проведения интервью, о сложности вступления в контакт, основных причинах отказа от интервьюирования, о соблюдении принципов отбора респондентов, его пожеланиях и замечаниях при организации работы и совершенствованию вопросника. Это позволяет составить первое представление о том, состоялось ли интервью и проведено ли оно в соответствии с инструкцией.

Если анкета не заполнена на одну треть, нет ответов на основные важнейшие вопросы, не указаны социально-демографические характеристики опрошенного, то она считается неполноценной и бракуется.

Особое место в контроле за интервьюерами вносят и кодировщики. Анализируя ответы, на открытые вопросы, проставляя коды, необходимо обратить внимание на информативность анкет, сравнить время затраченное на интервью работником, с контрольным, полученным во время пилотажа, со средним по массиву опрошенных.

Большое количество исправлений в анкетах свидетельствует как о недостаточной опытности интервьюера, так и о сознательном желании изменить результат.

Далее проводится компьютерный контроль в ходе которого выявляются: во-первых, пропущенные ответы; во-вторых, нарушение переходов от одного вопроса к другому; в-третьих, нарушения логики ответов. Математики подразделяют контроль на пореквизитный (простая сверка кодовых позиций) и межреквизитный (составление специальной программы на логику ответов для каждого исследования). Профессионализм интервьюеров напрямую влияет на результаты исследования.

Если отдельные интервьюеры допускают много пропусков ответов, нарушают переходы от одного вопроса к другому, то это либо нерадивые, либо неопытные интервьюеры. Если пропуски ответов допускают многие интервьюеры, то это результат несовершенного инструментария или плохо проведенного инструктажа, приведшего к недопониманию правил заполнения вопросника. Для исследователя имеет значение число допустивших такого рода ошибки: если их число статистически не значимо, то совокупность полученных данных не будет иметь значительных отклонений от фактического положения дел. В то же время для организатора полевого этапа важно выяснить причины и обратить внимание интервьюеров на типичные для них ошибки. Вместе с тем общеизвестно, что наиболее типичными ошибками при проведении телефонного интервью является смещение кодовых позиций при записи ответов, а маршрутного - пропуски и смещения при заполнении многострочных таблиц. Значит, интервьюерам необходимы большая аккуратность и добросовестность в работе. В противном случае целесообразно уменьшать число анкет, которые даются таким интервьюерам.

Часто встречаются и другие ситуации. В частности, в ситуации когда респонденты затрудняются ответить на многие вопросы, можно предъявить претензии к интервьюеру за слабую информативность сдаваемых анкет. Однако претензии могут быть обращены и к разработчику инструментария данного опроса. Известно, что чем конфликтнее обсуждение проблемы, тем чаще респонденты затрудняются ответить на поставленный вопрос. Если интервьюер ведет опрос в пределах компетентности респондента, то он получитболее содержательные ответы, чем за пределами его опыта, где будет больше помысла, затруднений и отказов.

Для выявления нарушений логики ответов составляется специальная программа, над которой математики работают вместе с авторами исследования. В противном случае могут быть допущены серьезные ошибки произвольного определения и толкования «нелогичных» ответов. В работах отечественных и зарубежных социологов подчеркивается, что нелогичность свойственна человеку при ответах на вопросы, о которых он до момента опроса не думал. Часто социологи считают, что это интересно им как исследователя, интересно и респондентам в данное время.

Мы разделяем мнение тех социологов, которые утверждают, что «несогласованные ответы» представляют собой находку для социолога, поскольку вскрывают именно тот пласт в сознании респондентов, который отсутствует в его априорных представлениях, а, следовательно, именно они подлежит дополнительному анализу. Благодаря исследованиям «несогласованных ответов» были выявлены противоречия между диспозициями и ситуативными установками, структурированными и неструктурированными оценками, реальными интересами и декларациями [1].

В наших исследованиях мы, например, сталкивались с
негативной оценкой человеческих и деловых качеств директора
школы со стороны родителей некоторых учеников и фактом его
многолетней работы на этой должности, наличием наград за труд,
высокими оценками его деятельности со стороны коллектива.
Аналогичное рассогласование ценностно-нормативного и
прагматического уровней сознания можно обнаружить и в других
исследованиях.          Нелогичность ответов может быть связана и с

антиномичностью сознания, которая необходима для осуществления любого выбора. «В эмпирическом исследовании учет антиномичности прежде всего означает отказ от методик, построенных на устранении противоречий в реакциях респондентов. Некоторые виды противоречивых, нелогичных ответов могут рассматриваться как содержательная информация» [2]. Для исследователей важно знать, являются ли «нелогичные ответы» результатом недобросовестной работы интервьюера или отражением специфических особенностей сознания респондента. В какой-то степени прояснить ситуацию может контроль со слов респондента.

Выборочный 10% контроль проводят специальное подразделение социологической службы или подготовленные и обученные для этой работы контролеры. Ими могут быть как сотрудники исследовательской организации, так и внештатные работники. Во время контроля адресного или по телефону сотрудники должны установить сам факт проведения интервью, его длительность, выборочно задать вопросы из анкеты, сверить их с ранее полученными ответами, уточнить, соблюдался ли необходимый принцип отбора респондентов, получить информацию о впечатлении от интервью и интервьюера. В ходе этой проверки можно выяснить, пропускал ли интервьюер отдельные вопросы, сокращал ли интервью и т.д. — словом, провести краткое повторное интервьюирование. Но такого рода тщательную проверку организуют в том случае, если интервьюер допустил большое количество ошибок, несогласованных ответов или работает в данной исследовательской организации впервые. Если контролер обнаружил нарушения карты отбора, или респондент заявил, что он не участвовал в опросе, то проводится 30% контроль работы данного интервьюера. Результаты проверки доводятся до сведения организатора полевого этапа, который заносит их в бланк «Типичные ошибки интервьюера».

При проведении всероссийских исследований иногда практикуется почтовый контроль. Несмотря на то, что возврат открыток не превышает 60% и из разных регионов различен, такой контроль дает достаточно достоверную информацию, дополняющую представления о качестве работы региональных представителей и интервьюеров, полученные при визуальном и компьютерном контроле. Так, например, после одного из исследований в Краснодарский край было послано 22 открытки, а вернулось с ответами 7, и только в одной говорилось о состоявшемся интервью. В Алтайский край было послано 12 открыток, вернулось 4, интервью состоялось в 3-х случаях, причем в 1-м была нарушена карта отбора.

Такого рода информация дает основания для беседы с региональным представителем на предмет работы интервьюеров и качества контроля со стороны регионального руководителя. В одних случаях приходится менять регионального представителя, в других — добиваться активизации работы с интервьюерами на местах.

Из всего изложенного выше можно увидеть, что именно система контроля за работой интервьюеров способствует формированию ответственности интервьюеров, позволяет выявлять и корректировать на разных этапах проведения исследования типичные ошибки, совершенствовать методику и организацию исследования, повышать уровень достоверности данных и качество исследования в целом.

Литература

1.  Ядов В.А. Отношение к труду: концептуальная модель и
реальные тенденции // Социс. 1983. Маслова О.М. К
вопросу о проектировании социологических исследований
//Социс. 1981. N° 1.

2.  Наумова Н.Ф. Социологические и психологические аспекты целенаправленного поведения.— М., 1988. С. 200.

3.  Хайкин С.Р., Павлов ЭЛ. Как помочь интервьюеру (Из опыта методических исследований) // Социс. 1991. №4. С. 58 -65.

 

 

Соціально-гуманітарні аспекти розвитку сучасного суспільства : матеріали Всеукраїнської наукової конференції викладачів, аспірантів, співробітників та студентів факультету іноземної філології та соціальних комунікацій, м. Суми, 19-20 квітня 2013 р. / Відп. за вип. В.В. Опанасюк. Суми : СумДУ, 2013. — Ч.3. С. 118-125.

Страницы:
1 


Похожие статьи

С Л Мельников - Организация контроля в процессе проведения социологических исследований в системе образования