Опознание бисенсорных сигналов

 в раздел Оглавление

«Когнитивная и прикладная психология»

Раздел 2
ОПОЗНАНИЕ И ПОЗНАНИЕ

Структурно - функциональная характеристика процесса опознания

9. Опознание бисенсорных сигналов

В большинстве исследований, посвященных проблемам передачи информации человеку-оператору, изучаются характеристики сенсорно-перцептивных систем при приеме и обработке сигналов одной модальности (зрительной, слуховой и т.п.). В то же время различные виды труда (работа авиадиспетчера, судоводителя, летчика, шофера, оператора пультов управления) часто требуют одновременной активизации нескольких анализаторов, без чего невозможно успешное управление системой. В связи с этим возникает необходимость в специальных исследованиях эффективности работы человека при поступлении информации по различным сенсорным каналам.

Взаимодействие и взаимовлияние различных систем анализаторов достаточно подробно изучалось в ряде работ [147, 148, 149, 150]. Среди проблем, составляющих эту группу исследований, Г.М. Зараковский с соавторами [151] выделяют следующие: 1) проблему формирования образа на основе действия раздражителей на функционально-различные элементы одной афферентной системы; 2) проблему формирования образа на основе действия раздражителей на рецепторные элементы различных афферентных систем; 3) рассмотрение взаимодействия афферентных систем как формы обеспечения помехоустойчивости при восприятии сигналов внешней среды.

Исследования эффекта бисенсорного взаимодействия продолжаются и в последние годы [152, 153]. Эксперименты Р. Тейлора подтвердили эффект облегчения зрительной реакции при одновременной стимуляции другой модальности. Эффект межсенсорного облегчения времени реакции был обнаружен и в исследованиях И. Бернштейна [154], Н.Ф. Дьяконова [155] и др.

В ряде работ изучались возможности одновременного приема различной информации по нескольким сенсорным каналам [156, 157, 158, 159]. При этом возникает важный в теоретическом и практическом отношениях вопрос, функционирует ли механизм переработки информации как одноканальная система или возможна одновременная обработка сигналов различных модальностей.

А. Кристофферсон [160] на основании анализа результатов экспериментов на последовательное различение двух следующих друг за другом звуко-световых пар предлагает модель обработки информации с переключением внимания. Модель А. Кристофферсона предполагает одноканальность процесса обработки информации. При этом автор рассматривает внимание как ключевой механизм, управляющий потоком информации от органов чувств. В пользу существования параллельной системы обработки информации, которая не зависит от переключения внимания и получает сигналы от раздражителей различных модальностей, свидетельствуют факты взаимодействия афферентных систем, на которые указывалось выше.

Для объяснения парадокса, заключающегося в том, что в экспериментах на переключение внимания наблюдается последовательная обработка зрительной и слуховой информации, а в экспериментах на взаимное влияние раздражителей выявлена возможность одновременной обработки бимодальной информации, И. Бернштейн с соавторами [161] провели исследование, в котором испытуемые должны были реагировать на пару зрительно-слуховых раздражителей в целом, одним ответом. Полученные в эксперименте данные позволили высказать предположение, что в этих условиях «буфером» между сенсорными анализаторами и блоком выбора реакции служит сравнивающее устройство, обрабатывающее зрительные и слуховые сигналы. В таком случае переключения каналов внимания не происходит и блок выбора реакции получает информацию не от сенсорных анализаторов, а от сравнивающего устройства, независимо от модальности сигналов.

Анализ данных по времени реакции на полимодальные и мономодальные сигналы позволил В.И. Бутову и М.И. Полтораку [162] также высказать допущение о параллельном характере обработки полимодальных сигналов. Однако авторы замечают, что опознание сигналов разной модальности начинается не одномоментно, а с запаздыванием, что и обусловливает некоторое возрастание времени опознавательного процесса при увеличении числа активизированных анализаторов.

Проведенный анализ исследований по проблеме обработки полисенсорной информации позволяет определить ряд нерешенных вопросов. К их числу относятся вопросы об эффективности обработки полисенсорной информации; о способах обработки информации при предъявлении ее по различным сенсорным каналам; о динамике внимания при обработке разномодальных сигналов и о предпочтительном временном режиме их предъявления.

В большинстве исследований процессов обработки бисенсорной информации использовались сигналы зрительной и слуховой модальностей. В обзоре Маркса отмечается [163], что зрительный и слуховой каналы являются ведущими и связь между параметрами зрительного и слухового сигналов считается обычным явлением для восприятия нормального человека. Например, громкость звука четко коррелирует с яркостью света.

В связи с преимущественным использованием зрительного и слухового каналов при передаче информации человеку представляется важным решение вопроса о доминировании одного из этих каналов. По этому вопросу в психологической литературе существуют различные точки зрения. Так, Иджет с соавторами [164] изучали условия доминирования зрительного восприятия над слуховым и пришли к выводу, что зрительная доминанта обусловлена не различиями в сенсорной обработке зрительного и слухового сигналов, а участием когнитивного контроля. Клейн [165] также указывает на доминантность зрительного канала, объясняя ее стратегией селективного внимания.

Исследуя эту проблему, мы поставили перед собой следующие задачи.

  1. Изучение возможностей переключения внимания в бисенсорной ситуации.
  2. Проверка гипотезы о доминировании зрительного канала над слуховым при опознании разномодальных сигналов.
  3. Исследование возможностей параллельной обработки бисенсорной информации.

Были проведены три эксперимента. В первом, контрольном, исследовалась эффективность опознания зрительных и слуховых сигналов в условиях мономодального предъявления. Во втором эксперименте исследовался эффект переключения внимания при опознании разномодальных сигналов. В третьем эксперименте исследовалась идентификация зрительных и слуховых сигналов в бисенсорной ситуации при наличии или отсутствии временной неопределенности предъявления сигналов.

В качестве зрительных сигналов использовались одномерные стимулы, различающиеся по признаку яркости, имеющему три градации. Форма стимула представляла собой круг диаметром около 1E. Звуковые сигналы различались по интенсивности: 80, 90 и 100дБ при частоте 800Гц. Время предъявления стимулов равнялось 50мс.

При опознании стимулов испытуемые давали ответную речевую реакцию в соответствии с принятой системой обозначений (1, 2, 3). В опытах регистрировались ответы испытуемых и латентный период сенсоречевой реакции.

Обработка полученных данных проводилась по показателям точности опознания и идентификации, латентного периода реакции испытуемых, вариативности времени реакции, достоверности полученных различий (по параметрическому критерию Стьюдента), количеству переданной информации и скорости ее обработки. Количество переданной информации определялось по модифицированной формуле Зайбеля:

I = log2С–(1–p)log2(С–1)+plog2p(1–p)log2(1–p),

где I — количество информации;
C — длина алфавита;
p — частость правильных ответов.

Скорость переработки информации

где I — количество переданной информации;
t — время решения задачи.

Эксперимент I. Опознание мономодальных сигналов

Точность опознания зрительных сигналов по категории яркости и слуховых - по категории интенсивности при длине алфавита, равной трем градациям, достаточно высока и составляет в среднем 97% правильных ответов для зрительных сигналов и 96% для слуховых.

Анализ данных по времени реакции испытуемых показал, что латентный период реакции для зрительных сигналов (в среднем 0,73с) больше, чем для слуховых (0,65с). Это соответствует данным о меньшей афферентной латентности для звука по сравнению со светом. ЛПР больше для средних градаций зрительных и слуховых сигналов, чем для крайних. Вариативность значений ЛПР невелика и примерно одинакова для обеих модальностей. Скорость обработки информации по зрительному каналу Т=2,13 дв. ед./с, по слуховому - 2,38 дв. ед/с.

Эксперимент II. Опознание разномодальных сигналов

Экспериментальное исследование состояло из трех опытов, различавшихся между собой величиной альтернативной неопределенности появления зрительных и слуховых сигналов в ряду. В первом опыте вероятности появления зрительного и слухового сигналов составляли соответственно 0,9 и 0,1, во втором - 0,1 и 0,9, в третьем - 0,5 и 0,5. Число предъявлений в каждом опыте равнялось 90.

Анализ полученных данных показал, что независимо от вероятности появления сигналов точность опознания как для зрительной, так и для слуховой модальности остается на высоком уровне. ЛПР испытуемых, напротив, зависит от вероятности появления сигнала в ряду: с уменьшением вероятности сигнала увеличивается ЛПР. Различия в значениях ЛПР при разной вероятности появления сигналов значимы по критерию Стьюдента на 1%-ном уровне. В целом ЛПР для зрительных сигналов больше, чем для слуховых.

С целью выяснения вопроса о скорости переключения внимания с одного сенсорного канала на другой, а также проверки гипотезы о доминировании зрения, была исследована зависимость ЛПР на зрительные и слуховые сигналы от модальности предшествующего сигнала.

Анализ полученных данных показал, что при равной вероятности появления зрительных и слуховых сигналов на ЛПР опознания зрительных сигналов не влияет модальность предшествующего сигнала (различия статистически не значимы). При опознании слуховых сигналов обнаружена другая тенденция. В случае переключения каналов ЛПР опознания слуховых сигналов возрастает (0,71c против 0,66). Различия значимы на 1%-ном уровне. При P=0,9 эффект увеличения ЛПР в результате переключения каналов в равной степени проявляется для обеих модальностей.

Таким образом, можно констатировать, что в нашем эксперименте не проявился феномен доминантности зрения. Полученные данные по динамике ЛПР в зависимости от модальности предшествующего сигнала можно интерпретировать с точки зрения проявления эффекта перцептивной преднастройки: наличие остаточного возбуждения в том или ином канале облегчает прием и обработку информации в этом канале.

Сравнительный анализ данных, полученных в исследовании опознания зрительных и слуховых сигналов в условиях моно- и бимодального предъявления, показал, что точность опознания при этом примерно одинакова и составляет в среднем 96-98% для обеих модальностей. ЛПР опознания разномодальных сигналов несущественно возрастает по сравнению с ЛПР опознания мономодальных сигналов (0,77c против 0,73 для зрительных и 0,70c против 0,65 для слуховых сигналов). Дисперсия значений ЛПР в условиях опознания разномодальных сигналов практически не изменяется по сравнению с опознанием мономодальных сигналов (0,16c против 0,17 для зрительных НИ 0,18c против 0,16 для слуховых сигналов).

Уменьшение вероятности появления сигналов влечет за собой снижение эффективности опознания только в наиболее сложных условиях (т.е. при опознании средней градации сигнала), именно тогда особенно значимо проявляется эффект перцептивной преднастройки.

Информационный анализ показал, что при равной вероятности появления разномодальных сигналов количество переданной информации составляет в среднем 2,51 дв. ед., скорость обработки информации при этом достаточно высока и равняется 3,44 дв. ед./c.

Эксперимент III. Идентификация разномодальных сигналов

В третьем эксперименте изучалась эффективность идентификации пар зрительных и слуховых сигналов. Мы исходили из предположения, что эффективность обработки бимодальной информации, помимо других факторов, может определяться временным режимом предъявления пар разномодальных сигналов. Если справедлива теория переключения внимания А. Кристофферсона [160], в соответствии с которой человек не может одновременно реагировать на зрительные и слуховые сигналы, тогда оптимальные условия для обработки бимодальной информации создаются при последовательном предъявлении разномодальных сигналов. Если же справедливы предположения о существовании параллельной системы, принимающей и обрабатывающей сигналы различных модальностей, тогда эффективность обработки информации при последовательном предъявлении сигналов не должна превышать эффективности обработки при одновременном их поступлении. Кроме того, можно предположить, что на эффективность идентификации пар разномодальных сигналов оказывает влияние временная неопределенность их появления.

В связи с этим перед нами стояли следующие задачи:

  • изучение эффективности обработки бимодальной информации на материале операции идентификации пар зрительных и слуховых сигналов;
  • определение предпочтительного временного режима предъявления разномодальных сигналов;
  • проверка справедливости двух имеющихся в психологической литературе гипотез о способах обработки разномодальных сигналов;
  • исследование влияния временной неопределенности на эффективность обработки бимодальной информации.

Исследование состояло из двух опытов. В первом опыте изучался процесс идентификации пар разномодальных сигналов в условиях варьирования длительности межстимульного интервала: МСИ=0; 40; 100 и 300 мс. Кроме того, при МСИ≠0 варьировалась последовательность предъявления сигналов в паре: зрительный - слуховой и слуховой - зрительный. Соответственно опыт I состоял из 7 частей. Программа опыта I содержала 75 предъявлений для каждой части опыта.

Во втором опыте исследовался процесс идентификации пар разномодальных сигналов в условиях временной неопределенности. В отличие от альтернативной неопределенности - неопределенности появления данного сигнала в ряду других сигналов - временная неопределенность связана с неопределенностью момента предъявления данного сигнала. В опыте II неопределенность появления второго сигнала в паре достигалась за счет варьирования длительности МСИ в одном и том же опыте. Четыре значения МСИ - 0; 40; 100 и 300мс - были распределены в опыте случайно и равновероятно. Программа опыта II содержала 300 пар предъявлений для каждого испытуемого.

В обоих опытах вероятность случаев положительной идентификации, т.е. вероятность предъявления идентичных пар сигналов, была равна 0,4; вероятность случаев отрицательной идентификации равнялась 0,6. Задача испытуемых в эксперименте состояла в сличении предъявленных в паре зрительного и слухового сигналов в соответствии с принятыми правилами и установлении их тождества или различия. В случае тождества сигналов испытуемые давали утвердительный ответ, в случае их различия - отрицательный. В опытах регистрировались ответы испытуемых типа «да - нет», ЛП сенсоречевой реакции и субъективная оценка степени уверенности испытуемых в правильности своих ответов (по пятибалльной шкале).

Анализ данных, полученных в I опыте, показывает, что в условиях одновременного предъявления разномодальных сигналов точность идентификации незначительно ниже, чем в условиях последовательного предъявления (табл.23). При последовательном предъявлении сигналов длительность МСИ значимо не влияет на точность идентификации. Отмечается статистически не значимое повышение точности идентификации для последовательности сигналов «зрительный - слуховой» по сравнению с последовательностью «слуховой - зрительный».

В целом можно отметить высокую точность выполнения операции идентификации разномодальных сигналов в условиях варьирования длительности МСИ.

Таблица 23. Зависимость точности идентификации (%) разномодальных сигналов от последовательности их предъявления и длительности МСИ

МСИ, мс Зрительный - слуховой Слуховой - зрительный
0 91,5
40 96,0 91,5
100 96,5 93,0
300 96,5 96,0

Рассматривая динамику значений ЛПР испытуемых с изменением длительности МСИ, необходимо отметить следующее: ЛПР возрастает с увеличением длительности МСИ до 300 мс (рис. 33). Однако это можно отнести за счет включенности длительности МСИ в состав ЛПР. Для проверки этого предположения мы вычли величины МСИ из значений ЛПР.

В результате оказалось, что с увеличением МСИ Время реакции испытуемых сокращается. Так, при МСИ=300 мс ЛПР испытуемых в среднем на 200 мс меньше, чем при МСИ=0. Эти данные позволяют предположить, что во время МСИ осуществляется обработка сигнала, поступившего на вход анализатора (зрительного или слухового). Одновременно система обработки информации функционирует в режиме активного ожидания поступления второго сигнала. Таким образом, в случае заданного инструкцией, т.е. известного испытуемому, временного режима предъявления разномодальных сигналов возможны одновременная обработка предъявленного сигнала, ожидание и обнаружение нового сигнала.

Зависимость ЛПР испытуемых от длительности МСИ и порядка предъявления стимулов
Рис.33 Зависимость ЛПР испытуемых от длительности МСИ и порядка предъявления стимулов
Положительная идентификация - сплошная линия, отрицательная - штриховая. Крестиками обозначен случай, когда из значения ЛПР вычтена соответствующая величина МСИ.

Данные по степени уверенности испытуемых тесно коррелируют с показателями точности идентификации: высокая оценка степени уверенности испытуемых в правильности своих ответов подтверждается высокими объективными показателями точности выполнения операции идентификации разномодальных сигналов.

Информационный анализ показал, что при выполнении испытуемыми операции идентификации разномодальных сигналов количество переданной информации составляет в среднем 2,99 дв. ед., скорость переработки информации равняется 2,96 дв. ед./с.

На основании проведенного анализа результатов исследования можно сделать следующие выводы:

  1. Установлена высокая эффективность идентификации разномодальных сигналов.
  2. Все временные режимы предъявления зрительных и слуховых сигналов обеспечивают равновысокую эффективность идентификации.
  3. Полученные данные позволяют высказать гипотезу о возможности параллельной обработки разномодальных сигналов на входе анализаторных систем.

Если бы имела место последовательная обработка зрительной и слуховой информации, то точность идентификации была бы существенно ниже в условиях одновременного предъявления разномодальных стимулов, что связано с ограниченностью времени хранения информации в перцептивной памяти. Кроме того, следовало бы ожидать более резкого возрастания ЛПР идентификации при МСИ=0 по сравнению с данными, полученными при последовательном предъявлении сигналов.

В пользу справедливости гипотезы о параллельной обработке разномодальных сигналов свидетельствует и сравнительный анализ данных о времени реакции опознания и идентификации этих сигналов. Если обработка бимодальной информации осуществляется последовательно, то ЛПР идентификации должен представлять собой сумму времени на обработку зрительного и слухового сигнала и времени сличения сигналов в паре, т.е. ЛПР идентификации должен превышать сумму ЛПР опознания зрительного и слухового сигналов. Экспериментальные данные противоречат этому допущению: ЛПР идентификации в условиях одновременного предъявления разномодальных сигналов составляет 0,99с, ЛПР опознания зрительных сигналов - 0,76 и слуховых - 0,60c (для случая равновероятного предъявления разномодальных сигналов).

Как указывалось выше, во II опыте идентификация пар разномодальных сигналов осуществлялась в условиях варьирования в случайной последовательности длительности МСИ. Анализ данных по точности идентификации показал, что она не зависит от длительности МСИ и последовательности сигналов.

Не обнаружено влияния фактора временной неопределенности на точность идентификации разномодальных сигналов: точность идентификации (в опыте I) составила 94%, в условиях же временной неопределенности (в опыте II) - 94,5%. ЛПР испытуемых в данном опыте несколько меньше, чем в предыдущем (0,91с против 1,01, различия значимы на 5%-ном уровне). Дисперсия значений ЛПР испытуемых в условиях временной неопределенности также невелика (σ=0,33с). В опыте II отмечается высокая оценка степени уверенности испытуемых в правильности своих ответов (4,81).

Таким образом, сравнительный анализ данных, полученных в опытах I и II, свидетельствует о том, что введение фактора временной неопределенности не приводит к снижению эффективности идентификации разномодальных сигналов.

Результаты выполненного исследования позволяют сделать ряд выводов о способах обработки бимодальной информации.

  1. При исследовании процесса опознания разно-модальных сигналов не выявлены дополнительные затраты времени на переключение внимания, связанное со сменой модальности предъявляемых сигналов.
  2. Анализ динамики значений ЛПР опознания зрительных и слуховых сигналов в зависимости от модальности предшествующего сигнала подтвердил справедливость гипотезы перцептивной преднастройки в условиях обработки бимодальной информации. В соответствия с данной гипотезой наличие остаточного возбуждения в том или ином перцептивном канале облегчает прием и переработку информации в данном канале.
  3. Экспериментальные данные не подтверждают доминирования одного из сенсорных каналов над другим даже в условиях варьирования в широких пределах соотношения вероятностей предъявления зрительных и слуховых сигналов. В связи с этим можно предположить, что доминирование одного из сенсорных каналов в условиях обработки бимодальной информации, очевидно, является следствием стратегии внимания, определяемой задачами субъекта, инструкцией, установкой и т.п.
  4. Полученные данные свидетельствуют о возможности предъявления информации по двум каналам - зрительному и слуховому - без снижения эффективности опознания сигналов по сравнению с условиями мономодального предъявления.
  5. Показана высокая эффективность идентификации бимодальных сигналов при различных временных режимах их предъявления.
  6. Введение фактора временной неопределенности предъявления сигналов не приводит к снижению эффективности идентификации разномодальных сигналов.
  7. Результаты исследования позволяют высказать гипотезу о гибкости структуры процесса обработки бимодальной информации. В структуру этого процесса могут входить как последовательные, так и параллельные компоненты обработки информации, их соотношение может быть различным, оно определяется временной организацией сигналов. Так, высокая эффективность выполнения операции идентификации в условиях одновременного предъявления разномодальных сигналов определяется их параллельной обработкой. Успешность решения задачи идентификации в условиях последовательного предъявления сигналов определяется тем, что одновременно с обработкой первого сигнала осуществляется обнаружение второго сигнала, анализ которого начинает протекать параллельно с обработкой предыдущего, если она еще не закончена. Таким образом, в случае последовательного предъявления сигналов возможны одновременная обработка предъявленного сигнала и ожидание и обнаружение нового сигнала. Эти данные указывают на то, что обработка бимодальной информации на уровнях внимания и предвнимания, по терминологии У. Нейссера, может осуществляться параллельно и с высокой эффективностью
  8. Результаты выполненного исследования свидетельствуют о высокой эффективности переключения и распределения внимания на сенсорно-перцептивном уровне в условиях обработки бимодальной информации и о возможности достижения в связи с этим высокой успешности решения задач опознания и идентификации разномодальных (зрительных и слуховых) сигналов.