ЭКСПЕРИМЕНТАЛЬНАЯ ПСИХОЛОГИЯ 1 часть — МегаБукс 

ЭКСПЕРИМЕНТАЛЬНАЯ ПСИХОЛОГИЯ 1 часть



ЭКСПЕРИМЕНТАЛЬНАЯ ПСИХОЛОГИЯ

 

ТЕОРИЯ И МЕТОДЫ

 

Допущено Министерством образования Российской Федерации в качестве учебника для студентов высших учебных заведений, обучающихся по направлению и специальности «Психология»

 

УДК 373.167.1:159.

ББК 88.3

К 67

Рецензенты:

доктор психологических наук, проф. В. А. Иванников

доктор психологических наук, проф. С. Д. Смирнов

Корнилова Т. В.

К 67 Экспериментальная психология: Теория и методы: Учебник для вузов. – М.: Аспект Пресс, 2002.– 381 с.

ISBN 5-7567-0160-5.

Учебник представляет основы экспериментального метода в рамках курса экспериментальной психологии. В нем рассмотрены психологические методы наблюдения и эксперимента, корреляционный и квазиэкспериментальный подходы (предполагается, что методы психологического измерения и психодиагностики требуют изложения в специальных пособиях). Психологический эксперимент рассматривается как предметная деятельность исследователя и как система нормативов для проверки психологических гипотез, задающая критерии классификации других эмпирических методов в психологии.

Для студентов, обучающихся на факультетах психологии университетов и педагогических институтов.

 

УДК 373.167.1:159.9

ББК 88.3

 

На переплете фрагмент картины В. В. Кандинского.

ISBN 5–7567–0160-5 © «Аспект Пресс», 2002.

 

Введение

 

Цели теоретического курса, вводящего в проблемы психологического экспериментирования

Время предъявляет новые требования к профессиональной подготовке психологов. Теоретический курс «Экспериментальный метод психологии» предполагает, что студент получит необходимые ориентиры в современных способах организации экспериментального исследования и системах методов, тяготеющих к экспериментальным. Практика организации таких исследований не может быть целью теоретического курса, но обычно он сочетается с последующими общими и специальными практикумами. Именно практикумы нацелены на ознакомление с конкретными приемами реализации тех или иных схем психологического исследования. В рамках теоретического курса студент приобретает те знания, которые в последующем позволят ему профессионально оценивать проведенные или планируемые исследования как удовлетворяющие нормативам тех или иных методов. Таким образом создается возможность профессионального чтения литературы по психологии и активного владения способами оценки и планирования экспериментальных исследований.



Владение нормативами научного мышления предполагает знание наиболее устоявшихся способов рассуждений психолога при проверке гипотез, изменений в критериях научного мышления и современных подходах к организации эмпирического исследования. Вариативность пособий по экспериментальной психологии возможна, но предполагает сочетание ориентировки на несомненно общие нормативы использования знаний о психологических методах и индивидуальные предпочтения преподавателя в выборе способов представления этих ориентиров в лекциях.

Преподавание базовых курсов по психологии на психологических факультетах университетов должно учитывать изменения, происходящие со временем в рамках любой научной дисциплины. Одно из направлений таких изменений в психологии – поворот к личности и широко понятой психологической практике. Вторым направлением может быть назван пересмотр приоритетов в системах профессиональных знаний. На примере изменения преподавания экспериментальной психологии следует рассмотреть ряд вопросов, обсуждение которых, возможно, поможет структурировать представление этой второй после общей психологии базовой дисциплины.

 

Экспериментальный метод как идеальная точка

Глава 1

ЭКСПЕРИМЕНТАЛЬНЫЙ МЕТОД В ПСИХОЛОГИИ И НОРМАТИВЫ НАУЧНОГО МЫШЛЕНИЯ

 

Нормативы научного мышления

 

Проблема соотнесения эмпирических зависимостей и теоретических интерпретаций

 

Экспериментирование как специальный метод эмпирического исследования в психологии

 

Глава 2

ПРЕДПОСЫЛКИ СТАНОВЛЕНИЯ ЭКСПЕРИМЕНТАЛЬНОГО МЕТОДА В ПСИХОЛОГИЧЕСКИХ ИССЛЕДОВАНИЯХ

 

Историко-психологический экскурс

 

Понятия метода и методики

 

Любые варианты классификаций психологических методов предполагают разведение структуры исследования как метода и способов фиксации эмпирических данных как психологических методик. Метод, задающий способ познавательного отношения исследователя к изучаемому предмету, может быть реализован при разных средствах операционализации психологических показателей и фиксации данных. Метод как способ рассуждения включает, как отмечалось, определенные нормативы соотнесения эмпирических фактов и теоретических объяснений. Он относительно свободен от процедурных аспектов сбора эмпирического материала в том смысле, что не ограничен определенной предметной областью психологии.

Один и тот же метод может быть применен для изучения совершенно различных базисных процессов и при разном понимании психологической реальности.

 

Так, метод «экспериментальной интроспекции» использовался как сторонниками В. Вундта, принявшими атомистический взгляд на структуру сознания (как состоящего из элементов), так и сторонниками Э. Титченера, стоявшими на позициях функциональной психологии (с акцентированием процессуальных компонентов или потока сознания). Метод «психофизического эксперимента» применяется для построения субъективных шкал как при изучении области сенсорно-перцептивных процессов, так и применительно к изучению структур памяти и эмоций (например, если речь идет о шкалировании эмоциональных предпочтений).

 

При разных подходах к выделению методов психологических исследований критерием остается тот аспект его организации, который позволяет определиться в способах исследовательского отношения к изучаемой реальности. Тогда методики рассматриваются как процедуры или «техники» сбора данных, которые могут быть включены в разные структуры исследований.

Иногда различают структуру общей методики и описание специальной методики, считая важным подчеркнуть их связь [95]. Общая структура психологического исследования подразумевает использование не любых, а достаточно определенных специальных методик отражения и фиксации эмпирических данных. Так, планирование исследования по изучению личностной регуляции принятия решений в ситуации неопределенности подразумевает возможность фиксации некоторых личностных свойств, т.е. применение некоторых психодиагностических методик. Будет ли оценка личностных свойств проводиться внешним наблюдателем-экспертом или на основе применения стандартизованных тестов, в любом случае будет решаться задача последующего сопоставления индивидов, отличающихся по диагностированным свойствам, в рамках определенной экспериментальной схемы. Если эта оценка сама по себе процедурно сложна (например, если речь идет о применении проективных методик исследования личности), то это повлечет за собой изменение структуры исследования, в первую очередь с точки зрения его временной организации.

 

Допустим, исследователем продолжается проверка гипотезы о влиянии диспозиционной переменной (мотивации) на особенности принятия решений в ситуациии вербальной задачи или компьютерной игры. Чтобы подобрать группы людей, отличающиеся по показателям тематического апперцептивного теста (ТАТ) даже только с точки зрения одной шкалы (из совокупности тех, что служат описанию мотивационно-потребностной сферы субъекта: например, по преобладанию «мотивации достижения» или «мотивации избегания неудачи»), требуется не менее часа работы с испытуемым [61]. Если планируется межгрупповая схема сравнения данных, полученных в индивидуальных опытах, то понятно, что экспериментальная ситуация, в которой испытуемые будут принимать решения (например, в компьютерной игре), будет отодвинута для каждого из них на разные промежутки времени от момента тестирования с помощью ТАТ. Проведение эксперимента не сможет состояться ранее, чем будут получены данные тестирования для подбора предполагаемых групп. Индивидуальный характер выполнения экспериментальной деятельности обусловливает необходимость соединения ряда индивидуальных показателей решений в играх в так называемые блоки, между которыми может быть различие именно в связи с неодновременностью реализации индивидуальных опытов и возникновением соответствующих смешений.

 

Процедурно иначе выглядит аналогичное исследование, в котором те же мотивационные характеристики людей предполагается выявить при групповом проведении стандартизованной вербальной методики. Так, аналогичный ТАТ перечень личностных диспозиций может диагностироваться с помощью опросника А. Эдвардса [28], что не только займет меньше времени, но и позволит более обоснованно распределить испытуемых в разные группы по количественным индексам мотивов (например, с большей или меньшей выраженностью мотива по отношению к медианному показателю). В последнем случае предварительное тестирование и ситуацию игровой деятельности для выявления показателей принятия решений можно провести за один сеанс работы с испытуемым или с целой группой. Общая структура сравнения психологических показателей в обоих исследованиях с точки зрения плана исследования будет одинаковой, однако оценка полученных эффектов должна включать существенные поправки на процедурные различия в сборе данных. Это же касается и различий в толковании тех показателей, в соответствии с которыми диагностировалась диспозициональная переменная «мотивация».

Необходимость различения понятий метода и методики обнаруживается в разных требованиях, предъявляемых к возможности использования тех или иных методик. Так, для применения экспериментального метода необходимым условием является выделение и фиксация переменных, которые должны быть измерены хотя бы в классификационной шкале. Метод наблюдения не выдвигает требования аналитичного представления переменных, он может быть реализован при фиксации результатов средствами (в репертуаре) естественного языка при достаточно целостном описании наблюдаемой эмпирии.

Для выделения переменных при реализации экспериментального метода характерно использование разных методик (в том числе и психодиагностических). Наблюдение и измерение переменных выступают как условия реализации экспериментального метода, если имеются в виду методики как способы получения психологических показателей. Тот же статус методик для выделения переменных имеют психодиагностические средства при реализации экспериментального метода. Однако психодиагностика как метод построения психологического исследования с иными целями (чем проверка каузальных гипотез) основана на иных нормативах, чем эксперимент. То же относится к наблюдению и измерению как методам, т.е. способам реализации познавательного отношения к изучаемому предмету. Психологическое наблюдение, психологическое измерение и психодиагностика как особые типы организации исследования имеют в психологии свою историю становления и проверяют иного типа психологические гипотезы (не каузальные).

 

Типы эмпирических данных

 

Современная систематика

 

В настоящее время разветвление методических средств может быть представлено столь подробно, что наведение порядка с точки зрения классификации этих средств будет напоминать работу архивариуса в методическом арсенале психологии. Поэтому ознакомление с системой методов должно обосновываться другими способами их представления, репрезентирующими особенности познавательного отношения к психологической реальности. Например, это может быть перечень задач, решаемых на основе использования того или иного метода. Другим путем будет показать различие нормативов, направляющих построение эмпирического исследования, и возможные выводы на его основе. Отличия в построении форм психологического исследования заданы также особенностями психологических гипотез, эмпирическая обоснованность которых строится на основе различных схем профессиональных размышлений при использовании разных методов.

Издаваемая в Геттингене «Энциклопедия психологии» реализует наиболее академическим путем идею последовательного представления современной системы методов посредством выделения типов исследовательских проблем, решаемых с помощью этих методов. Специальный том «Проверка гипотез» [81] освещает проблемы, связанные с раскрытием сути экспериментального метода как средства проверки каузальных гипотез. Самостоятельными методами оказываются также методы наблюдения, психологического измерения и психодиагностики.

 

В учебной литературе также сложилась традиция отдельного представления методов наблюдения, измерения, эксперимента и психодиагностических средств. В то время как решение диагностических задач связывают с целями обследования, остальные три основных метода рассматриваются в качестве исследовательских парадигм. Раскрытие других методов: беседы, анализа индивидуального случая и т.д. – строится в отношении к этим более крупным единицам рассмотрения структуры психологического исследования.

 

Ориентация на указанные подходы не исчерпывает других возможных принципов классификации методов психологического исследования и обследования. Данный учебник построен согласно разведению двух основных групп исследовательских методов: пассивно наблюдающих – методы наблюдения и корреляционный подход – и активного эксперимента. К ним примыкают так называемые квазиэксперименты, нацеленные на проверку каузальных гипотез, но не предполагающие таких же строгих форм контроля экспериментальных факторов, как при реализации истинных экспериментальных планов.

Методы, лежащие в основе построения таких исследований, как лонгитюдные, кросс-культурные, психогенетические и ряд других, могут быть условно отнесены к квазиэкспериментальным по критерию ограничения форм контроля [43]. Однако все они будут существенно отличаться по структуре и содержанию психологических гипотез, поскольку в них причинные объяснения не могут быть обоснованы введением экспериментально управляемых воздействий. Представлению основ указанных двух групп исследовательских методов и посвящены следующие главы учебника.

 

Контрольные вопросы

 

  1. Как реализовывался метод экспериментальной интроспекции в лаборатории Вундта?
  2. В чем сходство и различия бихевиористской схемы экспериментов в психологического исследовании и психологических экспериментах?
  3. Каким образом психологическое экспериментирование выполняет свою интегрирующую функцию в психологической науке?
  4. Каков вклад исследований Л. Фехнера, Г. Эббингауза, Э. Л. Торндайка и К. Левина в становление экспериментального метода в психологии?
  5. Как представлен естественный эксперимент в концепции Лазурского?
  6. В чем заключается нормативность психологического эксперимента?
  7. Как различаются понятия «метод» и «методика» в психологическом исследовании?
  8. Каковы возможные критерии классификации психологических показателей?
  9. Как предварительно определить надежность данных и источники ненадежности в психологическом исследовании?
  10. Как связаны критерии воспроизводимости данных и объективности метода психологического исследования?
  11. Что понимают под репрезентативностью и объективностью данных?
  12. В чем заключается критерий объективности метода психологического исследования, по Теплову?
  13. Какие основные методы выделяются согласно одной из старых систематик?
  14. Какие группы методов следует выделять согласно современной систематике психологических методов исследования?

 

Глава 3

МЕТОД НАБЛЮДЕНИЯ

 

Экскурс 3.2

 

Заданные 12 категорий (участник «предлагает решение», «высказывает мнение», «выражает отношение» и т. д.) основываются на предположении о стадиях решения проблемы группой и полностью охватывают возможные «единицы» описания взаимодействия участников дискуссии на этих стадиях (см. схему 3.1).

 

 

Схема 3.1. Система категорий, предложенная Р. Бейлзом.

 

Условные обозначения: А – область позитивных социально определяемых эмоций, D – область негативно определяемых эмоций, В и С – нейтральная область задачи. Связи между категориями заданы так: а – проблемы ориентации; b – проблемы оценивания, мнений; с – проблемы контроля; d – проблемы нахождения решения; е – проблемы преодоления напряженности; f – проблемы интеграции.

 

По заранее заученным 12 категориям наблюдатель расчленяет вербальную продукцию участников решения, учитывая не только то, что говорит участник, но и то, к кому он обращается, каков эмоциональный оттенок его высказывания, его место с точки зрения шести предполагаемых стадий продвижения в проблеме. Любое возможное действие участника группового решения может быть подведено под какую-либо из указанных категорий, их ряд полностью определен относительно друг друга. В этом смысле они представляют систему в отличие от списка (репертуара).

Система категорий Бейлза учитывает также возможность квантификации, т.е. количественной оценки результатов наблюдения. Частота наблюдаемых актов отражает особенности протекания дискуссии, в частности, в виде процентных соотношений разных типов «актов» на различных этапах решения проблемы группой. Если выделенные исследователем категории не охватывают полностью всех допустимых проявлений наблюдаемого процесса, то они служат системой понятийных знаков, а не системой категорий.

 

Наблюдение в репертуаре единиц, а не категорий также может служить цели целостного охвата и обобщения – совокупности наблюдаемых «естественных» «единиц» явлений в эмпирических «единицах» их описания. Примером может служить система Фландерса, предназначенная для стандартизации наблюдений за взаимодействием учителя и учеников в классе. Она направлена на квалификацию действий: «учитель задает вопросы», «поощряет или поддерживает учеников» и т.д. Здесь выделенные обобщенные содержания действий не включают теоретической интерпретации.

 

Экскурс 3.3

 

Шелдон исследовал связь между соматотипом, т.е. телосложением индивидов, и их темпераментом. Он показал возможность количественной оценки соответствующих компонентов по семибалльным шкалам. На основе длительных наблюдений, бесед, применения опросников и других методик Шелдон выделил три основные группы черт (по 20 в каждой) как наиболее характерные для индивидов определенного соматотипа и предложил оценивать проявление каждой черты у любого человека в течение некоторого периода наблюдения для выявления его индивидуального индекса. Этот индекс отражал психологический портрет индивида и позволял переводить качественные описания в количественные оценки. Хотя речь идет о темпераменте, на самом деле выделенные показатели охватывают более широкий круг черт, включая привычные для индивида способы действий в определенных типичных ситуациях, т.е. собственно черты характера.

 

Примером использования методики временных выборок могут служить исследования утомления человека в течение рабочего дня. Наблюдение проводят не весь день, а по нескольку минут с длительными промежутками между выбранными периодами наблюдений (считается, что получаемые данные показательны для более длительных отрезков, включающих этапы развития утомления).

 

Опосредствованность теорией

 

Оценка самой возможности психологического наблюдения зависит от того, как связываются результаты и использованные средства наблюдения, с одной стороны, и понятийная система знаний о наблюдаемой реальности – с другой. В психологии существует множество категориальных по своему уровню понятий, которые следовало бы относить не к самой психологической реальности, а к обобщенным схемам ее понимания. Так, представим в качестве исследуемой реальности предметную деятельность человека, которая опосредствована механизмами психической регуляции и психического отражения и в свою очередь определяет становление психической реальности.

 

Адекватным для ее изучения методом наблюдения следовало бы признать такое построение исследования, при котором наблюдатель мог бы и зрительно, и понятийно охватить активность другого субъекта как «деятельность» во всей полноте ее структуры, динамики и форм развития. Однако метода для наблюдения такого предмета изучения, как «деятельность», не существует. Деятельность – это категория такой степени общности, которая представлена в системе психологических знаний в качестве «надэмпирического» конструкта, призванного структурировать понятия меньшей степени общности. Без разработки теорий так называемого среднего уровня перейти к оценке наблюдаемости тех или иных аспектов становления деятельностного опосредствования психической реальности, видимо, не представляется возможным.

 

Таким образом, поскольку предметом наблюдения в конечном счете оказывается субъективная реальность, а само наблюдение осуществляется наблюдателем-субъектом, психические состояния которого столь же реальны, как у наблюдаемого субъекта, специфика психологического наблюдения может быть кратко охарактеризована как удвоение субъективности. Внешнее наблюдение в психологии нельзя представить как очищенное от субъективного плана. Это не означает невозможности оценки на его основе истинности тех или иных утверждений о психологической реальности. Объективным наблюдение является в рамках признания двух основных принципов: онтологического статуса изучаемой психологической реальности и возможности познания этой реальности. Применительно к системе методов скорее следует говорить об адекватности использования метода наблюдения, в какой-то степени перекликающейся с оценкой его валидности.

Если отказаться от «познавательной» формы постулата непосредственности в психологии, то приближение к соответствию используемого метода предмету изучения необходимо связывать, во-первых, с усилением его целенаправленности и контроля за способами сбора данных. Это означает, что квалификация и квантификация фиксируемых данных должны отвечать исследовательским целям; наблюдатель должен четко рефлексировать, как используемые им приемы сказываются на эмпирических результатах и как они связаны с теоретическим пониманием им предметной ситуации. В современных учебниках по методу наблюдения различают предметную ситуацию и ситуацию сбора данных. Последняя не просто отражает первую или соответствует ей, а задает способы кодирования в системах описания изучаемой эмпирической реальности. Во-вторых, исследователь должен рефлексировать элементы теоретической опосредствованности результатов наблюдения. Теория обеспечивает эвристичность наблюдения. Она направляет выделение и фиксацию тех аспектов эмпирической реальности, которые представляют (репрезентируют) понимание предметной ситуации.

Теория представлена также в регулятивных правилах сбора данных (в обосновании «техник», или методик, наблюдения). Она определяет исходный пункт выбора «единиц» или категориальных систем наблюдения. При достаточном отличии «атеоретичных» подходов к выбору единиц, называемых иногда описательным наблюдением, и теоретически обоснованных, или объяснительных, подходов общим остается то, что в конструкцию описательных понятий психолог включает умозрительную модель предметной ситуации. Собственно, этим и отличается профессиональное наблюдение от житейского, исследовательский метод от непосредственного запечатления.

 

Глава 4

Экскурс 4.1

 

Приведем подтверждаемую многочисленными зарубежными исследователями связь между переменными «интеллект» и «антисоциальное (асоциальное) поведение» у школьников. Антисоциальное, или делинквентное, поведение – это критерий сильной выраженности переменной расстройства поведения, используемой и психологами, и психиатрами в контекстах разных методик. Дети и подростки с симптомом расстройства поведения демонстрируют более низкие показатели в интеллектуальных тестах, особенно в сфере вербального интеллекта [79]. Одно из житейских объяснений такой ковариации: плохое поведение мешает правильной организации учебы, страдает академическая успеваемость, ребенок не добирает в своем интеллектуальном развитии, т.е. начинает отставать от сверстников. Другая направленность в объяснении – рассмотрение низкого интеллекта в качестве диспозиционального фактора, обусловливающего среди ряда других переменных попадание ребенка в группу с симптоматикой поведенческих расстройств.

 

Сосуществуют разные теории относительно влияния низкого интеллекта на развитие симптомов «расстройства поведения».

 

Первое из сложившихся объяснений включает конструкт самоконтроля, а именно: сниженность, или дефицит, вербального интеллекта влияет на снижение самоконтроля. В результате ребенок затрудняется сознательно опосредоватъ достижение дальних целей контролем импульсивных побуждений, т.е. разрушаются процессы осознанного отсроченного целедостижения, поэтому страдают и общение, и обучение. Поведенческие расстройства оказываются общим радикалом нарушений процессов социализации.

Второе возможное объяснение: низкий вербальный интеллект не позволяет достигать должного уровня обобщений. В результате страдает понимание, какое поведение приемлемо, а какое исключено.

Третье: дефицит интеллекта снижает возможность выбора при необходимости реагировать на угрожающие или двусмысленные социальные ситуации. Ребенок чаще попадает впросак, повышается вероятность агрессивного реагирования.

Четвертое: ребенок или подросток со сниженным интеллектом получает меньше позитивных и больше негативных подкреплений своих действий в школе и дома. Это снижает успешность его социализации.

 

Анализ специальной литературы позволит продолжить список возможных интерпретаций связи двух переменных. Однако уже можно сделать следующий вывод: выполнение лишь второго условия причинного вывода – установления ковариации переменных недостаточно для осуществления обобщений по типу «если... то...».

Кроме того, что возможно изменение направленности связи («X воздействует на Y» или «Y воздействует на X»), остается многообразие обоснованных содержательных интерпретаций. Экспериментальный контроль, представленный как управление воздействиями, в психологическом эксперименте позволяет исследователю определиться в том, какая переменная должна пониматься в качестве причинно действующей. Это невозможно для приведенного ранее примера, поскольку «управление» означало бы не только возможность задания уровней одной переменной (интеллекта или расстройств поведения), но и контроль экспериментально управляемой переменной как воздействующей. Определить уровни переменных в данном примере возможно, но невозможно контролировать причины попадания испытуемого на тот или иной уровень.

Прояснение понимания того, как именно одна переменная влияет на другую, предполагало бы такую организацию исследования, когда любые три из названных четырех причин были бы исключены. В противном случае каждая из них дает конкурирующее объяснение установленной связи. Это также невозможно в данной схеме, которая является примером не экспериментального, хотя и эмпирического, пути исследования. Если бы мы указали способ управления интересующей нас переменной, например подобрали бы группы испытуемых, отличающихся между собой по заданному признаку, то и это не означало бы организации воздействий. Подбор групп испытуемых по заданному различию (применительно к указанной проблеме асоциальности) привел бы к построению корреляционного или квазиэкспериментального исследования. Их характеристика будет дана в последних главах учебника после раскрытия основ экспериментального метода.

В следующих главах приведены позитивные примеры экспериментальных исследований, чтобы продемонстрировать практику организации условий для реализации каузальных выводов. Управление независимыми переменными и организация других форм экспериментального контроля выступят основными способами обеспечения направленности связи между переменными в эксперименте.

Далее будут рассмотрены общие характеристики и отличия в контроле за выводами для экспериментов в практических целях и экспериментов в научных целях. Несмотря на разницу этих типов экспериментов, общим и для них является выполнение условий причинного вывода и контроль направленности устанавливаемой связи. Отличие заключается в том, что гипотеза, направляющая построение эксперимента в практических целях, не обязательно включает теоретизирование по поводу причин устанавливаемых эффектов. Напротив, научная гипотеза обычно имеет две составляющие: теоретическое объяснение, или обобщенное представление об устанавливаемой зависимости, и собственно экспериментальную гипотезу, которая выступает следствием того или иного теоретического понимания. Эта экспериментальная гипотеза может быть опровергнута эмпирически, если установлено, что полагаемая в теории причина не действует, т.е. не вызывает ожидаемого эффекта.








© megabooks.su 2018-2020 - Мы не являемся авторами материалов, но даем возможность пользоваться книгами. Исключительное право сохранено только за автором текста.
Если вы не хотите, чтобы данный материал был у нас на сайте, перейдите по ссылке: Нарушение авторских прав

0.018 с.