Multidimensional Loglinear Analysis / Многомерный логлинейный анализ

Класс методов для поиска многомерных связей между категориальными переменными, для получения полезной регрессионной модели (прогноз по которой лучше, чем "50 на 50"), для факторизации. Оптимален для моделей,
в которых задействовано много номинальных шкал.

Требуемый уровень подготовки пользователя: выше среднего.

Желательно владение методами: критерием хи-квадрат и логистической регрессией.

 
Краткое описание метода
 
Суть логлинейного анализа: 3-мерная модель
Видео-рекомендации, каждая не более 3 мин.

Видео 1. Введение в 3-мерный логлинейный анализ: постановка задачи, переход от анализа таблиц сопряжённости к работе с профилями респондентов, элементы формулы расчёта эффектов. Для того чтобы избавиться от нулевых частот, по умолчанию в логлинейном анализе к частотам профилей добавляется число (дельта) 0,5.

Видео 2. Подробное рассмотрение элементов формулы эффектов.

Видео 3. Модель многомерного логлинейного анализа в классической интерпретации (интерпретации Г. Аптона): описание и расчёт константы, с которой затем производится сравнение для определения силы эффектов. Если из-за какого-то эффекта наблюдается сильное изменение частоты профиля по сравнению с этой константой, то этот эффект признаётся статистически значимым, если такого изменения не происходит - то эффект не значим.

Видео 4. Сравнение вкладов эффектов в отклонение частоты некоторого профиля от средней геометрической частоты по выборке. Суть эффектов первого уровня: они показывают, как распределились квоты по выборке - это привнесённое в выборку свойство, а не реально характерная для данных связь.

Видео 5. Суть эффекта второго уровня: экспонента от величины эффекта показывает, во сколько раз наблюдаемая частота выше (или ниже) той, которая была бы, если бы 2-мерной связи (эффекта) не было.

Видео 6. Промежуточное резюме алгоритма проведения логлинейного анализа "вручную": частота для любого профиля может быть разложена на эффекты. Чем больше признаков, формирующих профили, тем больше эффектов (выше уровень эффектов). Значения эффектов позволяют оценить, насколько конкретное сочетание признаков даёт приращение или уменьшение частоты относительно усреднённого значения (константы, базы). Эта база - натуральный логарифм среднего геометрического всех частот профилей. Чтобы определить интерпретируемую величину эффекта, необходимо взять экспоненту от полученного значения эффекта. 

Видео 7. Отличия логлинейной модели, реализованной в SPSS, от классической: i) константа или базовая частота в SPSS - натуральный логарифм от частоты последнего профиля (она же контрольная группа); ii) в SPSS иная интерпретация эффектов (в т.ч. первого уровня). Так, например, при интерпретации экспоненты от значения эффекта первого уровня необходимо к имеющемуся значению признака (Х) добавить недостающие элементы из контрольной группы (Y, Z) и проводить сравнение именно с контрольной группой.

Видео 8. Иная интерпретация эффектов второго и более высокого уровней.

Видео 9. Продолжение интерпретации эффекта второго уровня.

Видео 10. Оценка значимости эффектов. Роль выбора контрольной группы (в SPSS нет возможности менять её иначе, кроме как перекодировав значения переменных): как и в логистической регрессии, выбор контрольной группы крайне важен, поскольку именно на её основании рассчитываются как константа, так и эффекты всех уровней. Рекомендация к подготовке контрольной группы: кодировать значения признаков (изменять последние значения) так, чтобы контрольную группу составляли категории, частоты которых примерно равны среднему геометрическому всех частот.

Видео 11. Такая процедура позволяет приблизиться к логлинейному анализу в его классическом виде. При реализации логлинейного анализа в SPSS сравнение происходит с конкретной контрольной группой, и выводы о значимости эффектов всегда ограничены этим сравнением; при классической реализации сравнение происходит с ситуацией, когда связи не было бы (эффект был бы равен нулю), и интерпретация выходит более широкая и универсальная.

Комментарии можете оставлять прямо в Youtube

 
Разбор формулы эффектов логлинейного анализа
Видео-рекомендации, каждая не более 3 мин.

Видео 1. 2-мерный случай. Разбор главного эффекта.

Видео 2. ... Разбор 2-мерного эффекта X1Y1.

Видео 3. ... Разбор 2-мерного эффекта X1Y2. 3-мерный случай. Разбор главного эффекта и 2-мерного эффекта X1Y1.

Видео 4. ... Разбор 3-мерного эффекта X1Y1Z1.

Видео 5. ... Попытка увеличить эффект X1Y1Z1. Summary.

Комментарии можете оставлять прямо в Youtube

 
Применение к большим данным
Видео-рекомендации, каждая не более 3 мин.

Видео 1. Введение в многомерный логлинейный анализ на больших данных. Постановка задачи: поиск многомерной связи между рядом дихотомических переменных, отвечающих за политическую активность, и страной. Подготовка переменных (автоматическое кодирование, сортировка переменных по алфавиту), определение контрольной группы.

Видео 2. Настройки Syntax для Custom Tables перед выбором контрольной группы. Расчёт средней геометрической частоты "обходным" путём и поиск профиля, частота которого наиболее близка к полученному значению - этот профиль и составит контрольную группу.

Видео 3. Настройки Model Selection. Описание иерархического принципа алгоритма.

Видео 4. Иерархический принцип алгоритма Model Selection состоит в том, что последовательно из модели удаляются "уровни" эффектов (начиная с самых многомерных эффектов), исключение которых не приводит к значимому ухудшению качества модели. Итоговый Generating Class составляют только "верхние" (из оставшихся) многомерные эффекты. Для дальнейшей работы с Generating Class необходимо добавлять эффекты более низкого уровня.

Видео 5. Формирование упомянутых эффектов более низкого уровня для последующего использования в редуцированной модели - General Loglinear. Переход к General Loglinear, настройки запуска.

Видео 6. Что делать, если компьютеру не хватает памяти для обработки задания? 1) Упростить задачу, уменьшив число переменных или число категорий в переменных. 2) Изменить критерии отбора значимых сочетаний в Model Selection, указав более строгое значение p-value.

Видео 7. Интерпретация эффектов редуцированной иерархической модели Loglinear General.

Видео 8. Продолжение интерпретации эффектов. Почему такие гигантские эффекты?

Видео 9. Продолжение интерпретации эффектов. Ищем значимые эффекты про Россию. Summary.

Комментарии можете оставлять прямо в Youtube

 
Работа с каждым результатом выдачи Model Selection
Видео-рекомендации, каждая не более 3 мин.

Видео 1. Знакомство с данными. Иерархическая редуцированная модель с невлияющим X. Согласно результатам General Loglinear, некоторые ожидаемые микроэффекты редуцировались. Почему?

Видео 2. Так происходит потому, что в SPSS реализация логлинейного анализа отличается от классической: все эффекты интерпретируются в сравнении с контрольной группой и показывают, во сколько раз частота конкретного профиля отличается от частоты профиля контрольной группы. Для верной интерпретации эффекты должны быть виртуально дополнены недостающими элементами контрольной группы.

Видео 3. Достраивание неполных микроэффектов и получение ожидаемых результатов. Построение модели без невлияющего Х, сравнение с моделью, в которую Х был включен. Изменение таблицы сопряжённости и частоты контрольного профиля.

Видео 4. Изменение условий задачи. Что делать, если эффект верхнего уровня отсеился? Выдача процедуры Model Selection.

Видео 5. Почему не стоит оставаться в рамках исходной виртуальной таблицы сопряжённости? Работа с каждым значимым эффектом из выдачи Model Selection отдельно. Сравнение микроэффектов для 3- и 2-мерной таблиц.

Видео 6. Продолжение сравнения. 2-мерные микроэффекты оцениваются только в контексте значения третьей переменной (а именно её значения, относящегося к контрольному профилю). Этот контекст не позволяет оценить все 2-мерные микроэффекты.

Видео 7. Поскольку 3-мерная связь отсутствтует, более корректным является переход от 3-входовой таблицы к 2-входовым.

Видео 8. Может, всё-таки оставить одну 3-входовую таблицу, т.е. рассмотреть совместно значимые эффекты из выдачи Model Selection, но при этом не включать незначимые?

Видео 9. Но тогда некоторые профили всё равно остаются без своих микроэффектов. Summary.

Комментарии можете оставлять прямо в Youtube

© А. Ротмистров

  • Вконтакте App Icon
  • Иконка Facebook с прозрачным фоном
  • YouTube Классик