Существует множество опций для заполнения недостающих данных.

Не существует «идеального» метода для заполнения недостающих данных. Как указано выше, множественное вменение может быть трудно понять и реализовать без некоторого понимания выбора модели и байесовской теории.Некоторые другие варианты, которые проще и могут быть более эффективными, чем MI, включают:

• Замените отсутствующие значения средним или медианным значением для набора. Обычно не рекомендуется, если только у вас есть несколько пропущенных значений.
• Используйте линейную регрессию для заполнения пропусков. Линейная регрессия создает простую модель (линию), в которой легко экстраполировать или интерполировать отсутствующие значения. Подходит только для линейных данных, таких как рост, вес или уровень дохода.
• Заменить отсутствующие значения на значение перед ним . Это может сработать, если кажется, что ваши ценности имеют тенденцию (в отличие от ценностей, которые встречаются повсюду).
• Игнорировать наблюдения с отсутствующими данными или взвешивать полные наблюдения (т. Е. Уделять больше внимания полным данным и меньшее значение неполным данным). Игнорирование случаев с отсутствующими данными может быть вариантом, если у вас достаточно большой размер выборки. Для небольших выборок каждая точка данных может быть критичной.
• Заполните пустые поля нулями . В основном вариант, если у вас есть несколько некритических пропущенных точек.
• Используйте алгоритм k-ближайшего соседа или EM-алгоритм для создания недостающих точек данных. Сопоставление ближайшего соседа логически сопоставляет одну точку данных с другой, наиболее похожей точкой данных. Алгоритм EM работает, выбирая случайные значения для отсутствующих точек данных и используя эти предположения для оценки второго набора данных. Новые значения используются для создания лучшего предположения для первого набора, и процесс продолжается до тех пор, пока алгоритм не сойдется в фиксированной точке.

Дополнительная литература:
Для более глубокого изучения MI вы действительно не сможете превзойти оригинальную работу Д. Б. Рубина «Множественное вменение для неполучения ответов в опросах» (Нью-Йорк: John Wiley, 1987). Если вы не можете найти книгу, вы можете прочитать здесь pdf-версию метода МИ Рубина.

Ссылки:
Little RJA & Rubin DB (2002) Статистический анализ с отсутствующими данными (второе издание). Уайли, штат Нью-Джерси.
Рубин , Д.Б. (1977). Вывод и недостающие данные.Биометрика, 63, 581-592.
Рубин , Д.Б. (1978). Множественные вменения в выборочных опросах - феноменологический байесовский подход к неполучению ответов. Труды секции методов исследования опросов Американской статистической ассоциации, 20-34. Также при вменении и редактировании ошибочных или отсутствующих данных обследования, Министерство торговли США, 1-23.
Рубин, Д. (1986). Основные идеи множественного вменения в случае неполучения ответов. Методология исследования, июнь 1986 г. Том 12, №1, стр. 37-47. Получено 24 августа 2017 г. с: http: // www.statcan.gc.ca/pub/12-001-x/1986001/article/14439-eng.pdf
Schafer , J. (1999). Множественное вменение: праймер. Получено 23.08.2017 из: http://hbanaszak.mjr.uw.edu.pl/TempTxt/Schafer_1999_MultipleImputationAPrimer.pdf

Нужна помощь с домашним заданием или контрольным вопросом? С Chegg Study вы можете получить пошаговые ответы на свои вопросы от эксперта в данной области. Ваши первые 30 минут с репетитором Chegg бесплатны!

Комментарии? Нужно опубликовать исправление? Пожалуйста, оставьте комментарий на нашей странице в Facebook .

Руководство по вмененному доходу для новичков (2021)

Как владелец бизнеса, вы несете ответственность за подачу различных налоговых отчетов и своевременный перевод всех подлежащих уплате налогов. Вот почему важно понимать вмененный доход или дополнительные льготы.

Если вы предлагаете или планируете предлагать своим сотрудникам различные дополнительные льготы, вам необходимо знать, какие льготы не облагаются налогом, а какие нужно указывать как налогооблагаемый доход.

Обзор: Что такое вмененный доход?

Часть расчета заработной платы - это правильное отслеживание выплат сотрудникам.Если ваши сотрудники получают различные дополнительные льготы и неденежные компенсации, которые не зависят от их заработной платы, но все же имеют ценность.

Это значение необходимо отслеживать и сообщать в качестве компенсации в соответствующие налоговые органы, включая IRS, Социальное обеспечение и Medicare (FICA), а также в федеральный налог по безработице (FUTA).

Это означает, что любой служащий, который принимает определенные дополнительные неденежные льготы или пользуется ими, должен будет добавить сумму полученного пособия к их валовому доходу за год.

Примеры вмененного дохода

Если вы не уверены, что именно считается вмененным доходом и нужно ли облагать налогом дополнительные льготы, которые вы предлагаете своим сотрудникам, вот список вещей, которые обычно считаются вмененным доходом:

• Групповое страхование жизни на сумму, превышающую 50 000 долларов США
• Использование автомобиля в личных целях
• Помощь в обучении, превышающая 5250 долларов США
• Возмещение не подлежащих вычету расходов на переезд
• Скидки для сотрудников, превышающие необлагаемую налогом сумму
• Льготы по фитнесу, такие как членство в спортзале
• Помощь в усыновлении, превышающая необлагаемую налогом сумму
• Помощь по уходу за иждивенцем, превышающая необлагаемую налогом сумму

Примеры исключений

Существует также ряд исключенных льгот, о которых вы не должны сообщать. доход.Другие, такие как помощь иждивенцам и помощь в усыновлении, изначально исключаются, если они не превышают указанные необлагаемые налогом суммы.

В большинстве случаев исключенные льготы не облагаются федеральным подоходным налогом у источника, социальным обеспечением, Medicare, федеральным налогом на безработицу (FUTA) или налогом на пенсию с железных дорог (RRTA) и не должны указываться в форме W. -2.

Эти исключения включают:

• Страхование от несчастных случаев и медицинское страхование
• Счета для сбережений здоровья
• Питание
• Групповое страхование жизни на сумму до 50 000 долларов
• Скидки для сотрудников до суммы, не облагаемой налогом
• Помощь в усыновлении до суммы, не облагаемой налогом
• Помощь по уходу на иждивении до суммы, не облагаемой налогом
• Сотовые телефоны, предоставленные работодателем, используемые в основном для работы
• Помощь в обучении сотрудников на сумму до 5250 долларов

Как отразить вмененный доход

In Чтобы правильно отразить вмененный доход или дополнительные льготы, вы должны сначала определить размер льгот, получаемых вашим сотрудником.

Хотя это несложно для таких льгот, как групповое страхование жизни и помощь в усыновлении, для которых установлена ​​определенная стоимость, другие дополнительные льготы, такие как личное использование транспортного средства, могут потребовать от вас определения справедливой рыночной стоимости.

Например, если вы предоставляете своему сотруднику автомобиль для использования, стоимость дополнительного пособия будет равна расходам, которые ваш сотрудник понесет, если арендует автомобиль у третьей стороны.

Имейте в виду, что у IRS есть строгие правила в отношении оценки аренды автомобиля, поэтому лучше всего обратиться к Публикации 15-B: Руководство работодателя по дополнительным льготам, чтобы убедиться, что оценка была проведена должным образом.

Вмененный доход всегда указывается в форме W-2.

Вы можете отчитываться о размере дополнительных льгот с любой выбранной периодичностью, но не реже одного раза в год. Варианты периодической отчетности включают:

1. За период оплаты
2. Ежеквартально
3. Полугодовой
4. Ежегодно

Вы можете изменять частоту отчетности так часто, как хотите, но вы должны сообщать о выгодах за календарный год не позднее 31 декабря года получения пособия.

Все дополнительные льготы сообщаются в форме IRS W-2, с указанием конкретного кода в соответствующем поле, чтобы указать, какой тип льготы был предоставлен.

Помните, что вы хотите только добавить стоимость дополнительного пособия к общему налогооблагаемому доходу вашего сотрудника. Любое дополнительное пособие, которое считается освобожденным от уплаты налогов, не должно включаться в валовую заработную плату работника.

Конечно, если вы используете программное обеспечение для расчета заработной платы, такое как Gusto или SurePayroll, эта информация будет включена в формы W-2, которые предоставляются вашим сотрудникам в конце года.

Если вы обрабатываете платежную ведомость вручную, вот пример того, как вы можете рассчитать вмененный доход по квитанции о заработной плате:

Еженедельная заработная плата Шеннона составляет 1250 долларов. Медицинская страховка Шеннон составляет 100 долларов и считается вычетом, не облагаемым налогом.

Если бы это было все, что вам нужно было учесть, валовая заработная плата Шеннон составила бы 1150 долларов, а это сумма, которая использовалась бы для расчета удерживаемых налогов. Однако работодатель Шеннон также предоставляет ей служебный автомобиль, справедливая рыночная стоимость которого составляет 150 долларов в неделю.Чтобы правильно учесть это преимущество, вам необходимо добавить 150 долларов к налогооблагаемому доходу Шеннон. Добавление этой суммы обеспечит точный расчет и уплату налогов.

Калькулятор вмененного дохода отображает разницу в налогооблагаемой заработной плате с учетом справедливой рыночной стоимости аренды автомобиля.

После того, как мы прибавим 150 долларов к предыдущей налогооблагаемой заработной плате Шеннон в размере 1150 долларов, ее новая налогооблагаемая заработная плата составит 1300 долларов, и это сумма, которая будет использована при расчете налогов, удерживаемых у источника. Имейте в виду, что существуют различные правила IRS, которые можно использовать при расчете стоимости дополнительных льгот.

Пример выше основан на еженедельной отчетности, но у вас также есть возможность сообщать вмененный доход ежеквартально, раз в полгода или год.

Позвольте вашему поставщику услуг по расчету заработной платы отслеживать вмененный доход для вас

Независимо от того, проводите ли вы расчет заработной платы вручную или у вас есть поставщик услуг по расчету заработной платы, вам все равно необходимо отслеживать вмененный доход.

Почему бы не выбрать более простое из двух и позволить службе расчета заработной платы сделать тяжелую работу? Приложения для расчета заработной платы, такие как OnPay и Paychex Flex, могут легко управлять отчетами о вмененном доходе и дополнительных льготах, предоставлять итоговые суммы по вмененному подоходному налогу, а также включать эти итоги в W-2 сотрудников на конец года.

Чтобы узнать о других вариантах расчета заработной платы, обязательно ознакомьтесь с нашими обзорами программного обеспечения для расчета заработной платы.

Слишком много столбцов

Предположим, что ваш коллега с энтузиазмом воспринял множественное вменение. Она попросила вас создать версию ее данных с множественным вменением и переслала вам всю свою базу данных. В качестве первого шага вы используете R для считывания его во фрейм данных с именем data . После этого вы вводите следующие команды:

  библиотека (мыши)
## НЕ ДЕЛАЙТЕ ЭТОГО
imp <- mice (data) # не рекомендуется  

Если вам повезет, программа может запуститься и произвести расчет, но через несколько минут станет ясно, что на ее завершение уходит много времени.А после того, как ожидание закончилось, вменения оказались на удивление плохими. Что случилось?

Некоторое исследование данных показывает, что ваш коллега отправил вам набор данных с 351 столбцом, по сути, всю информацию, которая была выбрана в ходе исследования. По умолчанию функция mice () использует все другие переменные в качестве предикторов, поэтому mice () попытается вычислить регрессионный анализ с 350 независимыми переменными и повторить это для каждой неполной переменной. Категориальные переменные внутренне представлены как фиктивные переменные, поэтому фактическое количество предикторов может легко удвоиться.Это делает алгоритм очень медленным, если он вообще работает.

Некоторое дальнейшее исследование показывает, что некоторые переменные являются полями с произвольным текстом, и что некоторые из пропущенных значений не были отмечены как таковые в данных. Как следствие, mice () обрабатывает невозможные значения, такие как «999» или «-1», как реальные данные. Всего одна забытая пропущенная метка данных может привести к большим ошибкам в расчетах.

Чтобы избежать подобных практических проблем, необходимо сначала потратить некоторое время на изучение данных.Кроме того, будет полезно понять, для какого научного вопроса используются данные. Оба помогут в создании разумных вменений.

В этом разделе основное внимание уделяется тому, что можно сделать на основе самих значений данных. На практике гораздо продуктивнее и предпочтительнее работать вместе с кем-то, кто действительно хорошо знает данные и знает вопросы, представляющие научный интерес, которые можно задать на основе данных. Иногда возможности сотрудничества ограничены. Это может произойти, например, если данные поступили из нескольких внешних источников (как в метаанализе) или если набор данных настолько разнообразен, что ни один человек не может охватить все его содержимое.Будет ясно, что эта ситуация требует тщательной оценки качества данных задолго до попытки вменения.

Научный вопрос

Существует парадоксальная обратная зависимость между артериальным давлением (АД) и смертностью у людей старше 85 лет (Boshuizen et al. 1998; Van Bemmel et al. 2006). Обычно люди с более низким АД живут дольше, но самые старые люди с более низким АД живут меньше.

Целью исследования было определить, является ли связь между АД и смертностью у очень пожилых людей следствием слабости.Вторая цель заключалась в том, чтобы узнать, остается ли высокое АД все еще фактором риска смерти после того, как были приняты во внимание последствия плохого здоровья.

В исследовании сравнивались две модели:

1. Связь между смертностью и АД с поправкой на возраст, пол и тип проживания.

2. Связь между смертностью и АД с поправкой на возраст, пол, тип проживания и состояние здоровья.

Здоровье измерялось по 28 различным параметрам, включая психическое состояние, физические недостатки, зависимость от повседневной деятельности, анамнез рака и другие.Включение здоровья как набора ковариат в модель 2 может объяснить связь между смертностью и АД, что, в свою очередь, имеет значение для лечения гипертонии у очень пожилых людей.

Лейден 85+ Когорта

Данные получены от 1236 жителей Лейдена, которым было 85 лет и старше на 1 декабря 1986 г. (Lagaay, Van der Meij, and Hijmans 1992; Izaks et al. 1997). В период с января 1987 г. по май 1989 г. этих людей посетил врач. Была получена полная история болезни, информация о текущем употреблении наркотиков, образец венозной крови и другие данные, связанные со здоровьем.АД обычно измеряли во время визита. За исключением некоторых людей, которые были прикованы к постели, АД измеряли в сидячем положении. Использовался манометр Hg, и АД было округлено до ближайших 5 мм рт. Измерения обычно проводились ближе к концу интервью. Статус смертности каждого человека на 1 марта 1994 г. был получен из административных источников.

Из исходной когорты в общей сложности 218 человек умерли до того, как их можно было посетить, 59 человек не захотели участвовать (некоторые из-за проблем со здоровьем), 2 эмигрировали и 1 человек не был опрошен по ошибке, поэтому были посещены 956 человек.Эффекты, связанные с подвыборкой посещенных лиц из всей когорты, были приняты во внимание путем определения даты домашнего визита как начала (Boshuizen et al. 1998). Этот тип выбора далее рассматриваться не будет.

Исследование данных

Данные сохраняются в виде файла экспорта SAS . Функция read.xport () из внешнего пакета может считывать данные.

  библиотека (иностранная)
file.sas <- "data / c85 / master85.xport "
original.sas <- read.xport (file.sas)
имена (original.sas) <- tolower (names (original.sas))
тусклый (original.sas)  

  [1] 1236 351  

Набор данных содержит 1236 строк и 351 столбец. Когда я выяснил происхождение данных, бывшие следователи сообщили мне, что файл был составлен в начале 1990-х годов из нескольких частей. Базовый компонент состоял из файла Dbase с множеством свободных текстовых полей. Специальная программа Fortran использовалась для разделения свободных текстовых полей.Все поля с медицинской и лекарственной информацией были вручную сверены с оригинальными формами. Информация, не необходимая для анализа, не очищалась. Вся информация была сохранена, поэтому файл содержит несколько версий одной и той же переменной.

Первое сканирование данных показывает, что некоторые переменные представляют собой поля с произвольным текстом, коды лиц и т. Д. Поскольку эти поля не могут быть разумно вменены, они удаляются из данных. Кроме того, отбираются только 956 случаев, которые были первоначально посещены, а именно:

  # удалить 15 столбцов (текст, административный)
все <- имена (исходный.sas)
drop <- c (3, 22, 58, 162: 170, 206: 208)
keep <-! (1: длина (все)% в% drop)
leiden85 <- original.sas [original.sas $ abr == "1", сохранить]
данные <- leiden85  

Распределение частот пропущенных случаев по переменной можно получить как:

  ini <- mice (data, maxit = 0) # рекомендуется  

  Предупреждение: количество зарегистрированных событий: 28  

 
  0 2 3 5 7 14 15 28 29 32 33 34 35 36 40 42
 87 2 1 1 1 1 2 1 3 2 34 15 25 4 1 1
 43 44 45 46 47 48 49 50 51 54 64 72 85 103 121 126
  2 1 4 2 3 24 4 1 20 2 1 4 1 1 1 1
137 155 157 168 169 201 202 228 229 230 231 232 233 238 333 350
  1 1 1 2 1 7 3 5 4 2 4 1 1 1 3 1
501 606635 636 639 642 722 752 753 812 827 831 880 891 911 913
  3 1 2 1 1 2 1 5 3 1 1 3 3 3 3 1
919 928 953 954 955
  1 1 3 3 3  

Игнорируя на мгновение предупреждение, мы видим, что есть 87 полных переменных.Набор включает административные переменные (например, количество человек), факторы дизайна, дату измерения, показатели выживаемости, переменные выбора и так далее. В набор также входили некоторые переменные, для которых отсутствующие данные были случайно не отмечены, содержащие такие значения, как «999» или «-1». Например, частотное распределение полной переменной «beroep1» (занятость) составляет

  таблица (данные $ beroep1, useNA = "always")  

 
  -1 0 1 2 3 4 5 6 
  42 1 576 125 104 47 44 17 0  

Отсутствуют пропущенные значения, но переменная только с категориями «-1» и «0» является подозрительной.Категория «-1», вероятно, указывает на то, что информация отсутствовала (это действительно так). Один из вариантов - оставить это «как есть», чтобы mice () рассматривал его как полную информацию. В этом случае все случаи с отсутствующим родом занятий рассматриваются как однородная группа.

Две другие переменные без отсутствующих маркеров данных: syst и diast , то есть систолическое и диастолическое АД, разделенные на шесть групп. Корреляция (с использованием наблюдаемых пар) между syst и rrsyst , переменной, представляющей основной интерес, равна 0.97. Включение syst в модель вменения для rrsyst приведет к разрушению вменения. Вариант «как есть» опасен и разделяет некоторые из тех же опасностей, что и индикаторный метод (см. Раздел 1.3.7). Смысл в том, что 100% полные переменные заслуживают должного внимания.

После первого раунда скрининга я обнаружил, что 57 из 87 полных переменных в некотором смысле неинтересны или проблематичны. Их имена были помещены в список под названием outlist1 следующим образом:

  v1 <- имена (ini $ nmis [ini $ nmis == 0])
outlist1 <- v1 [c (1, 3: 5, 7:10, 16:47, 51:60, 62, 64:65, 69:72)]
длина (outlist1)  

  [1] 57  

Outflux

Мы также должны внимательно изучить переменные на другом конце.Переменные с большой долей отсутствующих данных обычно создают больше проблем, чем решают. Если некоторые из этих переменных не представляют подлинный интерес для исследователя, их лучше не учитывать. Практически каждый набор данных содержит некоторые части, которые лучше удалить перед вменением. Сюда входят, помимо прочего, неинтересные переменные с большой долей отсутствующих данных, переменные без кода для отсутствующих данных, административные переменные, постоянные переменные, дублированные, перекодированные или стандартизованные переменные, а также агрегаты и индексы другой информации.

Рисунок 9.1: Глобальная картина притока-оттока данных Лейденской когорты 85+. Переменные с более высоким исходящим потоком (потенциально) являются более мощными предикторами. Переменные с более высоким притоком сильно зависят от модели вменения.

На рис. 9.1 представлена ​​диаграмма притока-оттока данных Лейденской когорты 85+. Приток переменной количественно определяет, насколько хорошо ее недостающие данные связаны с наблюдаемыми данными по другим переменным. Отток переменной количественно определяет, насколько хорошо наблюдаемые данные связаны с отсутствующими данными по другим переменным.За подробностями обратитесь к Разделу 4.1.3. Хотя демонстрация, очевидно, могла бы выиграть от лучшей стратегии размещения этикеток, мы видим три группы. Все точки относительно близки к диагонали, что указывает на сбалансированность притока и оттока.

Группа в левом верхнем углу содержит (почти) полную информацию, поэтому количество проблем с отсутствующими данными для этой группы относительно невелико. Промежуточная группа имеет отток от 0,5 до 0,8, что невелико. Проблемы с отсутствием данных более серьезны, но потенциально эта группа может содержать важные переменные.Третья группа имеет исходящий поток 0,5 и ниже, поэтому ее предсказательная сила ограничена. Кроме того, эта группа имеет большой приток и поэтому сильно зависит от модели вменения.

Обратите внимание, что есть две переменные ( hypert1 и aovar ) в третьей группе, которые расположены над диагональю. При более внимательном рассмотрении выясняется, что метка отсутствующих данных не была установлена ​​для этих двух переменных. Переменные, которые в дальнейшем могут вызвать проблемы при вменении, расположены в правом нижнем углу.Предполагая, что эта группа не содержит переменных, представляющих научный интерес, я перенес 45 переменных с исходящим потоком <0,5 в список исходящих данных :

  outlist2 <- row.names (fx) [fx $ outflux <0,5]
длина (outlist2)  

  [1] 45  

В этих данных набор выбранных переменных идентичен группе с более чем 500 пропущенными значениями, но это не всегда так. Я удалил 45 переменных, пересчитал приток и отток для меньшего набора данных и выбрал 32 новые переменные с исходящим потоком <0.5.

  данные2 <- данные [,! Имена (данные)% в% outlist2]
fx2 <- поток (данные2)
outlist3 <- row.names (fx2) [fx2 $ outlux <0,5]  

Переменная outlist3 содержит 32 имени переменных, среди которых много лабораторных измерений. Я предпочитаю оставить их для вменения, поскольку они могут хорошо коррелировать с АД и выживаемостью. Обратите внимание, что исходящий поток значительно изменился, когда я удалил 45 наименее наблюдаемых переменных. Приток остался почти таким же.

Поиск проблем:

Другой источник информации - это список зарегистрированных событий, созданных мышью () .Предупреждение, которое мы проигнорировали ранее, указывает на то, что мышь обнаружила некоторые особенности в данных, которые требуют внимания пользователя. Записанные в журнал события образуют структурированный отчет, в котором выявляются проблемы с данными и подробно описываются корректирующие действия, предпринятые мышами () . Это компонент под названием loggedEvents объекта mids .

  голова (ini $ loggedEvents, 2)  

  это не меняет
1 0 0 константа abr
2 0 0 константа vo7  

  хвост (ini $ loggedEvents, 2)  

  это не меняет
27 0 0 коллинеарный voor10
28 0 0 коллинеарный voor11  

При инициализации в журнал записываются следующие действия:

• Постоянная переменная удаляется из модели вменения, если не удаляется .Константа = ЛОЖЬ указан аргумент ;

• Переменная, коллинеарная другой переменной, удаляется из модели вменения, если не указан аргумент remove.collinear = FALSE .

Переменная удаляется из модели путем внутреннего редактирования компонентов модели predictorMatrix , method , visitSequence и post . Данные остаются нетронутыми. Обратите внимание, что установка удаляет.constant = FALSE или remove.collinear = FALSE обходит обычные меры безопасности в мышах и может вызвать проблемы в дальнейшем. Если переменная имеет только NA , она считается постоянной переменной и не будет вменена. Установка remove.constant = FALSE вызовет числовые проблемы, поскольку нет наблюдаемых случаев для оценки модели вменения, но такие переменные могут быть вменены пассивным вменением, указав разрешение .na = ИСТИНА аргумент.

Во время выполнения основного алгоритма записи в loggedEvents могут сигнализировать о следующих действиях:

• Предиктор, который является постоянным или коррелирует с целевой переменной выше 0,999, удаляется из одномерной модели вменения. Значение отсечки может быть указано аргументом threshold ;

• Если все предикторы удалены, это отмечается в loggedEvents , и модель вменения становится моделью только с перехватом;

• Степени свободы могут стать отрицательными, обычно потому, что существует слишком много предикторов относительно количества наблюдаемых значений для цели.В этом случае для степеней свободы устанавливается значение 1, и примечание записывается в loggedEvents .

Некоторые события могут произойти случайно, и в этом случае они безопасны. Однако, если записей много, вполне вероятно, что модель вменения чрезмерно параметризована, что приводит к вялому поведению и нестабильным оценкам. В этом случае необходимо упростить модель вменения.

Компонент loggedEvents объекта mids представляет собой фрейм данных с пятью столбцами.Столбцы и , и обозначают номер итерации и вменения. Столбец dep содержит имя целевой переменной и остается пустым при инициализации. Столбец , запись мет сигнализирует о типе проблемы, например константа , df установлен на 1 и т. Д. Наконец, столбец из содержит имена удаленных переменных. Компонент loggedEvents содержит важные подсказки о возможных проблемах с моделью вменения.Более тщательное изучение этих журналов может помочь понять природу проблемы. В общем, стремитесь к нулю записей, и в этом случае компонент loggedEvent равен NULL .

К сожалению, loggedEvents недоступен, если мышь дает сбой. Если это произойдет, проверьте вывод консоли, чтобы увидеть, какая была последняя переменная, и подумайте о причинах, которые могли вызвать сбой, например, используя категориальный предиктор со многими категориями в качестве предиктора.Затем удалите это с модели. В качестве альтернативы, снижение maxit , установка гребня на высокое значение ( гребень = 0,01 ) или использование более надежного метода вменения (например, pmm ) может вывести вас за пределы точки, в которой программа не работает. Затем получите loggedEvents , чтобы обнаружить любые проблемы.

Продолжая анализ, основанный на начальном выводе mice () , я поместил имена всех констант и коллинеарных переменных в outlist4 на

  outlist4 <- as.символ (ini $ loggedEvents [, "out"])  

Этот список содержит 28 переменных.

Быстрый выбор предиктора:

Пакет mice содержит функцию quickpred () , которая реализует стратегию выбора предиктора из Раздела 6.3.2. Чтобы применить эту стратегию к данным когорты Leiden 85+, я сначала удалил переменные в трех из четырех списков, созданных в предыдущих разделах.

  outlist <- уникальный (c (outlist1, outlist2, outlist4))
длина (список)  

  [1] 108  

Необходимо удалить 108 уникальных переменных.Таким образом, прежде чем проводить какие-либо вменения, я удалил около трети данных, которые могут вызвать проблемы. Уменьшенные данные:

  data2 <- data [,! Names (data)% in% outlist]  

Следующим шагом является построение модели вменения в соответствии со стратегией, описанной выше. Функция quickpred () применяется следующим образом:

  inlist <- c ("секс", "лфтанам", "ррсист", "ррдиаст")
пред <- quickpred (данные2, minpuc = 0,5, include = inlist)  

В data2 есть 198 неполных переменных.Вектор символов в списке определяет имена переменных, которые должны быть включены как ковариаты в каждую модель вменения. Здесь я указал возраст, пол и артериальное давление. Артериальное давление - это переменная, представляющая центральный интерес, поэтому я включил ее во все модели. Этот список можно было бы увеличить, если бы было больше переменных результата. Список может также включать расчетные факторы.

Функция quickpred () создает двоичную матрицу предикторов из 198 строк и 198 столбцов.Строки соответствуют неполным переменным, а столбцы содержат те же переменные, которые играют роль предикторов. Количество предикторов зависит от строки. Мы можем отобразить распределение количества предикторов по

 
 0 7 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29
30 1 2 1 1 2 5 2 13 8 16 9 13 7 5 6 10 6 3 6 4
30 31 32 33 34 35 36 37 38 39 40 41 42 44 45 46 49 50 57 59 60
 8 3 6 9 2 4 6 2 5 2 4 2 3 4 3 3 3 1 1 1 1
61 68 79 83 85
 1 1 1 1 1  

Различия в размерах моделей значительны.30 строк без предикторов завершены. Среднее количество предикторов равно 24,8. На количество предикторов можно влиять, изменяя значения mincor и minpuc в quickpred () . Число предикторов от 15 до 25 примерно соответствует (см. Раздел 6.3.2), поэтому я решил принять эту матрицу предикторов. Количество предикторов систолического и диастолического АД составляет

  rowSums (пред [c ("rrsyst", "rrdiast"),])  

  ррсист ррдиаст
     41 36  

Имена предикторов для rrsyst можно получить по

  имена (данные2) [пред ["rrsyst",] == 1]  

Иногда бывает полезно проверить корреляции предикторов, выбранных с помощью quickpred () .Таблица 3 в Van Buuren, Boshuizen и Knook (1999) дает пример. Для данной переменной корреляции могут быть сведены в таблицу с помощью

  vname <- "rrsyst"
y <- cbind (data2 [vname], r =! is.na (data2 [, vname]))
vdata <- data2 [, pred [vname,] == 1]
round (cor (y = y, x = vdata, use = "pair"), 2)  

Генерация вменений

Теперь все готово для вменения данных как

  imp.qp <- мыши (data2, pred = pred, seed = 29725)  

Благодаря меньшему набору данных и более компактной модели вменения этот код работает примерно в 50 раз быстрее, чем «слепое вменение», как это практикуется в Разделе 9.1. Что еще более важно, новое решение намного лучше. Чтобы проиллюстрировать последнее, взгляните на рисунок 9.2.

Рисунок 9.2: Диаграмма рассеяния систолического и диастолического артериального давления от первого вменения. Левосторонний график был получен после того, как мышей () просто обработали данными без какого-либо скрининга данных. Правый график - это результат после очистки данных и настройки матрицы предикторов с помощью quickpred () . Лейден 85+ Когортные данные.

Рисунок представляет собой диаграмму рассеяния rrsyst и rrdiast первого вмененного набора данных.На рисунке слева показано, что может произойти, если данные не будут должным образом экранированы. В этом конкретном случае забытая пропущенная метка данных «-1» была посчитана как действительное значение артериального давления и произвела вменение, которое находится далеко. Напротив, вменения, созданные с помощью quickpred () , выглядят разумными.

Сюжет создан по следующему коду:

  vnames <- c ("rrsyst", "rrdiast")
cd1 <- mice :: complete (imp) [, vnames]
cd2 <- mice :: complete (имп.qp) [, vnames]
typ <- factor (rep (c ("слепое вменение", "quickpred"),
                  каждый = nrow (cd1)))
mis <- ici (data2 [, vnames])
mis <- is.na (imp $ data $ rrsyst) | is.na (imp $ data $ rrdiast)
cd <- data.frame (typ = typ, mis = mis, rbind (cd1, cd2))
xyplot (jitter (rrdiast, 10) ~ jitter (rrsyst, 10) | typ,
       data = cd, groups = mis,
       col = c (mdc (1), mdc (2)),
       xlab = "Систолическое АД (мм рт. ст.)",
       type = c ("g", "p"), ylab = "Диастолическое АД (мм рт. ст.)",
       pch = c (1, 19),
       strip = полоса.обычай (bg = "grey95"),
       scale = list (чередование = 1, tck = c (1, 0)))  

Дальнейшее улучшение: выживаемость как предикторная переменная

Если модель полных данных - это модель выживания, включающая совокупный риск для времени выживания, \ (H_0 (T) \), поскольку один из предикторов дает немного лучшие вменения (White and Royston 2009). Кроме того, в модель должен быть включен индикатор событий. Оценка Нельсона-Алена для \ (H_0 (T) \) в Лейденской когорте 85+ может быть рассчитана как

  dat <- cbind (data2, dead = 1 - data2 $ dwa)
опасность <- nelsonaalen (dat, Survda, dead)  

, где мертвый закодирован таким образом, что «1» означает смерть.Функция nelsonaalen () является частью мышей . В таблице 9.1 перечислены корреляции между несколькими ключевыми переменными. Корреляция между \ (H_0 (T) \) и \ (T \) почти равна 1, поэтому для этих данных не имеет большого значения, берем ли мы \ (H_0 (T) \) или \ (T \) в качестве предиктора. . Высокая корреляция может быть вызвана тем, что почти все в этой когорте умерли, поэтому процент цензуры низкий. Корреляция между \ (H_0 (T) \) и \ (T \) может быть ниже в других эпидемиологических исследованиях, и поэтому может иметь значение, возьмем ли мы \ (H_0 (T) \) или \ (T \).Обратите внимание, что корреляция между log (\ (T \)) и артериальным давлением выше, чем для \ (H_0 (T) \) или \ (T \), поэтому имеет смысл добавить log (\ (T \)) как дополнительный предсказатель. Эта сильная связь могла быть следствием дизайна, поскольку в первую очередь измеряли хрупких людей.

Некоторое руководство

Вписать данные с большим количеством столбцов сложно. Даже самые тщательно разработанные и хорошо поддерживаемые данные могут содержать информацию или ошибки, которые могут привести к неправильным расчетам. Я завершаю этот раздел, резюмируя рекомендации по условному исчислению данных со «слишком большим количеством столбцов».

1. Проверьте все переменные на предмет забытых отсутствующих меток данных.Восстановите или удалите эти переменные. Даже одна забытая отметка может испортить модель вменения. Удалите выбросы с невероятными значениями.

2. Получите представление о сильных и слабых сторонах данных, изучив модель притока-оттока. Если они не имеют научного значения, удалите переменные с низким исходящим потоком или с большой долей отсутствующих данных.

3. Выполните пробный прогон с maxit = 0 и проверьте зарегистрированные события, произведенные мышью () .Перед вменением удалите все постоянные и коллинеарные переменные.

4. Узнайте, что произойдет после вменения данных. Определите набор переменных, которые важны для последующего анализа, и включите их в качестве предикторов во все модели. Преобразуйте переменные, чтобы улучшить предсказуемость и согласованность в модели полных данных.

5. Запустите quickpred () и определите значения mincor и minpuc , так что среднее количество предикторов составляет около 25.

6. После вменения определите, являются ли сгенерированные вменения разумными, сравнив их с наблюдаемой информацией и знаниями, внешними по отношению к данным. При необходимости скорректируйте модель.

7. Задокументируйте свои действия и решения и получите обратную связь от владельца данных.

   No related posts.