Что такое метапредметная контрольная работа: Метапредметная контрольная работа для 7 класса

В качестве первого шага в сравнительном метаанализе DTA мы должны выбрать соответствующую статистику для сравнения двух тестов. Лучшей статистикой будет та, которая легко интерпретируется пользователями метаанализа и наименее подвержена смещению. Мы описываем возможные варианты ниже вместе с результатами небольшого моделирования.Впоследствии нам необходимо разработать модель, которая позволяет объединить все доступные данные, обеспечивая при этом достоверность результатов и отсутствие предвзятости из-за различий в характеристиках исследования, таких как выбор используемого эталонного стандарта. Некоторые возможные модели описаны ниже. Мы оценили ценность этих моделей в имитационном исследовании и в практическом применении.

Меры относительной ценности диагностических тестов

Диагностическая точность характеризуется чувствительностью S и специфичностью C .Эти две величины связаны, и при сравнении результатов испытаний необходимо учитывать как S , так и C . Сравнение двух тестов можно обобщить, используя разницу или относительный риск в S и C для двух тестов. Альтернативная параметризация использует диагностическое отношение шансов D O R = ( S × C ) / [(1– S ) × (1– C )], которое суммирует точность тест в единственном числе [9].Этот параметр можно использовать как сводку в метаанализе, например, при вычислении относительного DOR двух тестов [3]. Однако использование несовершенных эталонов может исказить все вышеперечисленные меры относительной точности двух индексных тестов. Мы оценили направление и величину систематической ошибки этих показателей в небольшом имитационном исследовании. Описание настройки моделирования исследования приведено в дополнительном файле 1.

Модели для сравнительного мета-анализа диагностических тестов

В этом разделе мы разрабатываем модели для сравнения тестов J путем объединения данных из исследований I в сравнительный метаанализ.Все эти модели имеют иерархический характер. На первом уровне иерархии модели описывают наблюдаемые данные отдельных исследований. Наблюдаемые результаты тестов зависят от распространенности заболевания и точности тестов в каждом исследовании, а также от возможной ковариации результатов тестов. Мы описываем точность тестов с точки зрения чувствительности конкретного исследования S _ij и специфичность C _ij теста j в исследовании i .На втором уровне мы определяем модель для этой пары чувствительность-специфичность для конкретного исследования { S _ij , C _ij }. Описаны пять возможных моделей; они перечислены в таблице 2.

Мета-аналитические модели, когда доступен идеальный эталонный стандарт

Если доступен точный эталонный тест, количество заболевших N _Di и здоровые N _NDi участников исследования i известно, как и количество истинно положительных результатов N _TPij и истинно негативы N _TNij для каждого теста j .В стандартной двумерной модели для метаанализа диагностического теста [9] предполагается, что наблюдаемые числа истинно положительных и истинно отрицательных результатов для каждого индексного теста взяты из двух независимых биномиальных распределений N _TPij ∼ B i n ( N _Di , S _ij ) и N _TNij ∼ B i n ( N _NDi , C _ij ).Преобразованные значения г ( S _ij ) = θ _Sij и г ( C _ij ) = θ _Cij моделируются на следующем уровне, где g (.) — функция связи, позволяющая использовать нормальное распределение. Обычным выбором для g (.) Являются функции логита, дополнительного журнала или пробита.В эту структуру можно включить несколько моделей для сравнения диагностической точности различных тестов. Ниже мы обсудим три модели. Эти модели могут быть дополнительно расширены, чтобы учесть ковариаты, другие структуры зависимостей или альтернативные параметризации.

Базовый подход заключается в оценке средней диагностической точности каждого теста отдельно и последующем сравнении оценок среднего значения S _j и C _j в разных исследованиях.При таком подходе стандартная двумерная модель метаанализа диагностических тестов [2] может использоваться для каждого теста отдельно. {2} _ {C_ {j}} \ end {align} \ right), \ end {array} $$

((1))

где \ (\ rho _ {S_ {j} C_ {j}} = \ sigma _ {S_ {j} C_ {j}} / (\ sigma _ {S_ {j}} \ times \ sigma _ {C_ {j}}) \) — это соотношение между \ (\ theta _ {S _ {\ textit {ij}}} \) и \ (\ theta _ {C _ {\ textit {ij}}}} \).{-1} (\ hat {\ mu} _ {S_ {1}}) \). Преимущество стандартной двумерной модели состоит в том, что ее относительно легко подогнать с использованием как байесовских, так и частотных методов, с доступными примерами кода SAS [9] и WinBUGS [10, 11]. Однако, поскольку эта модель основана не на сравнении индексных тестов, а на объединении результатов для каждого теста во всех доступных исследованиях, результаты могут быть искажены характеристиками исследования. Это эквивалентно объединению результатов из групп активного лечения РКИ и сравнению этих оценок — подход, который считается неприемлемым для метаанализа РКИ [12].

Чтобы принять во внимание эффекты исследования, общая вероятность положительного результата теста у больных субъектов μ _Si или у здоровых субъектов μ _Ci для каждого исследования i можно смоделировать и S _ij и C _ij индивидуальных тестов, описанных как контрасты с этой общей вероятностью.

Если мы ограничим данные исследованиями, которые сравнивают два теста напрямую, мы можем записать специфические для исследования преобразованные значения чувствительности g ( S _ij ) = θ _Sij и особенности g ( C _ij ) = θ _Cij следующим образом:

$$ \ begin {align} \ theta_ {Si1} = \ mu_ {Si} + \ delta_ {Si} / 2, \\ \ theta_ {Si2} = \ mu_ {Si} — \ delta_ { Si} / 2, \\ \ theta_ {Ci1} = \ mu_ {Ci} — \ delta_ {Ci} / 2, \\ \ theta_ {Ci2} = \ mu_ {Ci} + \ delta_ {Ci} / 2.\ end {align} $$

((2))

В случае, если g — логит-функция, δ _Si = лог ( S _{O R 12} ) и δ _Ci = log ( C _{O R 12} ), то есть логарифм OR положительных результатов тестирования у больных субъектов для T ₁ по сравнению с T ₂ и логарифм OR отрицательных результатов тестирования у здоровых субъектов в исследовании и соответственно. {2} _ {\ delta_ {C}} \ end {align} \ right).\ end {array} $$

((3))

\ (\ nu _ {\ delta _ {S}} \) и \ (\ nu _ {\ delta _ {C}} \) — это среднее логарифмическое ИЛИ для S и C между тестами T ₁ и T ₂ соответственно. мкм _Si и мкм _Ci учитывают зависимость результатов испытаний, полученных в том же исследовании, и могут быть оценены как фиксированные эффекты, в свою очередь, смоделированные с использованием двумерных нормальных распределений.Эта модель эквивалентна модели Smith- Spiegelhalter -Thomas для сравнения РКИ с двумя видами лечения [13, 14]. Аналогичная модель, но предполагающая фиксированную, а не случайную относительную точность между различными индексными тестами, описана в Кокрановском справочнике по систематическим обзорам исследований DTA [9].

Как показано в Lu et al. [14] в случае метаанализа РКИ модель Smith — Spiegelhalter — Thomas может быть расширена до метаанализа смешанного сравнения лечения более чем двух видов лечения.Точно так же мы можем расширить модель 2 до диагностических тестов J . Пройдя диагностический тест T _J в качестве базовой линии, мы можем переписать уравнения. 2 и 3 как:

$$ \ begin {выровнено} \ theta_ {Si1} = \ mu_ {Si} + (\, J-1) \ times \ delta_ {Si1} / J — \ delta_ {Si2} / J — \ ldots — \ delta_ {Si (\, J-1)} / J, \\ \ theta_ {Si2} = \ mu_ {Si} — \ delta_ {Si1} / J + (\, J-1) \ times \ delta_ {Si2} / J — \ ldots — \ delta_ {Si (\, J-1)} / J, \\ \ vdots \\ \ theta_ {SiJ} = \ mu_ {Si} — \ delta_ {Si1} / J — \ delta_ {Si2} / J — \ ldots — \ delta_ {Si (\, J-1)} / J, \ end {выравнивается} $$

$$ \ begin {выравнивается} \ theta_ {Ci1} = \ mu_ {Ci} + (\, J-1) \ times \ delta_ {Ci1} / J — \ delta_ {Ci2} / J — \ ldots — \ delta_ {Ci (\, J-1)} / J, \ \ \ theta_ {Ci2} = \ mu_ {Ci} — \ delta_ {Ci1} / J + (\, J-1) \ times \ delta_ {Ci2} / J — \ ldots — \ delta_ {Ci (\, J- 1)} / J, \\ \ vdots \\ \ theta_ {CiJ} = \ mu_ {Ci} — \ delta_ {Ci1} / J — \ delta_ {Ci2} / J — \ ldots — \ delta_ {Ci (\, J-1)} / J, \ end {align} $$

с

$$ \ left (\ delta_ {Si1}, \ delta_ {Si2}, \ ldots, \ delta_ {Si (\! \, J -1)}, \ delta_ {Ci1}, \ delta_ {Ci2}, \ ldots, \ delta_ {Ci (\, J-1)} \ right) \ sim \! N (\ boldsymbol {\ nu _ {\ delta} },\Сигма).$$

((4))

и \ (\ phantom {\ dot {i} \!} \ Boldsymbol {\ nu} _ {\ boldsymbol {\ delta}} = \ left (\ nu _ {\ delta _ {S1}}, \ ldots, \ nu _ {\ delta _ {S (\, J-1)}}, \ nu _ {\ delta _ {C1}}, \ ldots, \ nu _ {\ delta _ {C (\, J-1) }} \ right) \) представляет собой среднее значение логарифма OR для S и C тестов J -1 по сравнению с базовым тестом T _J . Различия в S и C между T ₁ и T ₂ по логит-шкале оцениваются как \ (\ nu _ {\ delta _ {S1}} — \ nu _ {\ delta _ {S2}} \) и \ (\ nu _ {\ delta _ {C1}} — \ nu _ {\ delta _ {C2}} \) соответственно.Этот метод позволяет косвенно сравнивать T ₁ и T ₂ посредством сравнения с третьим тестом, аналогично метаанализу смешанных сравнений лечения в РКИ. Одним из усложнений этой модели является спецификация и оценка ковариационной матрицы Σ . Определение структурированной матрицы ковариации и дисперсии в целом является сложным и трудным для обработки при оценке MCMC, поскольку каждая выборочная матрица ковариации дисперсии должна быть положительно определенной [15].Кроме того, идентификация модели с общей матрицей дисперсии-ковариации будет затруднена, особенно когда количество представляющих интерес тестов велико. В качестве первоначального исследования этой модели мы можем использовать упрощенную структуру дисперсии-ковариации, например диагональную или блочно-диагональную матрицу, и впоследствии оценить эффекты ослабления упрощающих допущений. Мы описываем некоторые возможные упрощенные структуры дисперсии-ковариации в Дополнительном файле 2: Раздел 2.6.

Мета-аналитические модели при отсутствии идеального эталонного стандарта

Модели, описанные выше, предполагают, что статус болезни у всех субъектов во всех исследованиях известен, и, следовательно, что N _Di , N _NDi , N _TPij и N _TNij для каждого исследования i и тест j .Однако, если доступны только несовершенные эталоны, представленные оценки этих количеств могут быть смещенными. Описанные выше модели могут быть расширены с помощью анализа скрытых классов (LCA) [16], что позволяет использовать несовершенные эталоны. В LCA истинный статус болезни участников базовых исследований представляет собой ненаблюдаемую или скрытую переменную с двумя взаимоисключающими категориями: «больной» и «здоровый». Эта ненаблюдаемая переменная определяет вероятность получения положительного или отрицательного результата для ряда диагностических тестов, которые могут включать один или несколько несовершенных эталонных тестов.Модели LCA были описаны для множества ситуаций, от случая, когда в каждом исследовании наблюдается один несовершенный тест, до более сложных дизайнов, включающих несколько тестов. Когда задействовано несколько тестов, их можно рассматривать как независимые, обусловленные статусом заболевания, или условную зависимость между ними можно моделировать с использованием различных подходов [17–20]. Важное предположение, лежащее в основе модели латентных классов, состоит в том, что все тесты, включенные в модель, соответствуют одному и тому же состоянию основного заболевания [21].Это предположение имеет решающее значение, особенно в метаанализе, где каждое исследование может использовать свой набор тестов. Если это предположение не выполняется, основная скрытая переменная может отличаться в разных исследованиях.

В этом разделе мы описываем базовую модель латентного класса на уровне отдельного исследования i в метаанализе. Для упрощения записи мы временно убираем индекс i для уровня исследования.Для анализа скрытых классов основными данными является не количество истинно положительных и истинно отрицательных результатов для каждого теста j , а скорее количество субъектов, которые демонстрируют определенную закономерность результатов в тестах J , выполненных в исследовании. Количество испытуемых с паттерном y = ( y ₁ , y ₂ ,…, y _j ) можно обозначить как N _y и предполагается, что оно подчиняется полиномиальному распределению N _y ∼Mult [ N , P ( y )], с y _j наблюдаемый бинарный результат (0 = отрицательный, 1 = положительный) для теста T _j , N общий размер выборки и P ( y ) вероятность того, что y произойдет.{y_ {j}}, \ end {array} $$

((5))

с π заболеваемость.

Таким образом, LCA предоставляет оценки распространенности заболевания в конкретном исследовании π _i и S _ij и C _ij из J _i тестов использовались в исследовании i , которое является подмножеством различных тестов J , использованных в исследованиях метаанализа I .

По сути, самая базовая иерархическая модель латентных классов (Модель 4) строится с помощью комбинации уравнений 1 и 5. Если ранее эталонный тест считался 100% чувствительным и специфичным, в Модели 4 все S _ij и C _ij , включая эталонные тесты, моделируются с использованием отдельных двумерных нормальных распределений, как в уравнении 1.{2} _ {\ pi} \ right) \).

Переписав θ _Sij и θ _Cij через мкм _Si , мкм _Ci , δ _Sij и δ _Cij , как и в уравнении 4, мы снова можем принять во внимание эффекты уровня исследования.Иерархическое моделирование аналогично модели 3, единственная разница заключается на уровне исследования, как описано в уравнении 5. Эта модель, таким образом, корректирует метаанализ для использования несовершенных эталонных тестов. Используя расширенную модель Smith — Spiegelhalter — Thomas, разработанную Лу и др. [14] на втором уровне иерархии эффекты уровня исследования устраняются без необходимости ограничивать анализ только прямыми сравнениями.

Оценка модели и предварительная спецификация

Модели оцениваются в байесовской структуре с использованием методов Монте-Карло цепи Маркова (MCMC) с OpenBUGS 3.0.3 вызывается из R 3.0.1 с использованием библиотеки BRugs. Байесовский подход позволяет оценивать сложные совместные модели и комбинацию априорной информации, например о ценности использованного эталонного теста в метаанализе новых диагностических тестов. Для завершения байесовской модели необходимо предоставить априорные значения для всех параметров модели. Код OpenBUGS для моделей и полные спецификации априорных значений находятся в дополнительном файле 2. Сходимость проверялась с помощью визуальной проверки графиков трассировки цепей Маркова и диагностической статистики Гельмана-Рубина [22].

Для параметров, относящихся к интересующим индексным тестам, мы считаем наиболее подходящим использование неинформативных априорных значений. В частности, мы использовали нормальные априорные значения со средним значением μ, , равным нулю, и стандартным отклонением σ , равным 1,69 для вероятностей, преобразованных в логит. Этот априор соответствует единообразному априорному положению на интервале [0,1] в первые два момента по шкале вероятности [23]. Когда это было целесообразно, эти приоры были ограничены, чтобы избежать переключения меток [20]. Переключение меток — это проблема, возникающая при оценке моделей латентных классов MCMC, когда возможны два эквивалентных решения, которые приводят к идентичным наблюдаемым данным [24, 25].Этой проблемы можно избежать, ограничив S или C одним или несколькими тестами равным ≥0,5. Для контраста в S и C , выраженных как логарифм OR, нормальные априорные значения с μ = 0 и большим стандартным отклонением, например σ = 10 можно использовать. Для матриц вариации-ковариации мы строим неинформативные априорные значения, используя единые априорные значения для стандартных отклонений и корреляций.

Модель была указана с использованием функции логит-связи, и результаты оцениваются по шкале логарифмов шансов.Подход MCMC, реализованный в OpenBUGS, позволяет получить апостериорные распределения всех функций оцениваемых параметров, таких как среднее значение S и C индексных тестов и различия между S и C различных тестов. Мы проиллюстрировали это в коде OpenBUGS в дополнительном файле 2. Мы использовали 2,5 и 97,5-й процентили выборочного апостериорного распределения интересующей статистики в качестве границ для 95% вероятных интервалов.

Если мы хотим использовать информацию из предыдущих фаз исследования, мы можем использовать информативные априорные значения.Например, может быть целесообразно использовать информацию, полученную в результате предыдущего мета-анализа исследований «случай-контроль», при выполнении мета-анализа исследований фазы IV, то есть исследований, в которых последовательно набирают пациентов с подозрением на клиническую активность в репрезентативных клинических условиях [7]. Однако, учитывая, что план фазы IV обеспечивает наиболее реалистичную оценку эффективности теста при использовании в качестве диагностического инструмента в целевой популяции [6], мы можем захотеть уменьшить влияние этих предшествующих фаз, используя предыдущий, который является более расплывчатые, чем фактические результаты предыдущего метаанализа.В модели скрытых классов Model 4 мы можем использовать информативные априорные значения для диагностической точности эталонного теста. Вероятно, что имеется некоторая информация о точности эталонных тестов. Фактически, стандартный анализ предполагает, что S и C эталонного теста составляют 100%, что можно рассматривать как очень строго детерминированный априор с байесовской точки зрения [26]. Приоритеты точности эталонного теста можно получить из литературы или заключения экспертов [10].

Имитационное исследование

Чтобы оценить эффективность различных моделей и выявить возможную предвзятость объединения данных без надлежащего контроля для конкретного эффекта исследования или корректировки для использования несовершенных эталонных стандартов, мы провели имитационное исследование с использованием двух различных сценариев. Для каждого сценария мы создали 250 наборов из 20 диагностических исследований. Мы проанализировали каждый набор смоделированных данных, используя модели, описанные выше, с использованием логита для функции связи g (.). Мы оценили модели, используя вероятности охвата (доля повторений, в которых 95% доверительный интервал содержал истинное значение) и мощность (доля повторений, в которых разница в S и C между двумя представляющими интерес тестами была обнаружен). В сценарии 1 мы смоделировали обстановку без систематической ошибки, но в которой общий несовершенный эталонный тест используется для оценки диагностической точности индексных тестов во всех первичных исследованиях. В сценарии 2 мы смоделировали ситуацию с двумя индексными тестами, которые оцениваются в первичных исследованиях, которые, как правило, используют разные эталонные стандарты.Эта ситуация может редко встречаться на практике, но была выбрана для оценки того, как модель работает в экстремальной ситуации с систематической погрешностью из-за несовершенных эталонных тестов. Полное описание модели исследования находится в дополнительном файле 3.

Пример реальных данных

Мы применили модели к данным, полученным в метаанализе быстрых диагностических тестов для висцерального лейшманиоза, который мы описали ранее [10, 27] . В опубликованном метаанализе основное внимание уделялось оценке диагностической точности отдельных тестов.Мы извлекли данные, относящиеся к сравнению одного экспресс-теста, индикаторной полоски RK39, с тестом прямой агглютинации (DAT) в качестве тестового примера для применения методов, разработанных в данной статье. Мы ограничили данные для этого тестового случая первичными исследованиями, которые включали индикаторную полоску RK39 или DAT, по крайней мере, с одним другим индексным тестом и микроскопическим исследованием в качестве эталонного теста, полные данные для которого были доступны в опубликованном первичном исследовании. Мы выбрали все индексные тесты, которые использовались более чем в одном исследовании.Всего мы включили 10 первичных исследований, четыре индексных теста (DAT, RK39-индикаторная полоска, IFAT, KAtex) и два контрольных теста (паразитология, включая аспират селезенки, паразитология, не включая аспират селезенки) (Таблица 3). Все тесты специфичны для VL и, следовательно, можно ожидать, что они будут связаны с одной и той же скрытой переменной. Данные показаны на Рис. 1 и в Приложении 4. Обратите внимание, что текущее исследование используется как «доказательство концепции» метода статистического моделирования, а не как полное метааналитическое сравнение двух тестов, которое потребует более подробных исследований. расширенная стратегия поиска.

Лесной график на примере реальных данных. Расчетная чувствительность и специфичность тест-полоски RK39 (белые кружки) и DAT (темные квадраты) с 95% доверительным интервалом, с использованием паразитологии в качестве золотого стандарта

Целью этого моделирования было оценить различия в S и C между RK39-щупом и DAT. Предыдущий метаанализ показал, что диагностическая точность RK39 и, возможно, также DAT, может быть ниже в Восточной Африке по сравнению с другими географическими регионами [28].Чтобы исправить эти различия, мы включили фиксированный эффект региона (Восточная Африка по сравнению с остальным миром) для S . Мы подобрали пять моделей, перечисленных в таблице 2. В предыдущем исследовании [10] мы получили экспертное мнение о диагностической точности двух эталонных тестов. Мнение экспертов относительно диагностической точности паразитологии, включая аспират селезенки, варьировалось от 88 до 95% для S и от 95 до 100% для C . Что касается паразитологии без аспирата селезенки, мнение экспертов варьировалось для S от 70 до 80% и от 95 до 100% для C .Мы использовали эту информацию для определения априорных значений при оценке моделей с учетом несовершенных эталонных стандартов.

Сравнение двух методов обнаружения систематической ошибки публикации в метаанализе | Медицинские журналы и публикации | JAMA

Контекст Регрессионный тест Эггера часто используется для выявления предвзятости публикации в метаанализах. Однако эффективность этого теста и обычного воронкообразного графика подвергается сомнению, особенно когда итоговая оценка представляет собой натуральный логарифм отношения шансов (lnOR).

Цель Сравнить эффективность регрессионного теста Эггера с регрессионным тестом на основе размера выборки (модификация теста Макаскилла) с lnOR в качестве итоговой оценки.

Дизайн Моделирование метаанализов по ряду сценариев при наличии и отсутствии систематической ошибки публикации и неоднородности между исследованиями.

Основные показатели результатов Частота ошибок типа I (доля ложноположительных результатов) для каждого регрессионного теста и их способность обнаруживать предвзятость публикации, если она присутствует (доля истинно-положительных результатов).

Результаты Частота ошибок типа I для регрессионного теста Эггера выше, чем для альтернативного регрессионного теста. Альтернативный регрессионный тест имеет соответствующую частоту ошибок типа I независимо от размера базовой OR, количества первичных исследований в метаанализе и уровня неоднородности между исследованиями. Альтернативный регрессионный тест имеет сопоставимую мощность с регрессионным тестом Эггера для выявления систематической ошибки публикации в условиях низкой гетерогенности между исследованиями.

Заключение Из-за соответствующей частоты ошибок типа I и уменьшения корреляции между lnOR и его дисперсией, альтернативный регрессионный тест может использоваться вместо регрессионного теста Эггера, когда итоговые оценки являются lnOR.

Систематические обзоры и метаанализы обычно используются для выявления и оценки данных о вмешательствах или воздействиях на здоровье человека. Даже при тщательном проведении систематические обзоры и метаанализы могут быть предметом предвзятости публикации — исследования с меньшей вероятностью будут опубликованы, следовательно, менее вероятно, что они будут включены в систематический обзор или метаанализ из-за размера и / или статистической значимости их оценка эффекта. ¹ Если возникает предвзятость публикации, последующий систематический обзор или метаанализ опубликованной литературы может ввести в заблуждение.

Из доступных исследователям методов обнаружения систематической ошибки публикации одним из самых простых является построение воронкообразных. ² Это диаграмма разброса оценки эффекта каждого исследования в метаанализе по сравнению с показателем его точности, обычно 1 / SE (рис. 1A). При отсутствии систематической ошибки график должен напоминать «форму воронки», так как небольшие и менее точные исследования более подвержены случайным изменениям, чем более крупные исследования при оценке эффекта.При наличии предвзятости публикации некоторые более мелкие исследования, сообщающие об отрицательных результатах, будут отсутствовать, что приведет к асимметричному графику воронки. Конечно, предвзятость публикации — не единственное возможное объяснение наблюдаемой (или проверенной) асимметрии графика воронки. ³ Гетерогенность между исследованиями и эффекты небольших исследований (тенденция для небольших исследований показывать больший эффект, чем для более крупных исследований) также являются возможными объяснениями. ³ Однако, когда итоговые оценки исследования представляют собой отношения шансов (OR), существует корреляция между натуральным логарифмом OR (lnOR) и его SE, поскольку дисперсия является функцией lnOR. ⁴ Эта корреляция тем сильнее, чем дальше расчетное OR от единицы.

Таким образом, некоторая асимметрия, наблюдаемая на графике воронки, может быть связана с этой корреляцией, а не с ошибкой публикации. Эффекта этой корреляции можно избежать, построив график оценки размера эффекта в зависимости от размера выборки, а не точности. В метаанализе, представленном на Рисунке 1A, используются данные, смоделированные на основе модели без предвзятости публикации. Тем не менее, похоже, что некоторые небольшие отрицательные исследования могут отсутствовать в нижнем левом углу, что может быть истолковано как указание на предвзятость публикации.Когда эти данные отображаются в зависимости от размера выборки (рис. 1B), график воронки выглядит более симметричным. Хотя рис. 1A и рис. 1B не сильно отличаются, поскольку изменилась только ось Y, влияние на регрессионный тест Эггера может быть весьма значительным, особенно если лежащее в основе OR далеко от нуля.

Статистические тесты были разработаны для обеспечения более формальной оценки систематической ошибки публикации, чем проверка графиков воронки. Регрессионный тест Эггера ⁵ широко используется (например, по состоянию на 11 января 2006 г. Web of Knowledge ⁶ включал 819 статей, цитирующих эту статью), реализован в ряде программных пакетов, ^{7 -10} и стала стандартной процедурой (например, из 43 метаанализов, опубликованных в JAMA с 1997 г., в которых была сделана оценка систематической ошибки публикации, 13 сообщили с использованием регрессионного теста Эггера).Поскольку он основан непосредственно на графике воронки, где стандартизованная оценка эффекта (эффект / SE ) регрессируется по показателю точности ( 1 / SE ), регрессионный тест Эггера также подвержен эффектам корреляции, когда с использованием ИЛИ.

Фактически, регрессионный тест Эггера подвергся сомнению из-за его высокого уровня ошибок типа I (доли ложноположительных результатов) при использовании OR, ^{3 , 11 , 12} вероятный симптом этой корреляции.Поскольку почти одна треть из статей JAMA , рассмотренных выше, использовала регрессионный тест Эггера, когда сводные оценки были OR, это требует исследования. Используя симуляционный анализ, мы подтверждаем, что регрессионный тест Эггера действительно не подходит для OR, особенно когда OR большие и существует значительная неоднородность между исследованиями. ^{3 , 4,11} Мы описываем простую альтернативу (модифицированная версия теста Макаскилла, ⁴ , которая мало используется на практике) для обнаружения асимметрии графика воронки, которая позволяет избежать этой корреляции.

Мы оценили эффективность 8 регрессионных тестов на асимметрию воронкообразного графика, включая регрессионный тест Эггера, с использованием методов моделирования. Тесты ¹³ различаются по используемой независимой переменной, используемому весу и включению случайных эффектов. В этой статье мы сравниваем производительность регрессионного теста Эггера и теста, у которого были обнаружены наиболее желательные свойства, по сравнению с остальными регрессионными тестами (результаты для всех тестов можно найти в Peters et al. ¹³ ).Также разрабатываются другие модифицированные тесты. ¹⁴

Характеристики смоделированных метаанализов были основаны на систематическом обзоре метаанализов экспериментов на животных, ¹⁵ , но полученные данные можно применять в целом. Были смоделированы мета-анализы 6, 16, 30 и 90 первичных исследований с исходными OR 1, 1,2, 1,5, 3 и 5. Частота событий контрольной группы могла варьироваться для каждого первичного исследования. Он был выбран из равномерного распределения с нижним и верхним пределами 0.3 и 0,7 соответственно, что является довольно частым событием в контрольной группе. Частота событий в группе лечения рассчитывалась исходя из этого и предполагаемого основного шанса. Количество субъектов в контрольной группе в каждом исследовании было основано на экспоненте нормального распределения со средним значением 5 и дисперсией 0,3. Соотношение контрольных и подвергнутых лечению / облучению субъектов составляло 1. Средний размер выборки составлял около 300 в каждом моделированном метаанализе. Для моделирования метаанализа использовались модели с фиксированными и случайными эффектами.Поскольку неоднородность между исследованиями часто обнаруживается в метаанализах, ^{16 , 17} понимание эффективности тестов на предвзятость публикации в таких ситуациях имеет важное значение на практике. Параметр неоднородности между исследованиями рассчитывался как процент от средней оценки дисперсии внутри исследования. На основе модели фиксированных эффектов была рассчитана средняя дисперсия внутри исследования, а затем была определена неоднородность между исследованиями как 20%, 150% и 500% от оценки дисперсии в рамках исследования.Это отражает сценарии, варьирующиеся от умеренной до значительной неоднородности между исследованиями. Эти уровни неоднородности между исследованиями соответствуют значениям I ² , проценту общей вариации между исследованиями, которая обусловлена ​​гетерогенностью, а не случайностью, ¹⁸ из 16,7%, 60% и 83,3% соответственно.

Эффективность регрессионных тестов оценивалась при отсутствии и наличии индуцированной асимметрии графика воронки. Асимметрия вызывалась двумя способами. Во-первых, это было вызвано на основе значения P , связанного с размером эффекта исследования ^{4 , 19 , 20} (чем больше значение P , тем больше вероятность того, что исследование было исключено из мета-анализа. анализ).Поскольку оценка исследования с большей вероятностью будет статистически значимой, когда лежащее в основе OR большое, на самом деле создается небольшая систематическая ошибка публикации для более крупных исходных OR. Таким образом, систематическая ошибка публикации также была вызвана размером эффекта исследования. ²¹ Исследования с наиболее сильными отрицательными эффектами были исключены из метаанализа. Результаты основаны на 1000 повторениях. Максимальный SE оценок для частоты ошибок типа I и мощности при моделировании составляет 1,7%. Все моделирование и анализ проводились в Stata 8.2. ⁷ Для простоты представления на рисунках представлены только результаты для базовых OR 1, 1,5 и 5 (результаты для базовых OR 1,2 и 3 следуют той же общей тенденции ¹³ ).

Идеальный тест имеет желаемую частоту ошибок типа I (например, 10%, когда статистическая значимость определена из двустороннего теста при P <.10, как это рекомендуется для этих тестов ⁵ ) и хорошую способность обнаруживать асимметрия, когда она существует.На рис. 2 регрессионный тест Эггера превышает соответствующий коэффициент ошибок типа I в 10% для больших основных OR. По мере того как степень неоднородности между исследованиями и количество первичных исследований увеличивается, частота ошибок типа I также увеличивается, даже для умеренных OR (т. Е. OR = 1,5). Мы также наблюдали дисбаланс в областях вероятности хвоста для двустороннего теста Эггера, ¹³ , как было продемонстрировано ранее. ^{4 , 11}

При наличии асимметрии воронкообразного графика регрессионный тест Эггера кажется достаточно эффективным для обнаружения этой асимметрии (рис. 3), особенно по мере того, как увеличиваются лежащая в основе OR и количество исследований в метаанализе.

Однако при оценке практического использования теста мощность должна рассматриваться в свете частоты ошибок типа I (чтобы ложноположительные результаты не принимались за истинно-положительные). Этот компромисс между мощностью и частотой ошибок типа I аналогичен компромиссу между чувствительностью и специфичностью диагностического теста. Наши и другие выводы ^{3 , 4,11} приводят нас к серьезным опасениям по поводу практического использования теста Эггера для выявления асимметрии воронкообразного графика для lnOR.

Из 7 дополнительно оцененных регрессионных моделей одна модель выделяется тем, что по своим характеристикам превосходит все остальные, включая регрессионный тест Эггера. ¹³ Теперь обсуждаются эта модель и результаты ее моделирования.

Альтернатива регрессионному тесту Эггера

Вместо регрессионного теста Эггера мы рекомендуем простую взвешенную линейную регрессию с lnOR в качестве зависимой переменной и обратной величиной общего размера выборки в качестве независимой переменной.Это небольшая модификация теста Макаскилла, ⁴ с инверсией общего размера выборки в качестве независимой переменной, а не общего размера выборки. Наши результаты показывают, что использование обратной величины общего размера выборки дает более сбалансированные коэффициенты ошибок типа I в областях вероятности хвоста, чем там, где нет преобразования размера выборки. ¹³ Использование размера выборки снижает корреляцию между lnOR и его SE. ^{4 , 13} Он также позволяет избежать нарушения предположения о моделях регрессии, которого не избегает регрессионный тест Эггера, поскольку независимая переменная SE подвержена случайной ошибке (так что на регрессионный тест Эггера влияет смещение регрессионного разбавления ).

Взвешивание, присвоенное каждому исследованию с помощью альтернативного регрессионного теста, основано на предположении, что нулевая гипотеза верна, т. Е. Базовое ИЛИ = 1. Выбор этого взвешивания помогает уменьшить корреляцию между lnOR и весом, присвоенным каждому из них. исследования, когда используется стандартное взвешивание с обратной дисперсией. Таким образом, достигаются соответствующие уровни ошибок типа I и баланс вероятностей хвоста.

Дальнейшее объяснение последствий этого выбора взвешивания можно найти в Macaskill et al. ⁴ , а подробности взвешивания, присвоенного каждому исследованию, приведены в Peters et al. ¹³ Рисунок 2 показывает, что частота ошибок типа I для этого альтернативного регрессионного теста составляет примерно 10%, как и ожидалось, независимо от размера базовой OR, количества исследований в метаанализе и количества промежуточных результатов. неоднородность исследования, в отличие от регрессионного теста Эггера (рис. 2).

Когда неоднородность между исследованиями небольшая, альтернативный регрессионный тест и регрессионный тест Эггера, по-видимому, обладают умеренной мощностью для обнаружения асимметрии, когда она индуцируется на основе значения P (Рисунок 3), и высокой мощностью, когда асимметрия индуцируется на величина эффекта (данные не показаны).

Когда наблюдается значительная неоднородность (рис. 3), регрессионный тест Эггера более эффективен, чем альтернативный регрессионный тест, однако, как уже говорилось, трудно отделить высокую частоту ошибок типа I регрессионного теста Эггера от мощности.

Ни регрессионный тест Эггера, ни альтернативный регрессионный тест не эффективны во всех сценариях. Однако необходим тест, который может быть не оптимальным, но хорошо работает во всех ситуациях.Таким образом, хотя альтернативный регрессионный тест не более эффективен, чем регрессионный тест Эггера, мы рекомендуем регулярно использовать альтернативный тест, а не регрессионный тест Эггера, потому что он уменьшает корреляцию между lnOR и его SE ⁴ за счет выбора взвешивания и имеет соответствующий коэффициент ошибок типа I. Альтернативный регрессионный тест можно легко запустить в любом программном пакете, позволяющем использовать взвешенную линейную регрессию. (Подробности реализации этого теста в Stata ⁷ можно получить у авторов.Фактически, применение этого теста к метаанализу, показанному на рисунке 1, дает несущественный результат ( P = 0,18), как и следовало ожидать, поскольку данные были смоделированы без предвзятости публикации; Регрессионный тест Эггера дает P = 0,07.

Альтернативный регрессионный тест аналогичен графику воронки, основанному на размере выборки. Таким образом, хотя и вопреки рекомендациям Стерн и Эггер ²³ по выбору оси графика воронки, мы рекомендуем использовать размер выборки ¹³ для lnOR.

Мы также оценили использование теста перестановки для получения значения P для каждого теста. Тест на перестановку рекомендуется использовать в мета-регрессии, чтобы иметь дело с завышенной частотой ошибок типа I. ²⁴ Предварительные результаты не обязательно предполагают лучшую производительность тестов, основанных на значениях P из теста перестановки, по сравнению с обычным тестом t . ¹³ Продолжается работа по расширению и эффективности этих регрессионных тестов, когда некоторая неоднородность между исследованиями может быть объяснена ковариатой на уровне исследования.

Наши результаты, как и некоторые другие, ^{3 , 4} касаются только синтеза OR. Результаты исследования регрессионного теста Эггера с использованием относительных рисков (ОР) предполагают аналогичный результат: чрезмерное количество ошибок типа I. ¹¹ Хотя требуется дополнительная работа по выполнению обоих тестов, когда суммарная оценка не является OR, вполне вероятно, что другие относительные суммарные оценки (например, ОР и различия рисков) будут подвергаться эффектам, аналогичным корреляции, описанной выше. для OR, таким образом предполагая, что регрессионный тест Эггера может не подходить.Мы не рассматривали метаанализ редких событий. Имеющиеся данные свидетельствуют о том, что частота ошибок типа I для регрессионного теста Эггера особенно высока в этих ситуациях, ^{3 , 11} , но эффективность альтернативного регрессионного теста требует изучения.

Простое тестирование на наличие асимметрии не помогает получить объективную оценку на основе метаанализа, особенно из-за чрезмерного доверия к этим тестам (например, несущественное значение P рассматривается как свидетельство того, что предвзятость публикации не является проблемой) .Наш обзор 43 метаанализов, опубликованных в JAMA с 1997 года, показал, что при подозрении на систематическую ошибку публикации используется ряд подходов (как в 11 из 43 метаанализов). К ним относятся признание возможной предвзятости публикации, но без указания подробностей о степени или влиянии такой предвзятости; обсуждение возможных последствий предполагаемой предвзятости публикации и рекомендации с осторожностью при интерпретации объединенной оценки; и объяснение противоречивых выводов возможным существованием предвзятости публикации.Другие возможные подходы включают метод отсечения и заполнения ²⁵ и подход синтеза наилучших доказательств. ^{26 , 27} Ни один из этих подходов не подходит; пока разрабатываются более эффективные методы выявления и устранения предвзятости публикации, мы рекомендуем авторам делать свои выводы осторожно, учитывая возможность чувствительности к публикации и связанные с ней предубеждения.

Автор для корреспонденции: Хайме Петерс, магистр, Центр биостатистики и генетической эпидемиологии, Департамент медицинских наук, Университет Лестера, 22-28 Princess Rd W, Лестер, LE1 6TP, Англия (jlp9 @ leicester.ac.uk).

Вклад авторов: Г-жа Петерс имела полный доступ ко всем данным в исследовании и берет на себя ответственность за целостность данных и точность анализа данных.

Концепция и дизайн исследования : Питерс, Саттон, Джонс, Абрамс, Раштон.

Анализ и интерпретация данных : Питерс, Саттон, Джонс, Абрамс, Раштон.

Составление рукописи : Питерс, Саттон, Джонс, Абрамс, Раштон.

Критический пересмотр рукописи для важного интеллектуального содержания : Питерс, Саттон, Джонс, Абрамс, Раштон.

Статистический анализ : Питерс, Саттон, Джонс, Абрамс, Раштон.

Получено финансирование : Питерс, Саттон, Джонс, Абрамс, Раштон.

Административная, техническая или материальная поддержка : Питерс, Саттон, Джонс, Абрамс, Раштон.

Кураторство : Саттон.

Раскрытие финансовой информации: Не сообщалось.

Финансирование / поддержка: Г-жа Питерс финансируется за счет премии Министерства здравоохранения Великобритании за синтез данных.

Роль спонсора: Источник финансирования не играл никакой роли ни в каком аспекте исследования.

Благодарность: Мы рады поблагодарить Петру Макаскилл, доктор философии (Школа общественного здравоохранения, Сидней, Австралия), за ее комментарии к предыдущему проекту и предложения по его улучшению. Доктор Макаскилл не получил никакой компенсации.

Саттон А.Дж., Абрамс К.Р., Джонс Д.Р., Шелдон Т.А., Сонг Ф. Методы метаанализа в медицинских исследованиях. Чичестер, Англия: Уайли; 2000

Статистическое программное обеспечение Stata, выпуск 8.2 . Колледж-Стейшн, Техас: Stata Corp: 2004

Розенберг М.С., Адамс Д.К., Гуревич Дж. Метавин: Статистическое программное обеспечение для мета-анализа: версия 2.0. Сандерленд, Массачусетс: Ассоциация Синауэров; 1999

Google Scholar 13.

Петерс Дж. Л., Саттон А. Дж., Джонс Д. Р., Абрамс К. Р., Раштон Л. Проведение тестов и корректировок смещения публикации при наличии неоднородности: Технический отчет 05-01. Лестер, Англия: Департамент медицинских наук, Лестерский университет: 2005

Питерс Дж. Л., Саттон А. Дж., Джонс Д. Р., Раштон Л., Абрамс К. А.. Обзор использования методов систематического обзора и мета-анализа для оценки токсикологических исследований животных: технический отчет 04-02 . Лестер, Англия: Департамент медицинских наук, Университет Лестера: 2004

мета позволяет увеличивать масштаб | Инициатива веб-доступности (WAI)

Тип правила:

атомный

Идентификатор правила:

b4f0c3

Последнее изменение:

1 окт.2020 г.

Сопоставление требований доступности:

1.4.4 Изменить размер текста (уровень AA)

• Требуется для соответствия WCAG 2.0 и выше на уровне AA и выше
• Карта результатов:
  • Любые неудачных результатов исходов: критерий успеха не соблюден
  • Все прошли результатов: критерий успеха требует дальнейшего тестирования
  • Неприменимый результат : критерий успеха требует дальнейшего тестирования

1.4.10 Оплавление (уровень AA)

• Требуется для соответствия WCAG 2.1 на уровне AA и выше
• Карта результатов:
  • Любые неудачных результатов исходов: критерий успеха не соблюден
  • Все прошли результатов: критерий успеха требует дальнейшего тестирования
  • Неприменимый результат : критерий успеха требует дальнейшего тестирования

Входные аспекты:

Дерево DOM

Описание

Это правило проверяет, что мета-элемент сохраняет способность пользовательского агента изменять масштаб.

Применимость

Правило применяется к каждому мета-элементу с атрибутом name , значение которого является нечувствительным к регистру совпадением для окна просмотра и имеет атрибут содержимого .

Ожидание

Для каждой тестовой цели атрибут содержимого , значение которого сопоставлено со списком пар свойство / значение в зависимости от пользовательского агента, не:

• укажите свойство , масштабируемое пользователем со значением № ; ни
• задает свойство максимальный масштаб со значением меньше 2.

Допущения

Если какое-либо из следующих условий неверно, это правило может не работать, в то время как критерии успеха 1.4.4 Изменение размера текста и 1.4.10 Reflow могут быть выполнены:

• На странице есть видимое содержимое.
• Нет другого доступного механизма для изменения размера текстового содержимого.
• По умолчанию содержимое не отображается таким образом, чтобы умещаться в области 320 на 256 пикселей CSS, и для этого необходимо переформатировать.

Поддержка специальных возможностей

Настольные браузеры игнорируют элемент мета окна просмотра , а большинство современных мобильных браузеров либо игнорируют его по умолчанию, либо имеют опцию доступности, которая позволяет масштабировать.Это правило не актуально ни для настольных браузеров, ни для большинства современных мобильных браузеров. Только пользователи со старыми мобильными браузерами могут столкнуться с проблемами, проверенными этим правилом.

Фон

Тестовые наборы

Прошло

Пройден Пример 1

Этот мета-элемент окна просмотра не препятствует пользовательскому масштабированию, потому что он не указывает значения максимального масштаба и , масштабируемые пользователем.

  






Lorem ipsum
 

  

Пройден Пример 2

Этот мета-элемент окна просмотра не препятствует масштабированию пользователем, поскольку для него настраиваемый пользователем установлен на да .

  






Lorem ipsum



  

Пройдено Пример 3

Этот мета-элемент области просмотра позволяет пользователям масштабировать контент до 600%, поскольку для него максимальный масштаб установлен на 6.0.

  






Lorem ipsum



  

Пройдено Пример 4

Этот мета-элемент окна просмотра не препятствует пользовательскому масштабированию, потому что он не указывает значения максимального масштаба и , масштабируемые пользователем.

  






Lorem ipsum



  

Пройден Пример 5

Этот мета-элемент окна просмотра не препятствует пользовательскому масштабированию, поскольку для него максимальный масштаб установлен на -1, что приводит к удалению этого значения.

  






Lorem ipsum



  

Ошибка

Неудачный пример 1

Этот мета-элемент области просмотра предотвращает масштабирование пользователем, поскольку для него настраиваемый пользователем установлен на no .

  






Lorem ipsum



  

Неудачный пример 2

Этот мета-элемент окна просмотра не позволяет пользователям масштабировать контент до 200%, поскольку для него максимальный масштаб установлен на 1.5.

  






Lorem ipsum



  

Неудачный пример 3

Этот мета-элемент окна просмотра не позволяет пользователям масштабировать контент до 200%, поскольку для него максимальный масштаб установлен на 1.0.

  






Lorem ipsum



  

Неудачный пример 4

Этот мета-элемент области просмотра не позволяет пользователям масштабировать контент до 200%, поскольку для него максимальный масштаб установлен на да , что переводится в 1.0.

  






Lorem ipsum



  

неприменимо

Неприменимый пример 1

Отсутствует элемент мета окна просмотра .

  






Lorem ipsum



  

Неприменимый пример 2

Этот мета-элемент области просмотра не имеет атрибута содержимого .

  






Lorem ipsum



  

Глоссарий

Результат

Результат - это вывод, который следует из оценки правила ACT на испытуемом или одной из составляющих его целей теста.Результат может быть одного из трех следующих типов:

• Неприменимо: Ни одна часть испытуемого не соответствует применимости
• Пройдено: Испытательная цель соответствует всем ожиданиям
• Не удалось: Тестовая цель не соответствует всем ожиданиям

Примечание: Правило имеет один результат пройден или не пройден результат для каждой тестовой цели. Когда нет тестовых целей, правило имеет один неприменимый результат .Это означает, что у каждого испытуемого будет один или несколько результатов.

Примечание. Реализации, использующие схему EARL10, могут выразить результат с помощью свойства результата. В дополнение к пройдено, , не выполнено, и неприменимо , EARL 1.0 также определил неполный результат . Хотя это не может быть результатом применения правила ACT в целом, часто бывает, что правила оцениваются только частично. Например, когда применимость была автоматизирована, но ожидания приходилось оценивать вручную.Такие «промежуточные» результаты можно выразить с помощью неполного результата .

видимый

Контент, воспринимаемый зрением.

Контент считается видимым , если его полная прозрачность приведет к разнице в пикселях, отображаемых для любой части документа, которая в данный момент находится в области просмотра или может быть перенесена в область просмотра с помощью прокрутки.

Контент определяется в WCAG.

Подробнее см. Примеры видимых.

Благодарности

Это правило было написано в группе сообщества ACT Rules, при поддержке проекта WAI-Tools, финансируемого ЕС.

Авторы

История изменений

Это первая версия этого правила ACT.

Помогите улучшить эту страницу

Поделитесь своими идеями, предложениями или комментариями по электронной почте в общедоступный список [email protected] или через GitHub.

границ | Метааналитическая методология фундаментальных исследований: Практическое руководство

Введение

Доказательная медицинская практика направлена ​​на объединение лучших научных данных с клиническими знаниями и опытом пациентов.Систематические обзоры и метаанализы являются важными инструментами для обобщения доказательств, необходимых для принятия клинических решений и разработки политики. Систематические обзоры обобщают доступную литературу с использованием конкретных параметров поиска, за которыми следует критическая оценка и логический синтез нескольких первичных исследований (Gopalakrishnan and Ganeshkumar, 2013). Метаанализ относится к статистическому анализу данных независимых первичных исследований, посвященных одному и тому же вопросу, который направлен на получение количественной оценки изучаемого явления, например, эффективности вмешательства (Gopalakrishnan and Ganeshkumar, 2013).В клинических исследованиях систематические обзоры и метаанализы являются важной частью доказательной медицины. Однако в фундаментальной науке попытки оценить предшествующую литературу столь строгим и количественным образом редки, и повествовательные обзоры преобладают. Цель этой рукописи - предоставить краткую теоретическую основу, вычислительные ресурсы и схему рабочего процесса для выполнения систематического или быстрого обзора с последующим метаанализом фундаментальных исследований.

Мета-анализ может быть сложной задачей, требующей утомительного анализа и статистического понимания.Доступно несколько руководств, в которых описывается, как проводить метаанализ в клинических исследованиях (Хиггинс и Грин, 2011). Пакеты программного обеспечения, поддерживающие клинический мета-анализ, включают плагины Excel MetaXL (Barendregt and Doi, 2009) и Mix 2.0 (Bax, 2016), Revman (Cochrane Collaboration, 2011), программное обеспечение для комплексного мета-анализа [CMA (Borenstein et al., 2005). )], JASP (команда JASP, 2018) и библиотека MetaFOR для R (Viechtbauer, 2010). Хотя эти пакеты могут быть адаптированы к проектам в области фундаментальной науки, могут возникнуть трудности из-за специфических особенностей фундаментальных научных исследований, таких как большие и сложные наборы данных и неоднородность экспериментальной методологии.Чтобы устранить эти ограничения, мы разработали программный пакет, предназначенный для облегчения метаанализа фундаментальных исследований, MetaLab в MATLAB R2016b, с интуитивно понятным графическим интерфейсом, который позволяет пользователям с ограниченным опытом в области статистики и программирования приступить к метааналитическому проекту. Мы организовали MetaLab в шесть модулей (рисунок 1), каждый из которых был посвящен различным этапам метааналитического процесса, включая извлечение графических данных, оценку параметров модели, количественную оценку и исследование неоднородности, синтез данных и мета-регрессию.

Рисунок 1 . Общая структура MetaLab . Модуль Data Extraction помогает с графическим извлечением данных из фигур исследований. Подгонка модели Модуль применяет метод распространения ошибок Монте-Карло, чтобы подогнать сложные наборы данных к интересующей модели. Перед дальнейшим анализом рецензенты имеют возможность вручную обработать и консолидировать данные из всех источников. Prepare Data Модуль импортирует наборы данных из электронной таблицы в MATLAB в стандартизированном формате. Неоднородность, Мета-анализ и Мета-регрессия Модули облегчают метааналитический синтез данных.

В данной рукописи мы описываем каждый этап метааналитического процесса с акцентом на конкретные соображения, сделанные при проведении обзора фундаментальных исследований. Полный рабочий процесс оценки параметров с использованием MetaLab продемонстрирован для оценки внутриклеточного содержания АТФ в остеобластах (набор данных OB [ATP] _ic ) на основе быстрого обзора литературы.Кроме того, особенности, относящиеся к более крупным наборам данных, исследуются с помощью кинетики высвобождения АТФ из механически стимулированных клеток млекопитающих (набор данных по высвобождению АТФ), полученной в результате систематического обзора в нашей предыдущей работе (Mikolajewicz et al., 2018).

MetaLab находится в свободном доступе в репозитории Git (https://github.com/NMikolajewicz/MetaLab), а подробная документация по использованию MetaLab вместе с рабочим примером доступна во вспомогательных материалах.

Достоверность доказательств в фундаментальных науках

Чтобы оценить трансляционный потенциал фундаментальных исследований, сначала необходимо оценить достоверность доказательств, обычно путем изучения подхода, принятого для сбора и оценки данных.Исследования в области фундаментальных наук в общих чертах подразделяются на исследования, основанные на гипотезах и основанные на гипотезах. Первые, как правило, представляют собой экспериментальные исследования, основанные на небольшой выборке, и, как правило, являются исследовательскими и менее достоверными, чем вторые. Можно даже утверждать, что исследования, в которых сообщается о новых открытиях, также попадают в эту группу, поскольку их результаты остаются предметом внешней проверки, прежде чем они будут приняты более широким научным сообществом. В качестве альтернативы исследования, основанные на гипотезах, основываются на том, что известно или настоятельно рекомендуется в более ранних работах.Эти исследования могут также подтвердить предыдущие экспериментальные результаты с дополнительными вкладами. Хотя такие исследования часто упускаются из виду и даже игнорируются из-за отсутствия существенной новизны, их роль во внешней проверке предшествующей работы имеет решающее значение для определения трансляционного потенциала результатов.

Еще одним аспектом достоверности доказательств в фундаментальных науках является выбор экспериментальной модели. Состояние человека практически невозможно воспроизвести в лабораторных условиях, поэтому экспериментальные модели (например,g., клеточные линии, первичные клетки, животные модели) используются для имитации интересующего явления, хотя и несовершенно. По этим причинам наилучшее качество доказательств дает оценка эффективности нескольких независимых экспериментальных моделей. Это достигается с помощью систематических подходов, которые объединяют данные нескольких исследований, тем самым отфильтровывая сигнал от шума и обеспечивая параллельное сравнение. В то время как систематические обзоры могут проводиться для выполнения качественного сравнения, метааналитические подходы используют статистические методы, которые позволяют генерировать и проверять гипотезы.Когда метаанализ в фундаментальных науках основан на гипотезах, его можно использовать для оценки трансляционного потенциала данного результата и предоставления рекомендаций для последующих трансляционных и клинических исследований. В качестве альтернативы, если метааналитическая проверка гипотез не дает результатов или проводится исследовательский анализ для изучения источников несоответствия между исследованиями, могут быть созданы новые гипотезы, которые впоследствии будут проверены экспериментально. На рисунке 2 представлена ​​эта предлагаемая структура.

Рисунок 2 .Схема предлагаемой иерархии трансляционного потенциала в фундаментальных исследованиях.

Шаги в количественном обзоре литературы

Все метааналитические усилия предписывают аналогичный рабочий процесс, обозначенный следующим образом:

1) Сформулируйте вопрос исследования

• Определите основные и второстепенные цели

• Определите широту вопроса

2) Укажите соответствующую литературу

• Построение стратегии поиска: быстрый или систематический поиск

• Проверка и определение права на участие

3) Извлечение и объединение данных на уровне исследования

• Извлечь данные из соответствующих исследований

• Соберите соответствующие характеристики уровня исследования и экспериментальные ковариаты

• Оценить качество обучения

• Оценка параметров модели для сложных взаимосвязей (необязательно)

4) Оценка и подготовка данных

• Вычислить соответствующий показатель результата

• Оценить степень несогласованности (неоднородности) между исследованиями

• Выполнять соответствующие преобразования данных

• Выберите метааналитическую модель

5) Синтезировать данные на уровне исследования в сводный показатель

• Данные пула и вычисление сводной меры и доверительного интервала

6) Разведочные анализы

• Изучите потенциальные источники неоднородности (напр.биологический или экспериментальный)

• Анализ подгрупп и мета-регрессия

7) Обобщение знаний

• Интерпретировать выводы

• Дайте рекомендации для будущей работы

Методология мета-анализа

Стратегии поиска и выбора

Первый этап любого обзора включает формулировку основной цели в форме исследовательского вопроса или гипотезы. Рецензенты должны четко определить цель обзора до начала проекта, что служит для снижения риска углубления данных, когда рецензенты позже придают значение значимым выводам.Также могут быть определены вторичные цели; однако следует соблюдать осторожность, поскольку стратегии поиска, сформулированные для основной цели, могут не полностью охватывать объем работы, необходимой для решения второстепенной цели. В зависимости от цели обзора рецензенты могут выбрать проведение быстрой или систематической проверки. В то время как метааналитическая методология аналогична для систематических и быстрых обзоров, объем оцениваемой литературы имеет тенденцию быть значительно более узким для быстрых обзоров, позволяющих проекту продвигаться быстрее.

Систематический обзор и метаанализ

Систематические обзоры включают комплексные стратегии поиска, которые позволяют рецензентам идентифицировать все соответствующие исследования по определенной теме (DeLuca et al., 2008). Затем метааналитические методы позволяют рецензентам количественно оценивать и синтезировать результаты исследований для получения информации о статистической значимости и релевантности. Систематические обзоры данных фундаментальных исследований могут создавать богатые информацией базы данных, которые позволяют проводить обширный вторичный анализ.Чтобы всесторонне изучить пул доступной информации, критерии поиска должны быть достаточно чувствительными, чтобы не пропустить соответствующие исследования. Ключевые термины и концепции, которые выражаются как синонимичные ключевые слова и термины индекса, такие как медицинские предметные заголовки (MeSH), должны быть объединены с помощью логических операторов AND, OR и NOT (Ecker and Skelly, 2010). Усечения, подстановочные знаки и операторы близости также могут помочь уточнить стратегию поиска, включая варианты написания и разные формулировки одного и того же понятия (Ecker and Skelly, 2010).Стратегии поиска можно проверить, используя выборку ожидаемых релевантных исследований. Если стратегия поиска не может найти хотя бы одно из выбранных исследований, стратегия поиска требует дальнейшей оптимизации. Этот процесс повторяется, обновляя стратегию поиска на каждом итеративном шаге до тех пор, пока стратегия поиска не будет работать на удовлетворительном уровне (Finfgeld-Connett and Johnson, 2013). Ожидается, что всесторонний поиск вернет большое количество исследований, многие из которых не имеют отношения к теме, что обычно приводит к специфичности <10% (McGowan and Sampson, 2005).Таким образом, начальный этап анализа библиотеки для выбора соответствующих исследований занимает много времени (может занять от 6 месяцев до 2 лет) и подвержен ошибкам, связанным с человеческим фактором. На этом этапе рекомендуется включить как минимум двух независимых рецензентов, чтобы свести к минимуму предвзятость выбора и связанные с этим ошибки. Тем не менее, систематические обзоры могут обеспечить синтез количественных данных высочайшего качества для непосредственного информирования экспериментальных и вычислительных базовых, доклинических и трансляционных исследований.

Экспресс-обзор и мета-анализ

Цель быстрого обзора, как следует из названия, состоит в том, чтобы сократить время, необходимое для обобщения информации. Быстрые обзоры - подходящая альтернатива систематическим подходам, если рецензенты предпочитают получать общее представление о состоянии области без значительных временных затрат. Стратегии поиска строятся за счет повышения специфичности поиска, что позволяет сократить количество нерелевантных исследований, выявленных в результате поиска, за счет полноты поиска (Haby et al., 2016). Сила быстрой проверки заключается в ее гибкости, позволяющей адаптироваться к потребностям рецензента, что приводит к отсутствию стандартизированной методологии (Mattivi and Buchberger, 2016). Общие горячие пути, используемые при быстрой проверке: (i) сужение критериев поиска, (ii) введение ограничений по дате, (iii) проведение проверки с одним рецензентом, (iv) исключение консультации с экспертом (т. Е. С помощью библиотекаря для разработки стратегии поиска), ( v) сужение языковых критериев (например, только английский), (vi) отказ от итеративного процесса поиска и выбора поисковых терминов, (vii) пропуск критериев контрольного списка качества и (viii) ограничение количества баз данных, в которых выполняется поиск (Ganann et al., 2010). Эти ярлыки ограничивают первоначальный пул исследований, возвращаемых в результате поиска, тем самым ускоряя процесс отбора, но также потенциально приводя к исключению соответствующих исследований и введению систематической ошибки отбора. Несмотря на то, что существует консенсус в отношении того, что быстрые обзоры не приносят в жертву качество и не синтезируют ложные результаты (Haby et al., 2016), рекомендуется, чтобы критические результаты позже подтверждались систематическим обзором (Ganann et al., 2010). Тем не менее, быстрые обзоры являются жизнеспособной альтернативой, когда необходимо оценить параметры для компьютерного моделирования.В то время как систематические и быстрые обзоры полагаются на разные стратегии выбора соответствующих исследований, статистические методы, используемые для синтеза данных из систематического и быстрого обзора, идентичны.

Проверка и отбор

Когда поиск литературы завершен (необходимо записать дату получения статей из баз данных), статьи извлекаются и сохраняются в диспетчере ссылок для просмотра. Перед скринингом исследования необходимо определить критерии включения и исключения, чтобы обеспечить последовательность в идентификации и извлечении исследования, особенно когда задействовано несколько рецензентов.Важнейшими этапами проверки и отбора являются (1) удаление дубликатов, (2) проверка соответствующих исследований по названию и аннотации и (3) проверка полных текстов, чтобы убедиться, что они соответствуют критериям приемлемости. Доступно несколько справочных менеджеров, включая Mendeley и Rayyan, специально разработанных для помощи в систематических обзорах. Однако 98% авторов сообщают, что используют Endnote, Reference Manager или RefWorks для подготовки своих обзоров (Lorenzetti and Ghali, 2013). Справочные менеджеры часто имеют функции дедупликации; однако они могут быть утомительными и подверженными ошибкам (Kwon et al., 2015). Недавно был предложен протокол для более быстрой и надежной дедупликации в Endnote (Bramer et al., 2016). Выбор статей должен быть достаточно широким, чтобы в нем не могла доминировать одна лаборатория или автор. В статьях по фундаментальным исследованиям часто встречаются наборы данных, которые одна и та же группа повторно использует в нескольких исследованиях. Следовательно, следует принять дополнительные меры предосторожности при принятии решения о включении нескольких исследований, опубликованных одной группой. В конце процесса поиска, проверки и отбора рецензент получает полный список подходящих полнотекстовых рукописей.Весь процесс отбора и отбора должен быть отражен в диаграмме PRISMA, которая отображает поток информации на протяжении всего обзора в соответствии с предписанными руководящими принципами, опубликованными в другом месте (Moher et al., 2009). На рисунке 3 представлена ​​сводка рабочего процесса по стратегиям поиска и выбора на примере OB [ATP] _ic быстрого просмотра и метаанализа.

Рисунок 3 . Пример быстрого обзора литературного поиска. (A) Разработка параметров поиска для поиска литературы по внутриклеточному содержанию АТФ в остеобластах. (B) Диаграмма PRISMA для информационного потока.

Извлечение данных, первоначальная оценка и подготовка

Определение параметров для извлечения

Перед извлечением и анализом данных рекомендуется заранее определить аналитические стратегии. Тем не менее, на это решение часто влияет доступность сообщаемых мер воздействия и дизайна исследований. Когда составители обзора стремятся оценить абсолютную разницу средних (абсолютный эффект), нормализованную разницу средних значений, соотношение ответов или стандартизованную разницу средних значений (например,Hedges 'g), им необходимо извлечь средние на уровне исследования (θ _i ), стандартные отклонения ( sd (θ _i )) и размеры выборки ( n _i ). ), для контрольной (обозначены θic, sd (θic) и nic) и интервенционной (обозначены θir, sd (θir) и nir) групп, для исследований i . Для оценки эффекта абсолютного среднего требуются только среднее значение (θir), стандартное отклонение (sd (θir)) и размер выборки (nir). В фундаментальных исследованиях обычно в одном исследовании представлены варианты одного и того же наблюдения (напр.измерения одного и того же объекта с использованием разных методов). В таких случаях каждая точка может рассматриваться как отдельное наблюдение, или общие результаты в рамках исследования можно объединить, взяв среднее значение, взвешенное по размеру выборки. Другим соображением является несоответствие между единицами величины эффекта, указанными в абсолютной шкале, например, концентрации белка могут быть представлены как г / клетка, моль / клетка, г / г влажной ткани или г / г сухой ткани. В таких случаях преобразование в общее представление требуется для сравнения исследований, для которых необходимо извлечь соответствующие экспериментальные параметры и калибровки из исследований.Хотя некоторые параметры могут быть приблизительно определены рецензентами, например, параметры, относящиеся к клеткам, из базы данных BioNumbers (Milo et al., 2010), и параметры, связанные с оборудованием, предположительно из руководств производителя, рецензенты должны проявлять осторожность при выполнении таких приближений, поскольку они могут вводить систематические ошибки, которые проявляются на протяжении всего анализа. Когда преобразование данных оценивается как затруднительное, но доступны отрицательные / базальные контроли, безмасштабные меры (например, нормализованные, стандартизованные или пропорциональные эффекты) по-прежнему могут использоваться в метаанализе без необходимости преобразовывать эффекты в общие единицы измерения. абсолютная шкала.Во многих случаях рецензенты могут принять решение о подходящей мере размера эффекта только после завершения извлечения данных.

К сожалению, часто встречаются нечеткие или неполные отчеты, особенно в отношении размеров выборки и неопределенностей. Рецензенты могут отклонить исследования с такими проблемами из-за проблем с качеством или использовать консервативные предположения для оценки недостающих данных. Например, если неясно, сообщает ли исследование о стандартном отклонении или стандартной ошибке среднего значения, можно предположить, что это стандартная ошибка, что дает более консервативную оценку.Если исследование не сообщает о неопределенностях, но считается важным, поскольку оно сосредоточено на редком явлении, для оценки условий неопределенности были предложены методы вменения (Chowdhry et al., 2016). Если в исследовании сообщается о диапазоне размеров выборки, рецензенты должны извлечь наименьшее значение. Стратегии обработки недостающих данных должны быть заранее определены и тщательно задокументированы.

Помимо определения соответствующих первичных параметров, a priori определил характеристики уровня исследования, которые могут повлиять на результат, такие как вид, тип клеток, конкретная методология, должны быть идентифицированы и собраны параллельно с извлечением данных.Эта информация важна для последующего исследовательского анализа и может дать представление о влияющих факторах посредством сравнения между исследованиями.

Оценка качества

Формальная оценка качества позволяет рецензенту оценить качество выявленных исследований и принять обоснованное и методичное решение относительно исключения плохо проведенных исследований. В целом, на основе первоначальной оценки полных текстов каждое исследование оценивается, чтобы отразить общее качество и научную строгость исследования.Было описано несколько характеристик, связанных с качеством (Sena et al., 2007), таких как: (i) опубликовано в рецензируемом журнале, (ii) полная статистическая отчетность, (iii) рандомизация лечения или контроля, (iv) слепой анализ. анализ, (v) расчет размера выборки перед экспериментом, (vi) исследование зависимости «доза-реакция» и (vii) заявление о соответствии нормативным требованиям. Мы также предлагаем, чтобы рецензенты фундаментальных исследований оценивали (viii) объективное соответствие между рассматриваемым исследованием и метааналитическим проектом.Это включает в себя определение того, был ли интересующий результат основной целью исследования или был ли он зарегистрирован как подтверждающий или вторичный результат, который может не получить такой же экспериментальной строгости и может быть предметом систематической ошибки ожидания (Sheldrake, 1997). Дополнительные критерии качества, характерные для экспериментального плана, могут быть включены по усмотрению рецензента. После того, как баллы исследования были собраны, совокупные баллы качества на уровне исследования определяются путем суммирования количества удовлетворенных критериев, а затем оценки того, как оценки результатов и неоднородность меняются в зависимости от качества исследования.Значительные отклонения, возникающие из-за более низкого качества исследований, могут оправдать пропуск исследования в последующем анализе.

Извлечение табличных и графических данных

Следующим шагом является составление набора метааналитических данных, который рецензенты будут использовать в последующем анализе. Для каждого исследования должен быть извлечен полный набор данных, который включает параметры, необходимые для оценки целевого результата, характеристики исследования, а также данные, необходимые для преобразования единиц измерения. Отчетность по данным в фундаментальных исследованиях обычно бывает табличной или графической.Рецензенты могут точно извлекать табличные данные из текста или таблиц. Однако графические данные часто приходится извлекать из графика напрямую, используя трудоемкие и подверженные ошибкам методы. Модуль извлечения данных в MetaLab был разработан для облегчения систематического и объективного извлечения данных; Рецензенты предоставляют данные исследования в качестве входных данных, затем указывают контрольные точки, которые используются для калибровки осей и извлечения данных (рисунки 4A, B).

Рисунок 4 .Процедура извлечения данных MetaLab является точной, беспристрастной и устойчивой к качеству представления данных. (A, B) Пример извлечения графических данных с помощью MetaLab. (A) Исходный рисунок (Bodin et al., 1992) с осями, точками данных и соответствующими ошибками, отмеченными рецензентом. (B) Извлеченные данные с ошибками. (C – F) Проверка модуля извлечения данных MetaLab. (C) Синтетические наборы данных были построены с использованием случайно сгенерированных координат данных и размеров маркеров. (D) Извлеченные значения соответствовали истинным значениям, оцененным с помощью линейной регрессии с наклоном β _{, наклоном} , красная линия: линия равенства. (E) Извлечение данных было объективным, оценивалось с распределением ошибок в процентах между истинными и извлеченными значениями. E _{означает} , E _median , E _min и E _max являются средней, медианной, минимальной и максимальной% ошибкой соответственно. (F) Абсолютные ошибки извлеченных данных не зависели от размера маркера данных, красная линия: линейная регрессия с наклоном β _{, наклоном} .

Чтобы проверить производительность модуля извлечения данных MetaLab , мы сгенерировали цифры, используя 319 точек синтетических данных, нанесенных на график с различными размерами маркеров (рис. 4C). Извлеченные и фактические значения были коррелированы ( R ² = 0,99) с наклоном зависимости, оцененным как 1,00 (95% ДИ: от 0,99 до 1,01) (рис. 4D). Смещение отсутствовало со средней процентной ошибкой 0,00% (95% ДИ: от -0,02 до 0,02%) (рис. 4E). Узкий диапазон ошибок от -2,00 до 1.37%, а соответствие между средней и средней ошибкой указывает на отсутствие асимметрии. Размер маркера данных не влиял на ошибку извлечения, поскольку 0,00% вариации в абсолютной ошибке объяснялось размером маркера, а наклон зависимости между размером маркера и ошибкой извлечения составлял 0,000 (95% ДИ: -0,001, 0,002) (Рисунок 4F). Эти данные показывают, что графические данные могут быть надежно извлечены с помощью MetaLab .

Извлечение данных из сложных отношений

Фундаментальная наука часто сосредотачивается на естественных процессах и явлениях, характеризующихся сложными отношениями между сериями входных данных (например,g., воздействия) и выходы (например, ответ). Результаты обычно объясняются принятой моделью взаимосвязи, такой как модель кинетики ферментов Михаэлиса-Ментен, которая включает два параметра - V _max для максимальной скорости и K _m для концентрации субстрата, равной половине V _max . . Для метаанализа представляют интерес параметры модели, характеризующие сложные взаимосвязи, поскольку они позволяют напрямую сравнивать различные наборы данных нескольких наблюдений. Однако результаты на уровне исследования для сложных взаимосвязей часто (i) не имеют последовательности в отчетности и (ii) не имеют оценок неопределенностей для параметров модели.Следовательно, рецензентам, желающим выполнить метаанализ сложных взаимосвязей, может потребоваться подгонка данных уровня исследования к единой модели y = f ( x , β), чтобы оценить набор параметров β, характеризующий взаимосвязь (Таблица 1 ) и оценить неопределенность β.

Таблица 1 . Обычно используемые модели сложных отношений в фундаментальных науках.

Данные уровня исследования могут быть подогнаны к модели с использованием обычных методов подбора, в которых члены ошибки параметра модели зависят от качества подгонки и количества доступных наблюдений.В качестве альтернативы, подход моделирования методом Монте-Карло (Cox et al., 2003) позволяет распространить отклонения на уровне исследования (неопределенность входных данных модели) на неопределенность в оценках параметров модели (рис. 5). Предположим, что в исследовании i представлен набор из k переменных-предикторов x = { x _j | 1 ≤ j ≤ k } для набора исходов θ = {θ _j | 1 ≤ j ≤ k }, и что существует соответствующий набор стандартных отклонений sd (θ) = { sd (θ _j ) | 1 ≤ j ≤ k } и размеры выборки n = { n _j | 1 ≤ j ≤ k } (рисунок 5A).Метод распространения ошибок Монте-Карло предполагает, что результаты имеют нормальное распределение, что позволяет производить выборку псевдослучайных наблюдений из распределения, аппроксимированного N (θj, sd (θj) 2). Затем псевдослучайные наблюдения усредняются для получения оценки Монте-Карло θj * для каждого наблюдения, так что

, где θ ( j , m ) * представляет псевдослучайную величину, отобранную n _j раз из N (θj, sd (θj) 2).Соотношение между x и θ * = {θj * | 1≤j≤k} затем подгоняется к интересующей модели с использованием метода наименьших квадратов для получения оценки параметров модели β (рис. 5B). После многих итераций повторной выборки и подгонки получается распределение оценок параметров N (β¯, sd (β¯) 2), из которого можно оценить средние значения параметра β¯ и дисперсии sd (β¯) 2 (рисунки 5C, D). Поскольку количество итераций M стремится к бесконечности, оценка параметра сходится к ожидаемому значению E (β).

Рисунок 5 . Оценка параметров модели методом распространения ошибок Монте-Карло. (A) Данные на уровне исследования взяты из метаанализа выпуска АТФ. (B) В предположении сигмоидальной модели параметры были оценены с использованием модуля Fit Model MetaLab путем случайной выборки данных из распределений, определенных данными уровня исследования. Параметры модели оценивались для каждого набора выборочных данных. (C) Окончательная модель с параметрами, оцененными на основе 400 симуляций. (D) Распределения параметров, оцененных для данного набора данных, являются одномодальными и симметричными.

Для рецензентов критически важно обеспечить соответствие данных модели, чтобы предполагаемые параметры в достаточной степени отражали информацию, содержащуюся в базовых данных на уровне исследования. Как правило, надежные модельные фитинги характеризуются нормальным распределением параметров (рис. 5D) и имеют высокий уровень качества подгонки, количественно выраженный с помощью R ² . Преимущество использования подхода Монте-Карло заключается в том, что он работает как процедура черного ящика, которая не требует сложных формул распространения ошибок, что позволяет обрабатывать коррелированные и независимые параметры без дополнительного рассмотрения.

Размеры эффекта на уровне исследования

В зависимости от цели обзора результаты на уровне исследования θ _i могут быть выражены как одна из нескольких мер величины эффекта. Размер абсолютного эффекта, рассчитанный как средний результат или абсолютное отличие от исходного уровня, является самым простым, не зависит от дисперсии и сохраняет информацию о контексте данных (Baguley, 2009). Однако использование абсолютного размера эффекта требует, чтобы авторы сообщали об общем масштабе или предоставляли параметры преобразования.В случаях, когда трудно установить общую шкалу, можно использовать безмасштабные меры, такие как стандартизованные, нормализованные или относительные меры. Стандартизованные средние различия, такие как g Хеджеса или d Коэна, отражают результат как величину эффекта (разница между средними значениями экспериментальной и контрольной групп) относительно общей дисперсии (объединенное и взвешенное стандартное отклонение комбинированных экспериментальных и контрольных групп). . Стандартизованная разница средних, в дополнение к отношениям шансов или рисков, широко используется в метаанализе клинических исследований (Vesterinen et al., 2014), поскольку он позволяет суммировать показатели, не имеющие единого значения (например, оценка боли), и учитывает вариативность выборок. Однако стандартизованная мера редко используется в фундаментальной науке, поскольку результаты исследований обычно являются определенной мерой, размеры выборки невелики, а отклонения сильно зависят от экспериментальных и биологических факторов. Другими показателями, которые больше подходят для фундаментальной науки, являются нормализованная средняя разница, которая выражает разницу между исходом и исходом как долю от исходного уровня (также называемую процентной разницей), и коэффициент ответа, который сообщает результат как долю базовый уровень.Все обсуждаемые меры включены в MetaLab (Таблица 2).

Таблица 2 . Типы размеров эффекта.

Синтез данных

Цель любого метаанализа - предоставить оценку результатов, репрезентативную для всех результатов на уровне исследования. Одной из важных особенностей метаанализа является его способность включать информацию о качестве и надежности первичных исследований путем более тщательного взвешивания более крупных исследований с лучшими отчетами.= ∑iN (θi · wi) ∑i (wi) (3)

, где N - количество исследований или наборов данных. Выбор схемы взвешивания определяет, как вариации на уровне исследования объединяются для оценки дисперсии средневзвешенного значения. Таким образом, схема взвешивания существенно влияет на результат метаанализа, и при неправильном выборе потенциально может привести к переоценке менее точных исследований и получению менее достоверных, не поддающихся обобщению результатов. Таким образом, понятие определения протокола анализа a priori должно быть сбалансировано с необходимостью гарантировать, что набор данных совместим с выбранной аналитической стратегией, которая может быть неопределенной до извлечения данных.Мы предлагаем стратегии для вычисления и сравнения результатов различных исследований и глобальных результатов, а также их отклонений.

Весовые схемы

Для получения достоверных оценок совокупных знаний исследования оцениваются в соответствии с их надежностью. Однако эта концептуальная основа ухудшается, если сообщаемые показатели точности сами по себе являются ошибочными. Наиболее часто используемой мерой точности является обратная дисперсия, которая представляет собой составную меру общей дисперсии и размера выборки, так что исследования с большим размером выборки и меньшими экспериментальными ошибками являются более надежными и более взвешенными.Схемы взвешивания обратной дисперсии действительны, когда (i) ошибка выборки является случайной, (ii) сообщаемые эффекты гомоскедастичны, то есть имеют одинаковую дисперсию и (iii) размер выборки отражает количество независимых экспериментальных наблюдений. Когда допущения (i) или (ii) нарушаются, в качестве альтернативы можно использовать взвешивание по размеру выборки. Несмотря на то, что размер выборки и дисперсия выборки являются такими критическими параметрами при оценке глобального результата, они часто подвержены недостаткам в практике отчетности.

Возможные проблемы с дисперсией выборки и размером выборки

Стандартная ошибка se (θ _i ) требуется для вычисления весов обратной дисперсии, однако в первичной литературе, а также обозреватели мета-анализа часто путают стандартные ошибки со стандартными отклонениями sd (θ _i ) (Альтман и Блэнд, 2005). Кроме того, многие анализы, используемые в фундаментальных исследованиях, часто имеют неравномерное распределение ошибок, так что компонент дисперсии, возникающий из-за экспериментальной ошибки, зависит от величины эффекта (Bittker and Ross, 2016).Такое неравномерное распределение ошибок приведет к смещению взвешивания, которое не отражает истинной точности измерения. К счастью, стандартная ошибка и стандартное отклонение имеют характерные свойства, которые может оценить рецензент, чтобы определить, подходят ли веса обратной дисперсии для данного набора данных. Стандартная ошибка уровня исследования se (θ _i ) является мерой точности и оценивается как произведение стандартного отклонения выборки sd (θ _i ) и погрешности 1ni для исследование и .Следовательно, ожидается, что стандартная ошибка будет приблизительно обратно пропорциональна корню размера выборки на уровне исследования n _i

В отличие от стандартной ошибки, стандартное отклонение - мера дисперсии случайной величины sd (θ) ² - считается независимым от размера выборки, потому что это описательная статистика, а не статистика точности. Поскольку общая наблюдаемая дисперсия выборки на уровне исследования представляет собой сумму естественной изменчивости (которая считается постоянной для явления) и случайной ошибки, не ожидается никакой связи между сообщаемыми стандартными отклонениями и размерами выборки.Эти допущения могут быть проверены с помощью корреляционного анализа и могут использоваться для информирования рецензента о надежности показателей неопределенности на уровне исследования. Например, связь между размером выборки и дисперсией выборки наблюдалась для набора данных OB [ATP] _ic (рис. 6A), но не для данных о высвобождении ATP (рис. 6B). Следовательно, в случае набора данных OB [ATP] _ic более низкие дисперсии не связаны с более высокой точностью, и обратное взвешивание дисперсии не подходит.Размеры выборки также часто искажаются в фундаментальных науках, поскольку экспериментальные реплики и повторные эксперименты часто сообщаются взаимозаменяемо (неправильно) как размеры выборки (Vaux et al., 2012). Повторные (независимые) эксперименты относятся к количеству случайно выбранных наблюдений, в то время как реплики относятся к повторным измерениям образца из одного эксперимента для повышения точности измерения. Теория статистического вывода предполагает случайную выборку, которой удовлетворяют независимые эксперименты, но не повторные измерения.Неверное представление репликатов, поскольку размер выборки может искусственно завышать надежность результатов. Хотя это сложно определить, плохая отчетность может отразиться на общей оценке качества исследования.

Рисунок 6 . Оценка результатов на уровне исследования. (A, B) Надежность измерения ошибок на уровне исследования. Связь между квадратом стандартного отклонения на уровне исследования sd (θi) 2 и размерами выборки n _i считается независимой при достоверном сообщении.Связь между sd (θi) 2 и n _i присутствовала в OB [ATP] _ic набора данных (A) и отсутствовала в наборе данных выпуска ATP (B) , красная линия : линейная регрессия. (C, D) Распределение результатов на уровне исследования. Оценка невзвешенного (UW– черный ) и взвешенного (фиксированный эффект; FE– синий , случайные эффекты; RE– красный , взвешивание размера выборки; N– зеленый ) распределений данных из OB [ATP] _ic ( C ) и ATP release ( D ) наборы данных до ( слева, ) и после преобразования log ₁₀ ( справа ).Неоднородность количественно оценивалась статистикой неоднородности Q, I ² и H ² . (E, F ) После регистрации _{10 преобразований} , H ² статистика неоднородности увеличилась для набора данных OB [ATP] _ic ( E ) и уменьшилась для набора данных выпуска ATP ( F ) .

Взвешивание обратной дисперсии

Обратная дисперсия - наиболее распространенная мера точности, представляющая собой составную меру общей дисперсии и размера выборки.Широко используемые схемы взвешивания, основанные на обратной дисперсии, представляют собой метааналитические модели с фиксированными или случайными эффектами. Модель фиксированного эффекта предполагает, что во всех исследованиях выбран один истинный эффект γ. Наблюдаемый результат θ _i для исследования i тогда является функцией ошибки внутри исследования ε _i , θ _i = γ + ε _i , где ε _i имеет нормальное распределение εi ~ N (0, se (θi) 2). Стандартная ошибка se (θ _i ) вычисляется из стандартного отклонения выборки sd (θ _i ) и размера выборки n _i as:

В качестве альтернативы, модель случайных эффектов предполагает, что каждое исследование выбирает разные истинные результаты μ _i , так что комбинированный эффект μ является средним значением совокупности истинных эффектов.Наблюдаемый эффект θ _i для исследования i затем зависит от ошибки внутри исследования ε _i и ошибки между исследованиями ξ _i , θ μ _i + ε _i + ξ _i , где ξ _i также предполагается нормально распределенным ξ _i τ ² ), где τ ² представляет степень неоднородности или дисперсию между исследованиями (между исследованиями).) = 1∑iNwi (7)

, где N = количество наборов данных / исследований. На практике модели со случайными эффектами предпочтительнее модели с фиксированными эффектами из-за преобладания неоднородности экспериментальных методов и биологических результатов. Однако, когда нет изменчивости между исследованиями (τ ² = 0), модель случайных эффектов сводится к модели фиксированных эффектов. Напротив, когда τ ² чрезвычайно велико и межисследовательская дисперсия доминирует над весовым членом [τ2≫se (θi) 2], оценки случайных эффектов будут стремиться к невзвешенному среднему.

Дисперсия между исследованиями τ ² оценок . Согласно предположениям модели случайных эффектов, общая дисперсия представляет собой сумму дисперсии внутри исследования (экспериментальная ошибка выборки) и дисперсии между исследованиями τ ² (изменчивость истинных эффектов). Поскольку распределение истинных эффектов неизвестно, мы должны оценить значение τ ² на основе результатов на уровне исследования (Borenstein, 2009). Метод DerSimonian and Laird (DL) является наиболее часто используемым в метаанализах (DerSimonian and Laird, 1986).Другие оценщики, такие как Hunter and Schmidt (Hunter and Schmidt, 2004), Hedges (Hedges and Olkin, 1985), Hartung-Makambi (Hartung and Makambi, 2002), Sidik-Jonkman (Sidik and Jonkman, 2005) и Paule- Оценки Манделя (Paule and Mandel, 1982) были предложены в качестве альтернативы или улучшений по сравнению с оценкой DL (Sanchez-Meca и Marin-Martinez, 2008) и были реализованы в MetaLab (Таблица 3). Отрицательные значения τ ² обрезаются до нуля. Обзор различных оценок τ ² вместе с рекомендациями по их использованию можно найти в другом месте (Veroniki et al., 2016).

Таблица 3 . Оценщики дисперсии между исследованиями.

Взвешивание размера выборки

Взвешивание размера выборки предпочтительнее в случаях, когда оценки дисперсии недоступны или ненадежны. В соответствии с этой схемой взвешивания размеры выборки на уровне исследования используются вместо обратных дисперсий в качестве весов. В этом случае ошибка выборки не учитывается; однако, поскольку ошибка выборки является случайной, большие размеры выборки будут эффективно усреднять ошибку и давать более надежные результаты.) = ∑iN (se (θi) 2 · (ni-1)) ∑iN (ni-1) (9)

Хотя на взвешивание размера выборки меньше влияет дисперсия выборки, эффективность этой оценки зависит от доступности исследований (Marin-Martinez and Sanchez-Meca, 2010). Когда дисперсия достоверно представлена, веса размера выборки должны примерно коррелировать с весами обратной дисперсии в рамках модели с фиксированным эффектом.

Распределение метааналитических данных

Одно из важных соображений, на которое должен обратить внимание рецензент, - это нормальность распределений эффектов на уровне исследования, предполагаемая большинством метааналитических методов.Доступны непараметрические методы, которые не предполагают нормальности, но требуют больших вычислительных ресурсов и недоступны для нестатистиков (Karabatsos et al., 2015). Показано, что характеристики параметрических метааналитических методов устойчивы к эффектам, не имеющим нормального распределения (Kontopantelis and Reeves, 2012). Однако эта надежность достигается путем получения искусственно завышенных оценок неоднородности для данных с ненормальным распределением, что приводит к консервативно широким доверительным интервалам и сильно заниженным результатам (Jackson and Turner, 2017).Следовательно, разумно охарактеризовать лежащее в основе распределение эффектов на уровне исследования и выполнить преобразования для нормализации распределений, чтобы сохранить логическую целостность метаанализа.

Оценка распределения данных

Графические подходы, такие как гистограмма, обычно используются для оценки распределения данных; однако в метаанализе они могут искажать истинное распределение размеров эффекта, которое может отличаться из-за неравных весов, присвоенных каждому исследованию.Чтобы решить эту проблему, мы можем использовать взвешенную гистограмму для оценки распределения размера эффекта (рисунок 6). Взвешенная гистограмма может быть построена путем первых исследований биннинга в соответствии с величиной их эффекта. Затем каждому интервалу назначаются взвешенные частоты, рассчитываемые как сумма весов на уровне исследования в пределах данного интервала. Затем сумма весов в каждой ячейке нормализуется на сумму всех весов по всем ячейкам

, где P _j - взвешенная частота для интервала j , w _ij - вес для размера эффекта в интервале j из исследования i и nBins - общее количество ящиков.Если обнаруживается, что распределение отклоняется от нормального, наиболее распространенные объяснения заключаются в том, что (i) распределение искажено из-за несоответствий между исследованиями, (ii) в наборе данных существуют субпопуляции, что приводит к мультимодальному распределению, или (iii) изучаемое явление не является нормально распределяется. Источник несоответствий и мультимодальности может быть исследован в ходе анализа неоднородности (т. Е. Для определения того, могут ли характеристики уровня исследования объяснить наблюдаемые несоответствия).Однако асимметрия может быть свойственна данным, когда значения малы, дисперсия велика, а значения не могут быть отрицательными (Limpert et al., 2001) и считается характеристикой природных процессов (Grönholm and Annila, 2007). Для достаточно больших размеров выборки центральная предельная теорема утверждает, что средние значения искаженных данных приблизительно нормально распределены. Однако из-за общего ограничения количества исследований, доступных для метаанализа, метааналитические глобальные оценки асимметричных распределений часто чувствительны к экстремальным значениям.В этих случаях можно использовать преобразование данных для достижения нормального распределения в логарифмической шкале (т. Е. Логнормального распределения).

Логнормальные распределения

Поскольку метааналитические методы обычно предполагают нормальность, логарифмическое преобразование является полезным инструментом, используемым для нормализации искаженных распределений (рисунки 6C – F). В наборе данных выпуска ATP мы обнаружили, что преобразование журнала нормализовало распределение данных. Однако в случае набора данных OB [ATP] _ic логарифмическое преобразование выявило бимодальное распределение, которое в противном случае не было очевидным в исходном масштабе.

Нормализация данных с помощью преобразования журнала позволяет метааналитическим методам сохранять свои выводимые свойства. Результаты, синтезированные в логарифмической шкале, затем могут быть преобразованы в исходную необработанную шкалу для получения асимметричных доверительных интервалов, которые дополнительно компенсируют перекос в данных. Величины эффекта на уровне исследования θ _i могут быть связаны со средним логарифмическим Θ _i посредством прямого логарифмического преобразования, метаанализа в логарифмической шкале и обратного преобразования в исходную шкалу с использованием одного из методы обратного преобразования (таблица 4).это примерно равно медиане эффектов на уровне исследования. Аппроксимация наивного или индивидуального ряда отличается тем, как аппроксимируются стандартные ошибки, которые используются для получения точечной оценки по исходной необработанной шкале. Было показано, что приближения наивных и специализированных рядов поддерживают адекватные свойства вывода в метааналитическом контексте (Хиггинс и др., 2008).

Таблица 4 . Методы логарифмического преобразования.

Доверительные интервалы

После вычисления глобальной оценки метаанализа и стандартной ошибки рецензенты могут приступить к построению доверительных интервалов (ДИ).) (11)

Оценщики CI

Критическое значение v _{1 − α / 2} получается из теоретического распределения и представляет собой порог значимости для уровня α. Теоретическое распределение описывает вероятность возникновения любого данного возможного исхода явления. Крайние результаты, которые находятся дальше всего от среднего, известны как хвосты. Наиболее часто используемые теоретические распределения - это z-распределение и t -распределение, которые являются как симметричными, так и колоколообразными, но различаются тем, насколько далеко идут или «тяжелы» хвосты.Более тяжелые хвосты приведут к более высоким критическим значениям, что приведет к более широким доверительным интервалам, и наоборот. Критические значения, полученные из z-распределения, известные как z-баллы ( z ), используются, когда данные нормальные и доступно достаточно большое количество исследований (> 30). Хвосты z-распределения не зависят от размера выборки и отражают ожидаемые для нормального распределения. Критические значения, полученные из t-распределения, известного как t-баллы (t), также предполагают, что данные имеют нормальное распределение, однако используются, когда имеется меньше доступных исследований (<30), потому что хвосты t-распределения тяжелее.Это дает более консервативные (более широкие) доверительные интервалы, которые помогают гарантировать, что данные не вводят в заблуждение или не соответствуют действительности при наличии ограниченных доказательств. Тяжелость хвостов t-распределения продиктована степенью свободы df , которая связана с количеством доступных исследований N ( df = N - 1 ), так что в результате будет меньше исследований. в более тяжелых хвостах t-распределения и, следовательно, при больших критических значениях. Важно отметить, что t-распределение является асимптотически нормальным и, таким образом, будет сходиться к z-распределению для достаточно большого количества исследований, что приведет к аналогичным критическим значениям.Например, для уровня значимости α = 0,05 (5% ложноположительных результатов) z-распределение всегда будет давать критическое значение против = 1,96, независимо от того, сколько исследований доступно. Однако t-распределение даст против = 2,78 для 5 исследований, против = 2,26 для 10 исследований, против = 2,05 для 30 исследований и против = 1,98 для 100 исследований, постепенно приближаясь к 1,96 в качестве числа. исследований увеличивается. Мы внедрили в MetaLab оценщики CI по z-распределению и t-распределению.) + v1-α2 · se (θi), не покрывается (12)

Охват - это показатель эффективности, используемый для определения того, согласуется ли вывод, сделанный на уровне исследования, с выводом, сделанным на метааналитическом уровне. Охват, который меньше ожидаемого для указанного уровня значимости (т. Е. Охват <95% для α = 0,05), может указывать на неточные оценки, чрезмерную неоднородность или неадекватный выбор метааналитической модели, в то время как охват, превышающий 95%, может указывать на неэффективность оценка, которая приводит к недостаточной статистической мощности.

В целом, на производительность метаанализа сильно влияет выбор схемы взвешивания и преобразования данных (рис. 7). Это особенно очевидно в небольших наборах данных, таких как наш пример OB [ATP] _i , где как глобальные оценки, так и доверительные интервалы сильно различаются при разных схемах взвешивания (рис. 7A). Работа с более крупными наборами данных, такими как кинетика высвобождения АТФ, позволяет несколько снизить влияние предполагаемой модели (рис. 7B).Однако нормализация распределения данных (путем преобразования логарифма) дает гораздо более согласованные результаты при разных схемах взвешивания для обоих наборов данных, независимо от количества доступных исследований (рисунки 7A, B, log ₁₀ синтез ).

Рисунок 7 . Сравнение оценок глобального эффекта с использованием различных схем взвешивания. (A, B) Оценки глобального эффекта для OB [ATP] _ic (A) и ATP release (B) после синтеза исходных данных (необработанные, черный ) или журнала ₁₀ - преобразованные данные с последующим обратным преобразованием в исходный масштаб (логарифм ₁₀ , серый ).Глобальные эффекты ± 95% ДИ были получены с помощью невзвешенных данных (UW) или с использованием схем взвешивания с фиксированным эффектом (FE), случайными эффектами (RE) и размером выборки ( n ).

Анализ неоднородности

Неоднородность означает несоответствие между исследованиями. Большая часть проведения метаанализа включает количественную оценку и учет источников неоднородности, которые могут поставить под угрозу достоверность метаанализа. Ожидается, что метааналитические наборы данных фундаментальных исследований будут неоднородными, поскольку ( i ) поиск по литературе по фундаментальным исследованиям, как правило, дает больше исследований, чем поиск по клинической литературе, и ( ii ) экспериментальные методологии, используемые в фундаментальных исследованиях, более разнообразны и менее стандартизированы по сравнению с клинические исследования.Наличие неоднородности может ограничить обобщаемость результата из-за отсутствия консенсуса на уровне исследования. Тем не менее, исследование источников неоднородности может быть полезным для данной области в целом, поскольку оно может выявить биологические или методологические факторы, влияющие на результат.

Количественная оценка неоднородности

Хиггинс и Томпсон подчеркнули, что показатель неоднородности должен быть (i) зависимым от величины неоднородности, (ii) независимым от шкалы измерения, (iii) независимым от размера выборки и (iv) легко интерпретируемым (Higgins and Thompson, 2002).К сожалению, наиболее часто используемым тестом на гетерогенность является Кокрановский тест Q (Borenstein, 2009), который неоднократно демонстрировал нежелательные статистические свойства (Higgins et al., 2003). Тем не менее, мы представим его здесь не из-за его широкого использования, а потому, что это промежуточная статистика, используемая для получения более полезных показателей неоднородности, H ² и I ² . FE = ∑ise (θi) -2θi∑ise (θi) -2andwi = se (θi) -2 (13)

Статистика Q _всего сравнивается с распределением хи-квадрат (χ ² ) ( df = N-1 ), чтобы получить значение p , которое, если оно значимо, поддерживает наличие неоднородности.Однако было показано, что тест Q имеет недостаточную мощность, когда количество исследований слишком мало ( N <10), и чрезмерную мощность, когда количество исследований слишком велико (N> 50) (Gavaghan et al., 2000; Хиггинс и др., 2003). Кроме того, статистика Q _total не является мерой степени неоднородности из-за своей внутренней зависимости от количества исследований. Чтобы устранить это ограничение, была разработана статистика неоднородности H ² как относительное превышение Q _всего над степенями свободы df :

H ² не зависит от количества исследований в метаанализе и указывает на величину неоднородности (Higgins and Thompson, 2002).Для значений <1, H ² усекается до 1, поэтому значения H ² могут находиться в диапазоне от единицы до бесконечности, где H ² = 1 указывает на однородность. Соответствующие доверительные интервалы для H ² равны

Интервалы, которые не перекрываются с 1, указывают на значительную неоднородность. Более легко интерпретируемой мерой неоднородности является статистика I ² , которая представляет собой преобразование H ² :

Соответствующий 95% ДИ для I ² получается из 95% ДИ для H ²

Значения I ² находятся в диапазоне от 0 до 100% и описывают процент общей вариации, относящейся к неоднородности.Подобно H ² , I ² обеспечивает меру величины неоднородности. Значения I ² при 25, 50 и 75% обычно классифицируются как низкая, умеренная и высокая гетерогенность соответственно (Higgins and Thompson, 2002; Pathak et al., 2017). Однако для статистики I ² было отмечено несколько ограничений. I ² имеет нелинейную зависимость от τ ² , таким образом, I ² будет насыщаться по мере приближения к 100% (Huedo-Medina et al., 2006). В случаях чрезмерной неоднородности, если неоднородность частично объясняется с помощью анализа подгрупп или мета-регрессии, остаточная необъяснимая неоднородность все еще может быть достаточной для поддержания I ² около насыщения. Следовательно, I ² не сможет передать снижение общей неоднородности, в то время как статистика H ² , не имеющая верхнего предела, позволит более значимо отслеживать изменения неоднородности. Кроме того, небольшое количество исследований (<10) приведет к смещению оценок I ² , что неизбежно приведет к неопределенности, связанной с небольшими метаанализами (von Hippel, 2015).Из трех описанных статистик неоднородности Q _всего , H ² и I ² , мы рекомендуем использовать H ² , так как он наилучшим образом удовлетворяет критериям статистики неоднородности. определено Хиггинсом и Томпсоном (2002).

Выявление предвзятости

Под смещением понимаются искажения данных, которые могут привести к неверным результатам метаанализа. При наличии систематической ошибки результаты метаанализа часто противоречат более качественным исследованиям с большой выборкой (Egger et al., 1997), тем самым ставя под угрозу достоверность метааналитического исследования. Источники наблюдаемой систематической ошибки включают в себя систематическую ошибку публикации, методологические несоответствия и качество, несоответствия данных из-за некачественного дизайна, неадекватного анализа или мошенничества, а также наличие или систематическую ошибку отбора (Egger et al., 1997; Ahmed et al., 2012). На уровне идентификации исследований и включения в метаанализ систематический поиск предпочтительнее стратегий быстрого обзора, так как стратегии узкого поиска могут не включать релевантные исследования.Утаивание отрицательных результатов также является распространенным источником систематической ошибки в публикациях, что еще больше усугубляется эффектом малого исследования (феномен, при котором меньшие исследования дают результаты с большей величиной эффекта, чем более крупные исследования) (Schwarzer et al., 2015). Таким образом, более мелкие исследования, дающие отрицательные результаты, с большей вероятностью не будут опубликованы по сравнению с более крупными исследованиями, дающими отрицательные результаты. Выявить все источники систематической ошибки невозможно, однако существуют инструменты для оценки степени имеющейся систематической ошибки.

Графики-воронки . Графики воронки широко используются для оценки риска систематической ошибки и проверки достоверности метаанализа (Light and Pillemer, 1984; Borenstein, 2009). Логика, лежащая в основе графика воронки, заключается в том, что при отсутствии систематической ошибки исследования симметрично распределяются вокруг фиксированной оценки размера эффекта, поскольку ошибка выборки является случайной. Более того, ожидается, что точные оценки на уровне исследования будут более согласованы с размером глобального эффекта, чем менее точные исследования, где точность обратно пропорциональна стандартной ошибке на уровне исследования.Таким образом, для непредвзятого набора исследований эффекты уровня исследования θ _i , построенные в зависимости от обратной стандартной ошибки 1/ se (θ _i ), будут давать воронкообразный график. Теоретические 95% доверительные интервалы для диапазона нанесенных на график стандартных ошибок включены в качестве справки для визуализации ожидаемого распределения исследований в отсутствие систематической ошибки (Sterne and Harbord, 2004). Когда присутствует систематическая ошибка, эффекты уровня исследования будут асимметрично распределены вокруг глобальной оценки фиксированного эффекта.В прошлом асимметрия графика воронки объяснялась исключительно систематической ошибкой публикации, однако ее следует интерпретировать в более широком смысле как общее наличие систематической ошибки или неоднородности (Sterne et al., 2011). Следует отметить, что быстрые обзоры (рис. 8A, слева, ) гораздо более подвержены предвзятости, чем систематические обзоры (рис. 8A, справа, ) из-за повышенной вероятности пропуска соответствующих исследований.

Рисунок 8 . Анализ неоднородности и выявление влиятельных исследований. (A) Смещение и неоднородность в наборах данных OB [ATP] _ic ( слева, ) и высвобождение АТФ ( справа, ) оценивали с помощью воронкообразных диаграмм. Log ₁₀ -преобразованных размеров эффекта на уровне исследования (черные маркеры) были нанесены на график в зависимости от их точности, оцененной как обратная стандартная ошибка (1 / SE). Синяя пунктирная линия : оценка фиксированного эффекта, красная пунктирная линия : оценка случайных эффектов, серые линии : ожидаемый 95% доверительный интервал (95% ДИ) при отсутствии систематической ошибки / неоднородности. (B) OB [ATP] _ic оценивали с использованием графика Baujat, и противоречивые и влиятельные исследования были идентифицированы в верхнем правом углу графика ( стрелки, ). (C, D) Эффект исключения одного исследования (C) и совокупного последовательного исключения наиболее противоречивых исследований (D) . Слева : статистика неоднородности, H ² ( красная линия ) и I ² ( черная линия ). Правый : 95% ДИ ( красная полоса ) и Q -тест p -значение ( черная линия ). Стрелки : влиятельные исследования, способствующие неоднородности (такие же, как те, что были выявлены на участке Бауят). Пунктирная черная линия : порог однородности T _H , где Q -тест p = 0,05.

Анализ чувствительности к неоднородности

Несоответствия между исследованиями могут возникать по ряду причин, включая методологическую или биологическую неоднородность (Patsopoulos et al.-i) 2 (19)

Исследования, которые сильно влияют на глобальный результат и вносят вклад в неоднородность, визуализируются в верхнем правом углу графика (рис. 8B). Этот подход использовался для выявления отдаленных исследований в прошлом (Anzures-Cabrera and Higgins, 2010).

Чувствительность исключения для одного исследования . Анализ исключения одного исследования оценивает чувствительность глобального результата и неоднородность исключения отдельных исследований. Глобальные результаты и статистика неоднородности рассчитываются для набора данных с одним пропущенным исследованием; исключение одного исследования повторяется для всех исследований; а влиятельные отдаленные исследования выявляются путем наблюдения за значительным снижением наблюдаемой неоднородности, как это определено с помощью Q _всего , H ² или I ² , а также значительных различий в глобальных результатах ( Рисунок 8C).Не следует слепо отбрасывать влиятельные исследования, их следует тщательно изучить, чтобы определить причину несоответствия. Если может быть выявлена ​​причина неоднородности, например, ошибка в дизайне эксперимента, целесообразно исключить исследование из анализа. Все причины упущения должны быть обоснованы и прозрачны для обозревателей.

Чувствительность исключения кумулятивного исследования . Кумулятивное исключение исследований последовательно удаляет исследования для максимального уменьшения общей дисперсии Q _всего , так что с каждой итерацией исключения достигается более однородный набор исследований с обновленной статистикой неоднородности (рис. 8D).−j ± 95% CI − j, где j = argmaxi (Q − Q − i) 2 (20)

Этот метод был предложен Patsopoulos et al. для достижения желаемых уровней однородности (Patsopoulos et al., 2008), однако, Хиггинс утверждал, что его применение должно оставаться ограниченным (i) количественной оценкой степени, в которой неоднородность пронизывает множество исследований, и (ii) выявлением источников неоднородности (Higgins , 2008). Мы предлагаем порог однородности T _H в качестве меры неоднородности, которая может быть получена на основе анализа чувствительности исключения кумулятивного исследования.Порог однородности описывает процент исследований, которые необходимо удалить (по критериям максимального снижения Q), прежде чем будет достигнут однородный набор исследований. Например, в наборе данных OB [ATP] _ic порог однородности составлял 71%, поскольку удаление 71% наиболее противоречивых исследований привело к однородному набору данных (рис. 8D, справа ). После достижения однородности путем кумулятивного исключения общий эффект обычно стабилизируется по отношению к последующему исключению исследования.Эта метрика предоставляет информацию о степени несогласованности, присутствующей в наборе исследований, которая не зависит от масштаба (независимо от количества исследований) и легко интерпретируется.

Исследовательские анализы

Целью исследовательского анализа является понимание данных способами, которые не могут быть представлены объединенной глобальной оценкой. Это включает определение источников наблюдаемой неоднородности, связанной с биологическими и экспериментальными факторами. Подгрупповой и мета-регрессионный анализ - это методы, используемые для изучения известных групп данных, определяемых характеристиками уровня исследования (т.е., ковариаты). Кроме того, мы представляем анализ кластерно-ковариантной зависимости, который представляет собой неконтролируемый исследовательский метод, используемый для выявления ковариат, которые хорошо совпадают с естественными группировками в данных, и регрессионный анализ внутри исследования, который используется для проверки результатов мета-регрессии.

Кластерный ковариатный анализ зависимости

Естественные группировки в данных могут быть информативными и служить основой для дальнейшего анализа. Используя неконтролируемый подход к кластеризации k-средних (Lloyd, 1982), мы можем идентифицировать естественные группировки в данных на уровне исследования и назначать этим данным принадлежность к кластерам (рис. 9A).Затем у проверяющих есть два варианта: либо перейти непосредственно к анализу подгрупп (рисунок 9B), либо искать ковариаты, которые объединяются в кластер с членством в кластере (рисунок 9C). В последнем случае зависимости между членством в кластере и известными ковариатами данных могут быть проверены с использованием критерия Чи Пирсона. -Квадратный тест на независимость. Ковариаты, совпадающие с кластерами, можно проверить с помощью анализа подгрупп (рис. 9D). Тест на зависимость ограничен доступностью исследований и требует, чтобы не менее 80% пар ковариата-кластер были представлены как минимум 5 исследованиями (McHugh, 2013).Результаты кластеризации следует рассматривать как предварительные и требуют дальнейшего изучения из-за ряда ограничений. Если субпопуляции были идентифицированы посредством кластеризации, однако они не зависят от извлеченных ковариат, рецензенты рискуют придать этим кластерам неверное значение. Более того, традиционные методы кластеризации всегда сходятся к результату, поэтому данные все равно будут разделены даже при отсутствии естественных группировок данных. Будущие модификации этого метода могут включать использование различных алгоритмов кластеризации (иерархическая кластеризация) или тестов на независимость (G-тест на независимость), а также введение весовых коэффициентов для кластеризации смещения, чтобы отразить точность на уровне исследования.

Рисунок 9 . Исследовательский анализ подгрупп. (A) Исследовательская кластеризация k-средних была использована для разделения данных OB [ATP] _ic ( слева, ) и данных о высвобождении ATP ( справа, ) на потенциальные интересующие кластеры / субпопуляции. (B) Анализ подгрупп данных OB [ATP] _ic по статусу дифференцировки (незрелые - остеобласты от 0 до 3 дней против зрелых - остеобласты от 4 до 28 дней). Результаты подгруппы (fmol АТФ / клетка) оцениваются с использованием схемы взвешивания размера выборки; черных маркера : результаты на уровне исследования ± 95% ДИ, размеры маркеров пропорциональны размеру выборки n . Оранжевая и зеленая полосы : 95% ДИ для незрелых и зрелых подгрупп остеобластов соответственно. (C) Зависимость между членством в кластере высвобождения АТФ и известными ковариатами / характеристиками оценивалась с использованием критерия независимости Пирсона χ ² . Черные полосы : χ ² тест p -значения для каждого теста зависимости ковариант-кластер. Красная линия : α = 0,05 порог значимости. Стрелка : наиболее влиятельная ковариата (например, метод записи). (D) Анализ подгруппы высвобождения АТФ методом регистрации. Результаты подгруппы (t _{половина} ), оцененные с использованием взвешивания случайных эффектов, τ ² вычислены с использованием оценки Дер-Симоняна-Лэрда. Круглые маркеры : оценки подгрупп ± 95% ДИ, размеры маркеров пропорциональны количеству исследований в подгруппе N . Серая полоса / бриллиант : общий эффект ± 95% ДИ.

Анализ подгрупп

Анализ подгрупп пытается объяснить неоднородность и изучить различия в эффектах путем разделения исследований на характерные группы, определяемые категориальными ковариатами уровня исследования (рисунки 9B, D; таблица 5).(FE) j) 2)) (21)

, где S - общее количество подгрупп на данную ковариату, а каждая подгруппа j содержит N _j исследований. Объясненная неоднородность Q _между является тогда разницей между общей и подгрупповой неоднородностью:

Таблица 5 . Исследовательский анализ подгрупп.

Если значение p для распределенной статистики χ ² Q _между является значимым, можно предположить, что подгруппировка объясняет значительную степень неоднородности (Borenstein, 2009).Аналогично, Q _{в статистике} можно использовать для проверки наличия какой-либо остаточной неоднородности внутри подгрупп.

Rexplained2 - это связанная статистика, которую можно использовать для описания процента общей неоднородности, которая была объяснена ковариатой и оценивается как

Где объединенная неоднородность внутри подгрупп τwithin2 представляет оставшуюся необъяснимую вариацию (Borenstein, 2009):

Анализ подгруппы набора данных о высвобождении АТФ показал, что метод записи оказал большое влияние на результат высвобождения АТФ, так что метод A дал значительно более низкие результаты, чем метод B (рисунок 9D; таблица 5, значимость определяется неперекрывающимися 95% доверительными интервалами).Кроме того, метод записи учитывал значительную степень неоднородности ( Q _между , p <0,001), однако он составлял только 4% (Rexplained2) от общей наблюдаемой неоднородности. Излишне говорить, что оставшиеся 96% неоднородности значительны ( Q _{в пределах} , p <0,001). Чтобы исследовать остающуюся неоднородность, можно провести дополнительный анализ подгрупп, разделив подгруппы методом A и методом B по другим ковариатам.Однако во многих метаанализах многоуровневая стратификация данных может оказаться невозможной, если ковариаты недоступны или если количество исследований в подгруппах невелико.

Множественные сравнения . Когда для данной ковариаты присутствует несколько подгрупп и рецензент желает исследовать статистические различия между подгруппами, следует решить проблему множественных сравнений. Коэффициенты ошибок мультипликативны и существенно увеличиваются по мере увеличения числа сравнений подгрупп.) (26)

Мета-регрессия

Мета-регрессия пытается объяснить неоднородность, исследуя взаимосвязь между результатами на уровне исследования и непрерывными ковариатами, включая влияние категориальных ковариат (рис. 10А). Основные различия между традиционной линейной регрессией и мета-регрессией заключаются в (i) включении весов и (ii) ковариатах на уровне исследования, а не на индивидуальной выборке. При проведении a мета-регрессионный анализ.Следует отметить, что отрезок β ₀ мета-регрессии с незначительным влиянием ковариант эквивалентен оценке, аппроксимированной средневзвешенным значением (уравнение 3). Обобщенная модель мета-регрессии указана как

, где вариация внутри исследования ε _i равна

и отклонение от распределения эффектов η _i зависит от выбранной метааналитической модели:

Остаточная статистика Q, объясняющая разброс результатов исследований от линии регрессии, рассчитывается следующим образом:

Где y _i - это прогнозируемое значение при x _i в соответствии с моделью мета-регрессии. Q _{остаток} аналогичен Q _между , вычисленному во время анализа подгрупп, и используется для проверки степени остающейся неучтенной неоднородности. Q _{остаток} также используется для аппроксимации необъяснимой межисследованной дисперсии τresidual2

Что можно использовать для вычисления Rexplained2, оценивается как

Q _модель количественно определяет степень неоднородности, объясняемую регрессионной моделью, и аналогична Q _{в пределах} , вычисленной во время анализа подгрупп.

Рисунок 10 . Мета-регрессионный анализ и проверка. (A) Связь между днем ​​дифференцировки остеобластов (ковариата) и внутриклеточным содержанием АТФ (исход) исследована с помощью мета-регрессионного анализа. Результаты представлены по шкале log ₁₀ , размеры маркеров мета-регрессии пропорциональны весам. Красные полосы : 95% ДИ. Серые полосы : 95% ДИ модели только с перехватом. Сплошные красные линии : регрессия внутри исследования. (B) Коэффициент мета-регрессии β _inter ( черный ) по сравнению с коэффициентом регрессии внутри исследования β _intra ( красный ). Показаны коэффициенты регрессии ± 95% ДИ.

Регрессионный анализ внутри исследования Проблема интерпретации результатов мета-регрессии заключается в том, что взаимосвязи, существующие в исследованиях, могут не обязательно существовать между исследованиями, и наоборот. Такие несоответствия известны как систематическая ошибка агрегирования и в контексте метаанализов могут возникать из-за чрезмерной неоднородности или из-за мешающих факторов на уровне исследования.Эта проблема была признана в клинических метаанализах (Thompson and Higgins, 2002), однако не может быть исправлена ​​без доступа к индивидуальным данным пациента. К счастью, фундаментальные научные исследования часто сообщают о результатах на различных уровнях предикторов (например, кривые доза-реакция), что позволяет рецензенту оценить взаимосвязи внутри исследования (внутри исследования). Если коэффициенты регрессии на уровне исследования могут быть вычислены для нескольких исследований (рис. 10A, красные линии ), их можно объединить для оценки общего эффекта _внутри .Затем можно сравнить коэффициент мета-регрессии между исследованиями β _между и общий коэффициент регрессии внутри исследования β _внутри по величине и знаку. Сходство по величине и знаку подтверждает существование взаимосвязи и характеризует ее силу, в то время как сходство по знаку, но не по величине, по-прежнему поддерживает наличие взаимосвязи, но требует дополнительных экспериментов для ее дальнейшей характеристики. Для набора данных Ob [ATP] _i величина взаимосвязи между днем ​​дифференцировки остеобластов и внутриклеточной концентрацией АТФ была несовместимой между оценками внутри исследования и между исследованиями, однако оценки имели согласованный знак (рис. 10B).

Ограничения поисковых анализов

При тщательном и внимательном выполнении исследовательский анализ метааналитических данных имеет огромный потенциал для генерации гипотез, каталогизации текущих практик и тенденций и выявления пробелов в литературе. Таким образом, мы подчеркиваем неотъемлемые ограничения исследовательского анализа:

Дноуглубительные работы . Основной ловушкой в ​​метаанализе является извлечение данных (также известное как p-hacking), которое относится к поиску значимых результатов только для определения значения позже.Хотя изучение набора данных на предмет потенциальных закономерностей может выявить интересующие результаты, рецензенты должны опасаться случайных закономерностей, которые могут возникнуть в любом наборе данных. Следовательно, если связь наблюдается, ее следует использовать для генерации гипотез, которые затем можно проверить на новых наборах данных. Меры по предотвращению извлечения данных включают определение плана анализа a priori для ковариат уровня исследования, ограничение исследовательского анализа метаанализов быстрого обзора и корректировку множественных сравнений.

Статистическая мощность .Статистическая мощность отражает вероятность отклонения нулевой гипотезы, когда альтернатива верна. Считается, что метаанализ имеет более высокую статистическую мощность, чем базовые первичные исследования, однако это не всегда верно (Hedges and Pigott, 2001; Jackson and Turner, 2017). Мета-анализ случайных эффектов обрабатывает неоднородность данных за счет учета дисперсии между исследованиями, однако это ослабляет выводные свойства модели. Для поддержания статистических возможностей, превышающих возможности исследований, участвующих в метаанализе случайных эффектов, необходимо как минимум пять исследований (Jackson and Turner, 2017).Следовательно, это ограничивает анализ подгрупп, при котором исследования разбиваются на более мелкие группы, чтобы изолировать ковариатозависимые эффекты. Таким образом, рецензенты должны убедиться, что группа не недопредставлена ​​недостаточно для сохранения статистической мощности. Еще одним определяющим фактором статистической мощности является ожидаемый размер эффекта, который, если он небольшой, будет гораздо труднее подтвердить имеющимися доказательствами, чем если бы он был большим. Таким образом, если рецензенты обнаруживают, что нет достаточных доказательств, чтобы сделать вывод о существовании небольшого эффекта, это не следует интерпретировать как доказательство отсутствия эффекта.

Причинно-следственный вывод . Мета-анализ не является инструментом для установления причинно-следственных связей. Однако существует несколько критериев причинно-следственной связи, которые можно исследовать с помощью исследовательского анализа, включая согласованность, силу связи, дозозависимость и правдоподобие (Weed, 2000, 2010). Например, последовательность, сила связи и дозозависимость могут помочь установить, что результат зависит от воздействия. Однако перед рецензентами по-прежнему стоит проблема учета смешивающих факторов и предвзятости.Следовательно, хотя метаанализ может исследовать различные критерии причинно-следственной связи, причинные утверждения неуместны, а результаты должны оставаться ассоциативными.

Выводы

Мета-анализ фундаментальных исследований может предложить критическое понимание текущего состояния знаний. В этой рукописи мы адаптировали метааналитические методы к приложениям фундаментальной науки и предоставили теоретическую основу, используя наборы данных OB [ATP] _i и ATP release, чтобы проиллюстрировать рабочий процесс. Поскольку обобщение любого метаанализа основывается на прозрачной, беспристрастной и точной методологии, обсуждались последствия несовершенной практики отчетности и ограничения метааналитических методов.Акцент был сделан на анализе и изучении неоднородности. Кроме того, было предложено несколько альтернативных и поддерживающих методов, в том числе метод проверки результатов мета-регрессии - регрессионный анализ внутри исследования и новый показатель неоднородности - порог однородности. Все анализы проводились с использованием MetaLab , набора инструментов мета-анализа, который мы разработали в MATLAB R2016b. MetaLab предоставляется бесплатно для продвижения метаанализа в фундаментальных исследованиях (https: // github.com / NMikolajewicz / MetaLab).

В своем нынешнем состоянии конвейер трансляции от стационарного к постели больного представляет собой неэффективный процесс, который, по оценкам, дает ~ 1 клинически благоприятный клинический результат для ~ 1000 фундаментальных исследований (O'Collins et al., 2006). Методы, которые мы здесь описали, служат в качестве общей основы для комплексной консолидации данных, выявления пробелов в знаниях, генерации гипотез на основе фактических данных и обоснованной оценки параметров в вычислительном моделировании, что, как мы надеемся, внесет свой вклад в метааналитические результаты, которые будут лучше информировать исследования перевода. тем самым сводя к минимуму текущие сбои в трансляционных исследованиях.

Авторские взносы

Оба автора внесли свой вклад в концепцию и дизайн исследования, сбор и интерпретацию данных, а также в составление черновиков и критический пересмотр рукописи. НМ разработал MetaLab. Оба автора одобрили к публикации окончательную версию.

Заявление о конфликте интересов

Авторы заявляют, что исследование проводилось при отсутствии каких-либо коммерческих или финансовых отношений, которые могут быть истолкованы как потенциальный конфликт интересов.

Благодарности

Эта работа была поддержана Советом по естественным наукам и инженерным исследованиям (NSERC, RGPIN-288253) и Канадскими институтами исследований в области здравоохранения (CIHR MOP-77643). NM был поддержан стоматологическим факультетом Университета Макгилла и организацией Le Réseau de Recherche en Santé Buccodentaire et Osseuse (RSBO). Особая благодарность Али Мохаммеду (Университет Макгилла) за помощь с валидацией модуля извлечения данных MetaLab.

Дополнительные материалы

Дополнительные материалы к этой статье можно найти в Интернете по адресу: https: // www.frontiersin.org/articles/10.3389/fphys.2019.00203/full#supplementary-material

Список литературы

Ахмед И., Саттон А. Дж. И Райли Р. Д. (2012). Оценка систематической ошибки публикации, систематической ошибки отбора и недоступности данных в метаанализе с использованием данных отдельных участников: опрос базы данных. Br. Med. J. 344: d7762 DOI: 10.1136 / bmj.d7762

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Анзурес-Кабрера Дж. И Хиггинс Дж. П. Т. (2010).Графические дисплеи для метаанализа: обзор с практическими рекомендациями. Res. Synth. Методы 1, 66–80. DOI: 10.1002 / jrsm.6

PubMed Аннотация | CrossRef Полный текст

Барендрегт Дж. И Дои С. (2009). Руководство пользователя MetaXL: версия 1.0 . Уилстон, QLD: EpiGear International Pty Ltd.

Битткер, Дж. А., и Росс, Н. Т. (2016). Высокопроизводительные методы скрининга: развитие и уточнение. Кембридж: Королевское химическое общество.DOI: 10.1039 / 9781782626770

CrossRef Полный текст | Google Scholar

Бодин П., Милнер П., Винтер Р. и Бернсток Г. (1992). Хроническая гипоксия изменяет отношение эндотелина к высвобождению АТФ из эндотелиальных клеток аорты крысы, подвергнутых высокому потоку. Proc. Биол. Sci. 247, 131–135. DOI: 10.1098 / rspb.1992.0019

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Боренштейн, М., Хеджес, Л., Хиггинс, Дж. П. Т. и Ротштейн, Х. Р. (2005). Комплексный мета-анализ (Версия 2.2.027) [Компьютерное программное обеспечение]. Энглвуд, Колорадо

Брамер, В. М., Джустини, Д., де Йонге, Г. Б., Холланд, Л., и Бекхуис, Т. (2016). Дедупликация результатов поиска в базе данных для систематических обзоров в EndNote. J. Med. Libr. Доц. 104, 240–243. DOI: 10.3163 / 1536-5050.104.3.014

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Кокрановское сотрудничество (2011 г.). Review Manager (RevMan) [Компьютерная программа] .Копенгаген.

Кокс, М., Харрис, П., и Зиберт, Б. Р.-Л. (2003). Оценка неопределенности измерения на основе распространения распределений с использованием моделирования Монте-Карло. Измерение. Techniq. 46, 824–833. DOI: 10.1023 / B: METE.0000008439.82231.ad

CrossRef Полный текст | Google Scholar

ДеЛука, Дж. Б., Маллинс, М. М., Лайлс, К. М., Крепаз, Н., Кей, Л. и Тадипарти, С. (2008). Разработка комплексной стратегии поиска для систематических обзоров, основанных на фактах. Evid. На основе Libr. Инф. Практик. 3, 3–32. DOI: 10.18438 / B8KP66

CrossRef Полный текст | Google Scholar

Финфгельд-Коннетт, Д., Джонсон, Э. Д. (2013). Стратегии поиска литературы для проведения качественных систематических обзоров с целью накопления знаний и создания теории. J. Adv. Nurs. 69, 194–204. DOI: 10.1111 / j.1365-2648.2012.06037.x

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Гананн, Р., Силиска, Д., и Томас, Х.(2010). Ускорение систематических обзоров: методы и последствия быстрых обзоров. Реализация Sci. 5, 56–56. DOI: 10.1186 / 1748-5908-5-56

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Гаваган Д. Дж., Мур Р. А. и МакКуэй Х. Дж. (2000). Оценка тестов на однородность в мета-анализах боли с использованием моделирования индивидуальных данных пациента. Боль 85, 415–424. DOI: 10.1016 / S0304-3959 (99) 00302-4

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Гопалакришнан, С., и Ганешкумар, П. (2013). Систематические обзоры и метаанализ: понимание лучших доказательств в первичной медико-санитарной помощи. J Fam. Med. Prim. Уход 2, 9–14. DOI: 10.4103 / 2249-4863.109934

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Хаби, М., Чепмен, Э., Кларк, Р., Баррето, Дж., Ревейс, Л., и Лавис, Дж. Н. (2016). Каковы наилучшие методологии быстрого обзора научных данных для принятия обоснованных решений в политике и практике здравоохранения: быстрый обзор. Health Res. Политика Syst. 14:83. DOI: 10.1186 / s12961-016-0155-7

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Хартунг Дж. И Макамби К. Х. (2002). Положительная оценка дисперсии между исследованиями в метаанализе: теория и методы. S. Afr. Стат. J. 36, 55–76.

Google Scholar

Хеджес, Л. В., и Олкин, И. (1985). Статистические методы метаанализа . Нью-Йорк, штат Нью-Йорк: Academic Press.

Google Scholar

Хиггинс, Дж.П., Грин С. (ред.) (2011). Кокрановское руководство по систематическим обзорам вмешательств , Vol. 4. Оксфорд: Джон Уайли и сыновья.

Google Scholar

Хиггинс, Дж. П., Уайт, И. Р., и Анзурес-Кабрера, Дж. (2008). Мета-анализ искаженных данных: объединение результатов, представленных в логарифмически преобразованных или необработанных шкалах. Stat. Med. 27, 6072–6092. DOI: 10.1002 / sim.3427

CrossRef Полный текст | Google Scholar

Huedo-Medina, T. B., Sanchez-Meca, J., Марин-Мартинес, Ф., и Ботелла, Дж. (2006). Оценка неоднородности в метаанализе: Q-статистика или индекс I ² ? Psychol. Методы 11, 193–206. DOI: 10.1037 / 1082-989X.11.2.193

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Хантер, Дж. Э., и Шмидт, Ф. Л. (2004). Методы метаанализа: исправление ошибок и систематических ошибок в результатах исследований . Таузенд-Оукс, Калифорния: Сейдж.

Google Scholar

Команда JASP (2018). JASP (Версия 0.9) [Компьютерное программное обеспечение] . Амстердам.

Контопантелис Э. и Ривз Д. (2012). Эффективность статистических методов метаанализа, когда истинные эффекты исследования распределены ненормально: имитационное исследование. Stat. Методы Мед. Res. 21, 409–426. DOI: 10.1177 / 09622802103

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Квон, Ю., Лемье, М., Мактавиш, Дж., И Уотен, Н. (2015). Выявление и удаление повторяющихся записей из результатов систематических обзоров. J. Med. Libr. Доц. 103, 184–188. DOI: 10.3163 / 1536-5050.103.4.004

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Лайт, Р. Дж., И Пиллемер, Д. Б. (1984). Подведение итогов: наука обзора исследований . Кембридж, Массачусетс: Издательство Гарвардского университета.

Google Scholar

Лимперт, Э., Стахел, В.А., и Эббт, М. (2001). Логнормальное распределение по наукам: ключи и подсказки: об прелестях статистики и о том, как механические модели, напоминающие игровые автоматы, предлагают ссылку на удобный способ описания логнормальных распределений, который может обеспечить более глубокое понимание изменчивости и вероятности - нормально или лог-нормально: вот в чем вопрос. AIBS Bull. 51, 341–352.

Google Scholar

Лоренцетти, Д. Л., и Гали, В. А. (2013). Программное обеспечение для управления ссылками для систематических обзоров и метаанализов: исследование использования и удобства использования. BMC Med. Res. Методол. 13, 141–141. DOI: 10.1186 / 1471-2288-13-141

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Марин-Мартинес, Ф., и Санчес-Мека, Дж. (2010). Взвешивание по обратной дисперсии или по размеру выборки в метаанализе случайных эффектов. Educ. Psychol. Измер. 70, 56–73. DOI: 10.1177 / 00131644034

CrossRef Полный текст | Google Scholar

Маттиви, Дж. Т., и Бухбергер, Б. (2016). Использование контрольного списка amstar для быстрой проверки: возможно ли это? Внутр. J. Technol. Оценивать. Здравоохранение 32, 276–283. DOI: 10.1017 / S0266462316000465

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Макгоуэн Дж. И Сэмпсон М. (2005). Систематические обзоры нуждаются в систематических поисковиках. J. Med. Libr. Доц. 93, 74–80.

PubMed Аннотация | Google Scholar

Миколаевич Н., Мохаммед А., Моррис М. и Комарова С. В. (2018). Механически стимулированное высвобождение АТФ из клеток млекопитающих: систематический обзор и метаанализ. J. Cell Sci. 131: 22. DOI: 10.1242 / jcs.223354

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Майло Р., Йоргенсен П., Моран У., Вебер Г. и Спрингер М. (2010). BioNumbers - база данных ключевых чисел в молекулярной и клеточной биологии. Nucleic Acids Res. 38: D750–3. DOI: 10.1093 / nar / gkp889

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Мохер Д., Либерати А., Тецлафф Дж. И Альтман Д. Г. (2009). Предпочтительные элементы отчетности для систематических обзоров и метаанализов: заявление PRISMA. PLoS Med. 6: e1000097. DOI: 10.1371 / journal.pmed.1000097

CrossRef Полный текст | Google Scholar

О'Коллинз, В. Э., Маклауд, М. Р., Доннан, Г. А., Хорки, Л.Л., ван дер Ворп, Б. Х., и Хауэллс, Д. В. (2006). 1026 экспериментальных методов лечения острого инсульта. Ann. Neurol. 59, 467–477. DOI: 10.1002 / ana.20741

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Патхак М., Двиведи С. Н., Део С. В. С., Шринивас В. и Такур Б. (2017). Какой показатель неоднородности в метаанализе является предпочтительным и почему? повторный визит. Biostat Biometrics Open Acc . 1, 1–7. DOI: 10.19080 / BBOAJ.2017.01.555555

CrossRef Полный текст | Google Scholar

Пацопулос, Н.А., Евангелу Э. и Иоаннидис Дж. П. А. (2008). Чувствительность неоднородности между исследованиями в метаанализе: предлагаемые показатели и эмпирическая оценка. Внутр. J. Epidemiol. 37, 1148–1157. DOI: 10.1093 / ije / dyn065

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Пол Р. К. и Мандель Дж. (1982). Согласованные значения и весовые коэффициенты. J. Res. Natl. Бур. Стоять. 87, 377–385. DOI: 10.6028 / jres.087.022

CrossRef Полный текст | Google Scholar

Санчес-Мека, J., и Марин-Мартинес, Ф. (2008). Доверительные интервалы для общей величины эффекта в метаанализе случайных эффектов. Psychol. Методы 13, 31–48. DOI: 10.1037 / 1082-989X.13.1.31

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Шварцер Г., Карпентер Дж. Р. и Рюккер Г. (2015). «Эффекты малого исследования в метаанализе», в Meta-Analysis with R , edds G. Schwarzer, J. R. Carpenter, and G. Rücker (Cham: Springer International Publishing), 107–141.

Google Scholar

Сена, Э., ван дер Ворп, Х. Б., Хауэллс, Д., и Маклеод, М. (2007). Как мы можем улучшить доклиническую разработку лекарств от инсульта? Trends Neurosci. 30, 433–439. DOI: 10.1016 / j.tins.2007.06.009

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Шелдрейк Р. (1997). Экспериментальные эффекты в научных исследованиях: насколько широко они игнорируются? Bull. Sci. Technol. Soc. 17, 171–174. DOI: 10.1177/027046769701700405

CrossRef Полный текст | Google Scholar

Сидик К. и Йонкман Дж. Н. (2005). Простая оценка дисперсии неоднородности для метаанализа. J. R. Stat. Soc. Сер. C Прил. Стат. 54, 367–384. DOI: 10.1111 / j.1467-9876.2005.00489.x

CrossRef Полный текст | Google Scholar

Стерн, Дж. А., Саттон, А. Дж., Иоаннидис, Дж. П., Террин, Н., Джонс, Д. Р., Лау, Дж. И др. (2011). Рекомендации по изучению и интерпретации асимметрии графика воронки в метаанализах рандомизированных контролируемых исследований. Br. Med. J. 343: d4002. DOI: 10.1136 / bmj.d4002

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Стерн, Дж. А. С., и Харборд, Р. (2004). Графики-воронки в метаанализе. Stata J. 4, 127–141. DOI: 10.1177 / 1536867X0400400204

CrossRef Полный текст | Google Scholar

Во, Д. Л., Фидлер, Ф., Камминг, Г. (2012). Воспроизведение и повторение - в чем разница и является ли это существенным ?: краткое обсуждение статистики и плана эксперимента. EMBO Rep. 13, 291–296. DOI: 10.1038 / embor.2012.36

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Вероники А. А., Джексон Д., Фихтбауэр В., Бендер Р., Боуден Дж., Кнапп Г. и др. (2016). Методы оценки дисперсии между исследованиями и ее неопределенности в метаанализе. Res. Synth. Методы 7, 55–79. DOI: 10.1002 / jrsm.1164

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Вестеринен, Х. М., Сена, Э.С., Иган, К. Дж., Херст, Т. К., Чуролов, Л., Карри, Г. Л. и др. (2014). Мета-анализ данных исследований на животных: практическое руководство. J. Neurosci. Методы 221, 92–102. DOI: 10.1016 / j.jneumeth.2013.09.010

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Viechtbauer, W. (2010). Проведение метаанализа в R с пакетом metafor. J. Stat. Софтв. 36, 1–48. DOI: 10.18637 / jss.v036.i03

CrossRef Полный текст | Google Scholar

фон Хиппель, П.Т. (2015). Статистика неоднородности I ² может быть смещена в небольших метаанализах. BMC Med. Res. Методол. 15:35. DOI: 10.1186 / s12874-015-0024-z

CrossRef Полный текст | Google Scholar

Виид, Д. Л. (2000). Интерпретация эпидемиологических данных: как связаны методы метаанализа и причинно-следственных связей. Внутр. J. Epidemiol. 29, 387–390. DOI: 10.1093 / intjepid / 29.3.387

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Неоднородность в метаанализе (Q, I-квадрат)

Неоднородность в метаанализе означает различия в результатах исследования между исследованиями.StatsDirect вызывает статистику для измерения неоднородности в статистике «несовместимости» мета-анализа, чтобы помочь пользователю интерпретировать результаты.

Измерение несоответствия результатов исследований

Классическим показателем неоднородности является коэффициент Кокрана Q, который рассчитывается как взвешенная сумма квадратов разностей между эффектами отдельных исследований и объединенным эффектом по исследованиям, причем веса используются в методе объединения.Q распределяется как статистика хи-квадрат с k (количество исследований) минус 1 степень свободы. Q имеет низкую мощность как всеобъемлющий тест на неоднородность (Gavaghan et al, 2000), особенно когда количество исследований невелико, то есть в большинстве метаанализов. И наоборот, Q имеет слишком большую силу в качестве теста на неоднородность, если количество исследований велико (Хиггинс и др., 2003): Q включается в каждую функцию метаанализа StatsDirect, потому что он является частью метода объединения случайных эффектов Дерсимониан-Лэрда. DerSimonian and Laird 1985).Дополнительный тест, предложенный Бреслоу и Дэем (1980), представляет собой метаанализ отношения шансов. Вероятно, невозможно проверить нулевую гипотезу о том, что все исследования оценивают один и тот же эффект, с учетом только сводных данных исследований: результаты теста на гетерогенность следует рассматривать вместе с качественной оценкой сочетаемости исследований в систематическом обзоре. .

Статистика I² описывает процент вариации в исследованиях, обусловленный гетерогенностью, а не случайностью (Хиггинс и Томпсон, 2002; Хиггинс и др., 2003). I² = 100% x (Q-df) / Q. I² - это интуитивно понятное и простое выражение несогласованности результатов исследований. В отличие от Q он по своей сути не зависит от количества рассмотренных исследований. Доверительный интервал для I² строится с использованием либо i) итеративного метода распределения хи-квадрат не центрального хи-квадрат Хеджеса и Пигготта (2001); или ii) основанный на тестах метод Хиггинса и Томпсона (2002). В настоящее время предпочтительным методом является нецентральный метод хи-квадрат (Хиггинс, личное сообщение, 2006) - он вычисляется, если выбран «точный» вариант.

График L'Abbé можно использовать для визуального исследования несогласованности исследований.

Выбор между фиксированными и случайными моделями эффектов

Если между испытаниями будет очень мало различий, то I² будет низким, и может оказаться подходящей модель с фиксированными эффектами. При фиксированных эффектах все исследования, которые вы пытаетесь изучить в целом, считаются проведенными в аналогичных условиях с аналогичными субъектами - другими словами, единственное различие между исследованиями заключается в их способности определять интересующий результат.Альтернативный подход, «случайные эффекты», позволяет результатам исследования варьироваться в нормальном распределении между исследованиями. Многие исследователи считают подход случайных эффектов более естественным выбором, чем фиксированные эффекты, например, в контексте принятия медицинских решений (Fleiss and Gross, 1991; DerSimonian and Laird 1985; Ades and Higgins, 2005).

Для моделей со случайными эффектами требуется больше данных, чтобы достичь той же статистической мощности, что и модели с фиксированными эффектами, и не существует «точного» способа обработки исследований с небольшими числами при допущении случайных эффектов.Это не должно быть проблемой для большинства метаанализов, однако не используйте модели случайных эффектов с разреженными наборами данных без экспертных статистических указаний.

Случайные эффекты - не панацея от трудности обобщения результатов метаанализа на реальные ситуации. Возможность обобщения может быть исследована с помощью дополнительных анализов, которые включают конкретные прогностические неопределенности помимо внутренних неопределенностей рассматриваемых исследований (Ades and Higgins, 2005).