Он умер ради науки

Это исследование началось с шуточного опыта и практически так и не увидело света. Но стало важной вехой в области функциональной магнитно-резонансной томографии, с помощью которой измеряется уровень оксигенации крови в мозге (как правило, человека) при выполнении им заданий. Такие исследования широко используются, цитируются в прессе, они многое открыли нам о мозге, наших умственных способностях, а также о ряде болезненных состояний. Но до появления работы не во всех подобных исследованиях делались поправки на множественные сравнения. Теперь ситуация начала улучшаться. Благодаря мёртвому лососю.

Беннетт и соавт. «Нервные корреляты мёртвого атлантического лосося при межвидовой оценке ситуаций со смещённой перспективой восприятия: аргументы в пользу применения адекватной поправки на множественные сравнения». Journal of Serendipitous and Unexpected Results («Журнал случайных и неожиданных результатов»), 2010.

История началась, когда Крейг Беннетт (профессор психологии из Университета Калифорнии, доктор наук) с коллегами проводил подготовительную работу для своего… хм… реального эксперимента, направленного на изучение реакций людей на социальные стимулы. Но сперва нужно было протестировать оборудование. Обычно при проверке аппарата фМРТ в него кладётся баллон с минеральным маслом, на котором проверяется работоспособность машины, контрастность и т.д. Но авторы исследования захотели чего-то с бо́льшим контрастом и иной текстурой.

Вначале они купили тыкву.

На любезно предоставленных авторами снимках вы можете увидеть семена внутри тыквы, если присмотритесь!

Они получили хороший сигнал, но не самый хороший контраст. Затем попробовали бойцовую курицу породы корниш (мёртвую, ощипанную, из магазина). Это дало хорошие визуальные показатели, но было не совсем тем, чего они хотели. Авторам нужно было что-то с хорошим контрастом и одновременно чётко определяемыми и легко различимыми типами тканей: жиром, костями, мускулами и т.п.

Явление лосося

Ведущий автор, доктор Крейг Беннетт, хотел что-то свежее, а посему утром первым делом отправился в продуктовый магазин. В рыбном отделе он произнёс слова, которые будут эхом отдаваться в веках как свидетельство преданности и вдохновлённости нейробиологов:

«Дайте мне целого атлантического лосося. Для науки».

Я до сих пор в шоке, что продавцы не дали ему скидку. Неужели нельзя было это сделать, ради науки-то?

После закупки образца исследователи поместили лосося в фМРТ и провели обычное анатомическое сканирование, а затем и серию экспериментальных сканирований для исследования. В рамках исследования лососю показывали фотографии людей в различных социальных контекстах, как социально открытых, так и социально замкнутых. Лосося просили предположить, как человек должен чувствовать себя в той или иной ситуации. Однако, судя по отчёту, лосось не выказал желания выполнять задания. Непослушный лосось.

Результаты отложили в сторону и забыли, пока один из авторов исследования не собрался провести семинар по правильному анализу данных фМРТ. Он хотел продемонстрировать некорректный анализ каких-нибудь неправдоподобных данных и вспомнил, что у него в компьютере есть данные по лососю. Так исследование и родилось.

Ну, а теперь разберёмся, что же они сделали. Когда проводятся исследования на основе фМРТ, собираются тонны информации. Информацию разбивают на серии объёмных изображений, называемые вокселями — до 130000 парных сравнений в одном исследовании, в каждом из которых проверяют «активированность» по сравнению с другими. По таким исследованиям очень проблематично обработать статистические данные. Нужны тысячи сравнений, отчего появляется «проблема множественных сравнений». Если делать много тестов, некоторые приведут к положительным результатам, даже если в генеральной совокупности различий нет. Такие результаты называются ложноположительными, именно их нужно отслеживать и выявлять.

Существуют несколько типов поправок на множественные сравнения, однако вместе с этим в значительной степени теряется статистическая мощность. Другими словами, от ложноположительных результатов вы избавляетесь, но тогда вы, быть может, не увидите реальной картины, и вместо ложноположительных получите ложноотрицательные результаты. В области фМРТ не прекращается дискуссия о том, какие ложные результаты опаснее — ложноположительные или ложноотрицательные. Авторы данного исследования утверждают, что ложноположительные результаты раздуваются чаще, что далее по цепочке создаёт много проблем. Кстати, если хотите быть в курсе последних событий в области статистики, рекомендую блог автора, пишущего под псевдонимом Neuroskeptic.

Итак, чтобы получить итоговые результаты, авторы сопоставили обычные множественные сравнения и сравнения с поправкой. При использовании множественных скорректированных сравнений мёртвый лосось ничего не показал. А когда они взяли множественные сравнения без поправок, у лосося случайно обнаружилась статистически значимая «активность» в головном и спинном мозге. Это иллюстрирует важность корректировки множественных сравнений и исключения ложноположительных результатов.

Когда они взяли множественные сравнения без поправок, у лосося случайно обнаружилась статистически значимая «активность» в головном и спинном мозге.

Первая публикация исследования едва не стала причиной для конференции, а когда та состоялась, исследование произвело фурор, отзывы были очень положительными. Хотя некоторые используют исследование лосося для доказательства того, что фМРТ — чушь, на самом деле, исследование очень хорошо доказывает, как важно проводить коррекцию статистических данных.

Возможно, и публикация и вышедшая позднее работа оказали определённое влияние на свою область. Как отмечают авторы, на момент выхода статьи в 25-40% опубликованных работ с полученными на основе фМРТ данными поправка на множественные сравнения не применялась. Ко времени вручения этой группе учёных Шнобелевской премии число таких работ сократилось до 10%. Как знать, может быть, всё это благодаря мёртвой рыбе.

Беннетт и соавт. «Исследование мёртвого лосося»

В чём проблема

Из-за чрезвычайно большого объёма функциональных нейровизуальных данных возникает риск ложноположительных результатов. При типичном объёме фМРТ в 130000 вокселей вероятность хотя бы одного ложноположительного результата практически стопроцентна. Для таких массивов данных необходимо вводить поправку на множественные сравнения, но зачастую исследователи её игнорируют. Чтобы показать серьёзность этой проблемы, мы провели реальный эксперимент, демонстрирующий, насколько опасно оценивать вероятности без поправок.

Методика

Объект. В фМРТ-исследовании принял участие один взрослый атлантический лосось (Salmo salar). Длина лосося — 46 сантиметров, вес — 1,7 кг. На момент сканирования лосось был мёртв.

Задача. Лосось должен был выполнять неограниченные по времени задания на вынесение суждений о поведении людей как результате их психического и эмоционального состояния. Лососю демонстрировали серию фотографий, на которых изображались индивидуумы в различных социальных ситуациях с ярко выраженной эмоциональной валентностью. Лосось должен был определить, какую эмоцию испытывает человек на фотографии.

Модель. Стимулы были организованы в блочную схему, где каждая фотография показывалась в течение 10 секунд, после чего следовали 12 секунд перерыва. Всего было показано 15 фотографий. Общее время сканирования составило 5,5 минут.

Предварительная обработка данных. Обработка снимков осуществлялась в статистической среде SPM, версия 2. Предварительная обработка функциональных данных сканирования включила аффинное преобразование временных рядов фМРТ по 6 параметрам, совместную регистрацию данных в Т1-взвешенное анатомическое изображение, а также сглаживание гауссовой функцией с шириной на половине высоты в 8 мм.

Анализ. Статистические показатели по вокселям данных о лососе рассчитывались через обычную оценку по методу наименьших квадратов в общей линейной модели. Предикторы гемодинамической реакции были смоделированы функцией в виде единичного прямоугольного импульса с канонической гемодинамической реакцией. Был использован 128-секундный временной высокочастотный фильтр, чтобы убрать шумы на низких частотах. Поправку на автокорреляцию не вводили.

Отбор вокселей. Коррекция множественных сравнений результатов фМРТ проводилась с использованием двух методов. Первый контролировал среднюю долю фальшположительных заключений (FDR) и основывался на методе, описанном Бенджамином и Хокбергом (1995). Второй метод контролировал вероятность хотя бы одного фальшположительного заключения или ошибку 1-го рода при множественных сравнениях (FWER) путём использования теории случайного гауссова поля. Для этого применялись алгоритмы, первоначально разработанные Фристоном и соавторами (1994).

Обсуждение. Можно ли заключить из этих данных, что лосось выполнял задания по оценке ситуаций со смещённой перспективой восприятия? Конечно, нет. Но можно определить, что случайные шумы во временных рядах эхо-планарного отображения могут давать ложные результаты, если не делать контроля множественных сравнений.

Адаптивные методы контроля общего уровня ложноположительных результатов и общего уровня ошибок иерархических семейств — прекрасные инструменты, включаемые во все основные наборы для проведения анализа фМРТ. Мы утверждаем, что, используя принятый статистический порог (p < 0,001) и и минимальный размер кластера (k > 8), невозможно осуществить эффективный контроль множественных сравнений. Далее мы говорим о том, что в большинстве исследований на основе фМРТ необходимо вводить поправку на множественные сравнения как стандартную практику при вычислении статистических результатов.

Результаты обобщенной линейной модели

T-критерий использовали для выявления районов со статистически значимым изменением сигнала при предъявлении фотографии по сравнению с отсутствием таковой. T-значение для 131 степени свободы должно было превысить 3,15, что соответствовало нескорректированному p-значению = 0,001. 3 вокселя превысили порог.

Обнаружены несколько активных вокселей в кластере, расположенном в мозговой полости лосося. Размер этого кластера составил 81 мм3, а уровень значимости кластера р = 0,001. Из-за плохого разрешения получаемых эхо-планарных изображений и относительно маленького размера мозга лосося невозможно провести границы между различными отделами мозга. Из 8064 вокселей, составивших общий объём исследования, 16 вокселей были статистически значимы.

При проведении аналогичных сравнений по t-критерию с применением FDR и FWER поправок на множественные сравнения не было обнаружено активных вокселей даже при мягком уровне значимости (p = 0,25).

Изменчивость вокселей

Мы наблюдали тенденцию высокоизменчивых вокселей формировать группы в зонах высокой интенсивности воксельных сигналов.

Чтобы исследовать пространственную конфигурацию ложноположительных результатов, мы провели анализ изменчивости временных рядов фМРТ. Рассматривая воксел за вокселем, мы вычислили стандартное отклонение контролируемых параметров во всех 140 исследуемых зонах.

Мы наблюдали тенденцию высокоизменчивых вокселей формировать группы в зонах высокой интенсивности воксельных сигналов. Рисунок а демонстрирует усреднённое эхо-планарное изображение для всех 140 томов изображений. Рисунок b показывает стандартную величину отклонения для каждого вокселя. Рисунок c иллюстрирует значения стандартного порогового отклонения, наложенные на Т1-взвешенное изображение в высоком разрешении.

Диаграмма рассеяния среднего воксельного сигнала по сравнению со стандартным воксельным отклонением.

Диаграмма рассеяния среднего воксельного сигнала по сравнению со стандартным воксельным отклонением.

Для детального изучения данного эффекта мы оценили коэффициент корреляции Пирсона, чтобы проверить соотношение между интенсивностью сигнала в вокселе и его изменчивостью. Была обнаружена существенная положительная корреляция между средним воксельным значением и его изменчивостью во времени (r = 0,54, p < 0,001).

Над переводом работали Елена Кочкина и Сергей Мыльников, иллюстрация Полины Бальцевич.

1. Бетани Брукшир (Bethany Brookshire). IgNobel Prize in Neuroscience: The dead salmon study.
2. Беннетт и соавт. (Bennett et al.). «Neural Correlates of Interspecies Perspective Taking in the Post-Mortem Atlantic Salmon: An Argument For Proper Multiple Comparisons Correction». Journal of Serendipitous and Unexpected Results, 2010.

Получить ссылку на материал

Спасибо!

Также вы можете подписаться на обновления сайта:

1 Комментарий

    Переводчики, вы молодцы - такой сложный текст перевели! Но перевести "PhD", как "доктор наук" - вы серьезно?!...
    https://www.linkedin.com/in/prefrontal

Добавить комментарий