MIT demonstrates computer vision system for counting fish in citizen science projects

MIT Sea Grant вместе с Woodwell Climate Research Center, CSAIL и другими партнёрами показал систему на базе глубокого обучения, которая считает рыбу по подводному видео. Идея не в том, чтобы заменить волонтёров, а в том, чтобы закрыть слепые зоны ручного мониторинга и получить более точные данные о миграции.

Почему ручной подсчёт ограничен

Каждую весну речная сельдь возвращается из прибрежных вод Массачусетса в реки и ручьи, где нерестится в пресной воде. За последние десятилетия её популяции сильно сократились, поэтому для природоохранных служб и рыбохозяйственных менеджеров важно понимать, сколько рыбы действительно проходит по рекам и в какие моменты это происходит. Проблема в том, что классический мониторинг обычно строится на визуальных подсчётах с берега и на помощи волонтёров, а такие наблюдения дают лишь короткие фрагменты общей картины.

У ручного подхода есть жёсткие ограничения. Волонтёры чаще всего работают днём и не могут непрерывно следить за потоком рыбы, поэтому ночные перемещения и короткие всплески миграции легко выпадают из данных. Иногда через участок реки проходят сотни особей за несколько минут, и такие пики сложно оценить на глаз.

Более продвинутые методы вроде акустического мониторинга и сонаров помогают не везде и стоят дороже, а ручной просмотр подводного видео остаётся слишком трудоёмким. Именно поэтому команда сделала ставку на компьютерное зрение как на более масштабируемый вариант.

Как собрали модель

Исследователи построили полный пайплайн: от установки подводных камер в полевых условиях до разметки роликов и обучения модели. Видео собирали сразу на трёх реках Массачусетса — Coonamessett в Фалмуте, Ipswich в Ипсвиче и Santuit в Машпи. Такой дизайн был нужен не для красивой демонстрации, а для проверки, сможет ли система работать в реальных условиях, где постоянно меняются освещённость, прозрачность воды, плотность рыбы, сезон и время суток.

• Подводные камеры фиксировали миграцию на трёх разных реках Для обучения брали ролики с разным светом, качеством воды, видами и плотностью рыбы Команда вручную разметила 1 435 видеоклипов и 59 850 кадров с bounding boxes * Результаты алгоритма сверяли с ручным просмотром видео, береговыми подсчётами и данными PIT-меток Ключевой вывод оказался довольно практичным: лучше всего работали модели, обученные на разнообразных данных из нескольких локаций и за несколько лет. Такой подход дал детализированные сезонные оценки, которые совпадали с результатами традиционного мониторинга. То есть речь идёт не о лабораторном прототипе, а о системе, способной выдавать сопоставимые с человеком подсчёты и при этом делать это в более высоком временном разрешении.

Что показали данные

Самая интересная часть — не только автоматизация подсчёта, но и новые наблюдения за поведением рыбы. На видео миграции 2024 года в реке Coonamessett система насчитала 42 510 особей речной сельди. Анализ показал, что движение вверх по течению достигало пика на рассвете, а обратное движение вниз происходило в основном ночью. Исследователи связывают это с тем, что рыба использует более тёмные и спокойные периоды, чтобы снижать риск встречи с хищниками. Для экологов это уже не просто число, а более богатая картина миграции.

«Эта работа улучшит возможности мониторинга рыболовства и оценку популяций для менеджеров и природоохранных групп», — говорит Роберт Винсент из MIT Sea Grant.

При этом авторы прямо говорят, что автоматический подсчёт не должен одномоментно вытеснить традиционные методы. Долгие ряды наблюдений важны сами по себе, и агентствам нужно сохранять сопоставимость данных, пока новые системы не внедрены полностью. Кроме того, гражданская наука здесь не исчезает, а меняет роль: волонтёры по-прежнему нужны для обслуживания камер, разметки видео и проверки моделей. В связке с компьютерным зрением это даёт более полную систему экологического мониторинга, чем каждый из подходов по отдельности.

Что это значит

Для AI это хороший пример того, как компьютерное зрение выходит из демонстраций в полевые задачи с измеримой пользой. Для экологии — способ усилить волонтёрские программы, получить почти непрерывное наблюдение и принимать решения по сохранению популяций на основе более плотных и точных данных. Если такие системы станут массовыми, мониторинг редких и мигрирующих видов можно будет делать чаще, дешевле и с меньшими потерями по качеству.