SiteSecure

Защита интернет-бизнеса от потерь и простоев

Исследование поисковой выдачи или "Осторожно, вредонос!"

Максим ЛагутинМаксим Лагутин,29 ноября 2016, 11:21

Число вредоносных ссылок в поисковой выдаче Яндекс, Bing, Faroo и Google c 2013 года увеличилось в 6 раз. К такому выводу пришли эксперты из компании AV-TEST.org. При этом поисковики посчитали вредоносными только 4,5% страниц из тех, что были признаны небезопасными в ходе мониторинга.

Неужели поисковики, которые дают доступ к 1 миллиарду сайтов и обрабатывают в день от 4 до 6 миллиардов запросов, перешли на темную сторону хакеров? В действительности это не так. К сожалению, несмотря на все действия поисковых компаний, разработку новых инструментов обнаружения и фильтрации, злоумышленники пока на голову впереди.

Проверка веб-страниц

Исследование независимой компании AV-TEST коснулось веб-страниц, которые выдают поисковики Yandex, Google, Bing и Faroo (небольшой поисковик с 2,5 млн. запросов, основанный на пиринговых технологиях, без спама и слежения за пользователями). Также специалисты изучили 515 миллионов сообщений в Twitter с 2014 года в поисках ссылок на вредоносный контент.

В 2013 году в ходе мониторинга веб-страниц специалисты AV-TEST вредоносными признали только 5050 из 40 миллионов. В 2015 году компания проанализировала 80 миллионов интернет-страниц, где суммарно было найдено 18280 с вредоносным кодом. В 2016 году за период с января по август была взята выборка из 81 миллиона страниц, из которых почти 30 000 были с вредоносным ПО. Это фишинговые страницы, страницы, которые инициируют загрузку вредоносного ПО, и те, что атакуют посетителя вирусом при заходе.

Эффективность Google Safe Browsing

Во время проведения исследования специалисты AV-TEST сознательно отказались от использования сервиса Google Safe Browsing, который должен уведомлять о наличии небезопасных ссылок на сайте. Этот сервис доступен не только в рамках поиска Google, но также и в браузерах Mozilla Firefox и Chrome, если поиск идет не через Google.

Google Safe Browsing запустили для мониторинга выборки из 80 миллионов страниц позже. Были получены следующие результаты:

из 80 миллионов страниц в выборке 2015 года по 9725 Google выдал предупреждение,

из 81 миллиона страниц в выборе за январь-август 2016 года Google выдал предупреждение по 19794.

Позже исследователи применили этот сервис к тем страницам, где они ранее обнаружили вирусы. И что удивительно, мониторинг Google в 2016 году выдал предупреждение только по 1337 веб-страницам из 29 632. В 2015 году из 18280 Google не понравились только 555.

Анализ твитов также выявил проблемы у соцсети, которая самостоятельно не может фильтровать посты с вредоносными ссылками. Из 25 миллионов ссылок в Twitter 1500 ведут на опасные сайты.

Куда вели вредоносные ссылки?

В 60% случаев заражение компьютера начиналось прямо из полученного файла. В оставшихся 40% случаев вирусы устанавливались через сниппеты кодов, Java, Flash и другие эксплойты.

Топ-5 расширений файлов, которые использовались для атаки:

EXE (файлы установки)

ZIP (сжатые в архив файлы)

RAR (сжатые в архив файлы)

SWF(файл Adobe Flash Multimedia)

MSI (инсталлятор Microsoft Windows)

Исследования SiteSecure реакции поисковиков на угрозы

Исследование SiteSecure подтвердило, что поисковики Yandex и Google ошибаются в выявлении угроз и вредоносных кодов на сайте.

В нашей выборке из 300 000 сайтов 243 веб-ресурса имели редиректы на зараженный вирусами сайт. При этом Yandex и Google посчитали безопасными более 50% из этих сайтов. На 372 сайтах из выборки были динамические ссылки на вредоносные сайты. Google обнаружил 25% из них, а Yandex - 40%. Google обнаружил менее 20% уязвимых сайтов, а Yandex выявил 33% редиректов, размещенных на веб-страницах.

Таким образом, Яндекс был более успешен в вопросах безопасности сайтов - он нашел заражения в 2,5 раза чаще, чем Google.

Отчет SiteSecure

Почему поисковики не справляются?

Абсолютное число инфицированных сайтов не столь велико. Однако стоит пристальнее посмотреть на то, какова посещаемость этих ресурсов. Google обрабатывает 2-3 миллиарда запросов в день, которые приводят к посещению 1,1 миллиарда сайтов. Новостные сайты посещают около 100 000 раз в день, а сайт про выведение хомячков - 100 раз в день. Поэтому если будет инфицирован сайт с высокой посещаемостью, то это приведет к массовым заражениям. А если заразят маленький сайт, то вирус попадает едва ли на 10 компьютеров. Другое дело, что на новостном сайте вирус найдут быстрее, а сайт про хомяков может содержать ссылки на фишинговые страницы годами.

Понять, сколько сайтов в данный момент в мире заражено, не представляется возможным. Однако данные тестов и мониторинга показывают, что количество небезопасных страниц растет. Даже приведенный анализ говорит, что буквально за год число сайтов с вирусами возросло на 60%.

Выводы

.

Сотрудник AV-TEST Маик Моргенстерн предположил, что такое расхождение с такое расхождение в данных мониторинга и ответах сервиса от Google связано с наличием динамического контента. Этот контент - рекламные объявления с вредоносными ссылками, которые демонстрируются посетителям сайта в зависимости от их геолокации, истории посещения, браузера, устройства и т.д.

Вероятно также и то, что Google и Bing редко проводят сканирование сайтов, а за время, прошедшее после их мониторинга на страницах могли появиться вредоносные ссылки. Кроме того, у поисковиков может быть свой взгляд на то, что является опасным, а что нет.

Злоумышленники пользуются высокой скоростью развития интернета. Тяжеловесные системы затратного по времени мониторинга не решают проблему поиска вирусов. Пока сервисы поисковиков проверяют одни сайта, на других уже появляется новый контент, новые модули, новые скрипты.

Опыт показывает, что новый сайт появляется в поиске через 14 дней с вероятностью 25%. То есть поисковики просто не успевают обходить сайты.

Кроме того, сам анализ сайтов становится более сложным и затратным. Так, Google сделал платным сервис по мониторингу сайтов. Поисковик берет плату за объем данных, полученных через API.

В целом поисковики не специализируются на поиске угроз. Они выполняют эти работы факультативно, для улучшения качества сервиса. Но все же пока тратят на это недостаточно сил и времени, чтобы поиск давал максимальный результат.

Что делать?

.

В связи с этим мы рекомендуем не надеяться на предупреждения поисковиков, а использовать постоянно сервисы онлайн-мониторинга безопасности сайта. В отличие от Google или Яндекс они обходят сайт ежедневно и анализируют их на наличие вредоносных ссылок, скриптов и модулей. Таким надежным сервисом является SiteSecure, который проводит анализ по сотне параметров и незамедлительно сообщает о проблемах через SMS и e-mail.