Что нового

Cheat Sheet Пассивный сбор информации - OSINT

Vander

Vander

Команда форума
10.11.2019
190
441
Приветствую гостей и участников форума Protey.​

Хочу представить Вашему вниманию цикл статей Cheat Sheet для CTF & Pentest целей.

По порядку будут рассмотрены различные техники и методы, утилиты и мощные фреймворки.

В этой статье поговорим о Разведке на основе открытых источников – OSINT.

21.png


Различия между простым поиском в сети и OSINT’ом в глубине подхода — нельзя изучить рацион питания глубоководных рыб, наблюдая за рябью на поверхности океана.

Итак, перед нами есть цель, будь то CTF - хост или сеть, с которой вы работаете как пентестер, для начала, необходимо собрать максимум информации, не привлекая к себе внимания, из открытых источников.

В этом посте я собираюсь выделить некоторые основные элементы, которые должен знать каждый, кто полагается на OSINT, а также новые ресурсы, которые могут дать дополнительную информацию.

33.jpg

DNS

С помощью таких инструментов, как host, dig и nslookup, вы можете искать различные типы записей DNS (A, CNAME, NS, MX, TXT и т. Д.), Использовать альтернативные серверы имен и многое другое.

Например, знаете ли вы, что DNS Quad9 всегда будет разрешать любой вредоносный хост до 127.0.0.1? Это означает, что, используя их сервер имен для выполнения поиска, вы можете быстро проверить, является ли он потенциально вредоносным:

Код:
nslookup protey.net 9.9.9.9
333.png

Получаем информацию о DNS регистраторе:

Код:
whois protey.net
12.png

Выполнить поиск IP-адреса DNS и A – записи:

Код:
dig a protey.net
32.png

Получаем информацию о MX записи:

Код:
dig mx protey.net @8.8.8.8
334.png

AXFR — раскрытие информации о трансфере зоны
  • Domain Name System включает спецификацию full zone transfer (AXFR). Обычно этот механизм используется для репликации информации зоны между серверами, но он также может использоваться для получения различной информации. Уязвимость связана с тем, что многие DNS сервера не выполняют ограничения на AXFR запросах.
  • XFR данные могут использоваться, чтобы найти почтовые ретрансляторы, прокси-серверы, хосты с определенными OS или установленными приложениями.
  • Когда DNS-сервер получает AXFR-запрос, он отдает все данные, которые ему известны для запрошенного домена. Подразумевается, что такой запрос придет от DNS-сервера, который пытается выполнить трансфер зоны (перенести домен к себе, реплицировать). Но если DNS-сервер сконфигурирован неверно, любой юзер может получить доступ к этим данным.
  • Очень часто сайты имеют «секретные» субдомены (dev.*, test.* и подобные) для внутреннего использования. Возможно, эти домены содержат интересную информацию.
Узнать, выдает ли Ваш DNS подробные данные о содержимом зоны (AXFR) можно так:

Код:
dig axfr protey.net @nameserver
445.png

В моем случае уязвимость отсутствует, переходим к следующему шагу.

Электронная почта

Для получения информации связанной с электронной почтой, можно воспользоваться утилитой SimplyEmail.

1576436526188.png

Она произведет поиск по различным сервисам, включая Google, Github на предмет регистрации там интересующих нас адресов.

Сканеры портов (Nmap, masscan,…)
  • Открытые порты указывают, какие службы предоставляет сервер. Порт 443 обычно HTTPS; порт 22 обычно SSH и так далее. Сканеры портов автоматизируют процесс определения всех сервисов, открытых данным IP / хостом, потенциально раскрывают используемое программное обеспечение, его версию и иногда могут также идентифицировать операционную систему хоста.
К активному сканированию мы обратимся в следующих статьях.

Синтаксис поиска Google
  • Во многих книгах об этом подробно говорится, ознакомьтесь с Google Hacking Database (GHDB) и вы поймете, о чем речь.
Python
  • В конце концов вы захотите сделать что-то уникальное, объединяющее различные инструменты и API для вашего конкретного случая использования. Я специально упомянул Python, потому что это доступный язык, обычно его легко читать, а стандартная библиотека богата функциональностью. И если в стандартной библиотеке нет того, что вам нужно, вы можете поспорить, что для этого уже есть модуль. Большинство инструментов OSINT, с которыми я сталкивался, написаны на Python по этой причине, поэтому, если вы новичок в Python и хотите применить его специально для OSINT, посмотрите онлайн-курсы, которые Джастин Зейтц - http://www.automatingosint.com/blog/about-me/ (автор Hunchly - https://www.hunch.ly) или просто Учебник по Python - https://docs.python.org/3/tutorial/ - он удивительно читабелен.
Думай творчески!
  • Одной из вещей, которые мне нравятся в OSINT, является то, что это часто большая головоломка из слабо связанных частей. Вы получаете один фрагмент информации, который ведет к другому, а затем к другому. Вы попадаете в тупик, вынуждены разворачиваться, а информация, которую вы собираете по пути, создает более целостную картину. Ключ в том, чтобы не сдаваться, мыслить креативно и находчиво.
В итоге, у вас получится примерно такая картина:

55.jpg

Изучив вышеперечисленные основы, можно приступить к работе с более сложными инструментами и платформами, работающие в более крупных масштабах:

Интернет-сканеры

Самое замечательное в интернет-сканерах то, что когда вы хотите узнать, какие сервисы предоставляет ваша цель (открытые порты, протоколы, приложения, контент), они делают большую часть тяжелой работы за вас, поэтому вам просто нужно запросить их базу данных вместо сканирования портов вручную.

Другое важное преимущество: оно полностью пассивно, поэтому ваша цель ничего не знает о вашем поиске.

Shodan
  • Вероятно, бесспорный лидер интернет-сканеров, предоставляет богатый язык запросов, API и, что самое важное, тонны данных, которые можно анализировать.
1576437253483.png

Censys
  • Эта платформа быстро растет; высокое качество данных и приятный интерфейс и API для работы.
censys.jpg

BinaryEdge
  • Эти ребята обнаружили ряд утечек через свою платформу и недавно открыли бесплатный доступ для публики. Они также включают данные BitTorrent и имеют API.
1576437383205.png

Пассивный DNS

Пассивные службы DNS подключаются к интернет-трафику DNS, чтобы создать историю разрешений DNS. Мы знаем, что с помощью DNS мы можем преобразовать имя в IP или IP в имя. Но что, если мы хотим найти все домены, которые соответствуют данному IP? Или узнать историю смены IP-адресов?

Пассивный DNS решает эту проблему. Ни одна из служб никогда не будет иметь полной картины, поэтому актуальность данных будет варьироваться, продуктивнее будет иметь в арсенале несколько таких ресурсов, для получения наиболее полной картины.

SecurityTrails
  • Помещение SecurityTrails в категорию «Пассивный DNS» немного неверно, поскольку у них функционал обширнее, чем пассивный DNS. Они располагают множеством данных, богатым API и удобным интерфейсом. Так же преимуществом является наличие бесплатного уровня использования.
66.png

Robtex
  • Robtex используется практически всеми инструментами OSINT, потому что он существует давно, является бесплатным и содержит много высококачественных данных, появившихся много лет назад. Не обманывайте себя простым пользовательским интерфейсом - он богат данными, и они предоставляют API.
1576438185085.png

HackerTarget
  • Еще один богатый источник бесплатных пассивных данных DNS, доступный через API. Стоит также проверить все другие инструменты, которые они предоставляют бесплатно.
1576438239771.png

Оценка репутации цели

SSL Server Test
  • Сервис SSL Server Test, разработанный в Qualys SSL Labs, похожим образом проводит проверку сертификатов SSL и выдает подробнейший отчет о ключах и поддерживаемых методах шифрования. Он даже симулирует хендшейки в разных браузерах и операционных системах.
1576444687714.png

VirusTotal
  • Принадлежащая Google - огромная платформа, предоставляющая данные о репутации, пассивный DNS и многое другое. Доступ бесплатный, но объемы запросов строго контролируются с помощью регулирования. Не должно быть проблемой, если вы используете только пользовательский интерфейс.
1576438313553.png

Greynoise
  • Если вы расследуете подозрительные IP-адреса, то это отличный ресурс для устранения ложных срабатываний («анти-угрозы разведки»).
  • Большинство компаний, занимающихся кибербезопасностью, хотят рассказать вам обо всех вещах, о которых вам следует беспокоиться. GreyNoise - расскажет обо всех вещах, о которых не стоит беспокоиться.
1576438400353.png

Списки IP-адресов FireHOL
  • Как указано на сайте: «Цель состоит в том, чтобы создать черный список, который может быть достаточно безопасным для использования во всех системах с брандмауэром, чтобы полностью блокировать перечисленные IP-адреса». Они также поддерживают историю данных, анализ на уникальность и многое другое.
  • На этом сайте анализируются все доступные IP-каналы безопасности, в основном связанные с атаками в режиме онлайн, злоупотреблениями в режиме онлайн, вредоносными программами, ботнетами, серверами управления и контроля и другими действиями в области киберпреступности.
1576441899526.png

Reverse Whois

Reverse Whois - В то время как обычный Whois обеспечивает поиск только по доменному имени, ресурсы Reverse Whois позволяют искать текущие и исторические записи Whois по таким полям, как имя, номер телефона и адрес электронной почты.

Более конкретно, если abc@xyz.com является контактом для домена, который вы исследуете, вы можете найти все домены, зарегистрированные под этим адресом электронной почты. Это позволит обнаружить полный периметр вашей цели за пределами основного доменного имени.

ViewDNS.info
  • Многие бесплатные инструменты предоставляются на их веб-сайте, и цены на API вполне разумны.
1576438690861.png

WhoXY
  • Данные охватывают более 2000 TLD, доступность через API и в натуральном выражении. Можно оплачивать объемы выдачи запросов частями по ставке 2 доллара за 1000 запросов.
1576438780962.png

SecurityTrails
  • SecurityTrails - также предоставляют обратные данные Whois.
1576438831717.png

Инструменты автоматизации

С постоянно растущим числом источников данных OSINT вам в конечном итоге понадобится некоторая автоматизация, чтобы вы не тратили время на переключение между окнами браузера, копирование и вставку, а также на повышение вероятности человеческой ошибки. Инструменты позволят вам собирать, структурировать, сопоставлять и визуализировать данные OSINT и даже отслеживать изменения в реальном времени.

На арене OSINT появляется все больше инструментов, охватывающих подсчет субдоменов, корреляцию социальных сетей и так далее. Иногда общий инструмент широкого охвата полезен, чтобы дать вам доступ ко многим точкам данных одновременно, а в других случаях нужен очень узкий и конкретный инструмент только для одной точки данных.

Однако одной из важнейших тем является актуальность - используйте инструменты, которые активно поддерживаются, чтобы вы могли быть уверены, что они используют самые последние API-интерфейсы источников данных, с которыми они интегрируются.

SpiderFoot
  • SpiderFoot – Инструмент, который предоставляет собственный веб-интерфейс, CLI, активно поддерживается и имеет более 150 модулей для интеграции с источниками данных OSINT и их анализа. Кроме того, SpiderFoot HX Private Beta ещё открыта и обладает большим функционалом.

777.png

Maltego
  • Доступен как Community Edition (бесплатно) или коммерческий. Maltego обладает впечатляющими возможностями визуализации и работает с моделью «преобразований» OSINT, которые преобразуют один тип данных (например, адрес электронной почты) в другой (например, имя человека).
1576439064142.png

theHarvester
  • Очень популярный инструмент OSINT CLI с открытым исходным кодом, который интегрируется с источниками данных, включая, упомянутых в этой статье.
theHarvester-tool-used-for-Information-gathering-In-Kali-Linux.jpg

Project iKy
  • Является инструментом, который собирает всю доступную информацию о цели, используя в качестве вводных данных, адрес электронной почты.
44322.jpg

Сообщество

Одна из лучших вещей, которые произошли в пространстве OSINT за последние пару лет, - это рост сообщества. Сообщения в блоге, группы чатов, сводные списки ресурсов и даже подкасты теперь доступны:

The OSINT Podcast
  • Джейк Крепс - освещает новые ресурсы и инструменты OSINT, а также проводит интервью с ключевыми людьми в пространстве OSINT.
1576440195910.png

Веб-сайт Майкла Баззелла
  • Этот ресурс освещает более следственные и менее технические моменты, но все же очень полезно для поиска новых методов и источников для проведения OSINT.
1576440258355.png

OSINTcurio.us
  • Блог, который появился совсем недавно и за которым нужно следить. Занимательно почитать о том, как некоторые люди попали в OSINT, и ресурс постоянно наполняется учебными материалами.
1576440310507.png

Awesome OSINT
  • Комплекс ссылок на ресурсы OSINT. Он, вероятно, имеет все источники OSINT, известные человеку, и размещен на Github, поэтому, вы можете внести свой вклад.
1576440365644.png

OSINT Rocket Chat
  • Сотни или тысячи участников. Тут вы найдете полезное и активное сообщество сотрудников InfoSec, исследователей и любителей OSINT.
1576440414208.png

OSINT Framework
  • OSINT Framework, как следует из его названия, представляет собой инфраструктуру кибербезопасности, набор инструментов OSINT, упрощающих ваши задачи по сбору информации и данных.
  • Этот инструмент в основном используется исследователями безопасности и тестерами на проникновение для поиска цифрового следа, исследований OSINT, сбора разведывательных данных и разведки.
  • Он предоставляет простой веб-интерфейс, который позволяет просматривать различные инструменты OSINT, отфильтрованные по категориям.
  • Он также предоставляет отличную классификацию всех существующих источников Intel, что делает его отличным источником информации о том, какие информационные области вы не планируете изучать, или какими будут следующие предлагаемые шаги OSINT в вашем исследовании.
  • OSINT Framework классифицируется на основе различных тем и целей. Это легко увидеть, посмотрев на дерево OSINT, доступное через веб-интерфейс.
3e3a31be9366514912e8803ede76e02a563410f7-passive-dns-tools.jpeg

Вывод

Надеюсь, собранная мной информация окажется для вас полезной, а в следующих статьях мы поговорим о более агрессивных способах получения интересующих нас данных.

Спасибо за внимание, материал подготовлен специально для форума protey.net
 
Последнее редактирование:
P

peshkooff00

Newbie
29.11.2019
7
6
Огонь, спасибо за большое колличество ресурсов, о большей части даже не слышал!
 
Верх