Аналитика ЦРУ: правильный подход к большим данным

Статья написана на основе выступления Айра Ханта, директора по технологиям ЦРУ.
Информация, собранная ЦРУ, предназначена для обнаружения планов и возможностей своих противников. Эта информация формирует базу для принятия решений и последующих действий. Агентство осуществляет операции по приказу президента США в целях предотвращения угроз и реализации американских интересов. Такова официальная позиция.

В своей работе агентство полагается на поток информации, объемы которой возрастают в геометрической прогрессии. Агентство работает над шестью ключевыми технологическими компонентами:

• безопасность — Мобильные технологии уязвимы. Задача состоит в том, чтобы обеспечить моментальный, безопасный и своевременный доступ к людям, данным и программному обеспечению из любой точки земли
• Анализ как сервис — Поиск шаблонов, зависимостей, корреляций для понимания планов и намерений оппонентов. Обнаружение полезных сведений в океане информации
• Виджеты и сервисы — Настраиваемые инструменты, которые позволяют аналитикам и оперативникам работать в желаемой манере. Персонализация в контексте
• Безопасность как сервис — Необходимость в защищенной системе с шифрованием, аудитом и защитой цифровых прав
• Гавань для данных — Высокопроизводительная среда, которая позволяет ЦРУ находить и использовать большие объемы данных
• Облачные решения — Большой масштаб и вычислительные возможности

ЦРУ собирает данные со всего интернета, включая социальные сети. Наиболее крупные сервисы генерируют огромные объемы данных:

• Google — Более 100 миллионов гигабайт данных. Всего 3 миллиона серверов
• Facebook — Более 1 миллиарда пользователей и 300 миллионов гигабайт
• YouTube — Более 1 миллиард гигабайт общего объема. 72 часа видео загружается на сервис каждую минуту
• Twitter — 4500 твитов в секунду
• Сообщения — 193 000 сообщений в секунду
• Мобильные в США — 2,2 триллиона минут разговоров в год

Социальные, мобильные и облачные технологии изменяют манеру работы с данными. В будущем за ними последуют нано- и биотехнологии, а также широкое распространение сенсоров. Любой мобильный телефон уже является сенсором. Географическое расположение, акселерометр, сетевые подключения, использование интерфейса, фотографии — эта информация фиксируется и доступна для анализа. Например, акселерометр с высокой точностью определяет основные характеристики человека:

• Пол — 71%
• Рост (высокий или низкий) — 80%
• Вес (полный или худой) — 80%
• Определение человека по походке — 100%

Главный вызов заключается в выделении полезной информации из общего объема генерируемых данных. Айра Хант приводит в пример следующее соотношение: полезная информация составляет лишь 5 тысяч из 500 миллионов гигабайт, или 0,001%. И агентство не знает, какие именно 5 тысяч являются полезными.

Следующим шагом в данном направлении является создание системы, которая бы выделила интересующий фрагмент данных. Нынешние системы являются большими и медленными. Хант надеется на гибкие и быстрые. Новые системы должны самостоятельно обучаться, анализируя поведение пользователей и обнаруживая корреляции в полученных данных.

Хант считает, что мы практически готовы обработать всю создаваемую информацию. Одна из целей заключается в создании умных систем. В мире будущего автомобили перемещаются без водителей, технологии предсказывают пожелания пользователей, а системы контроля за коммуникациями распределяют пиковые нагрузки для более эффективного использования ресурсов. Искусственный интеллект, реализованный в Watson от IBM и поисковой системе от Google, уже сейчас отвечает на сложные вопросы, анализируя огромные объемы данных.

Новая информация и технологии опережают законодательство и действия государства. К примеру, не всегда очевидно, кому принадлежат или должны принадлежать создаваемые данные. Какими правами обладают компании-поставщики. На каких основаниях спецслужбы могут получить доступ к информации, размещенной на серверах Google и Facebook. Какие кибер-угрозы ассоциированы с новыми технологиями. Национальным и международным организациям предстоит ответить на эти вопросы.

Автор: Антон Тарасенко

Выступление Айра Ханта, директора по технологиям ЦРУ