От пробуждения, завтрака – до отхода ко сну данные окружают нас. И во сне мы обрабатываем информацию, более того, наши сны – продукт такого процесса. Данные усложняются динамично.
Мозг имеет колоссальные возможности обработки (хранения) структурированной информации, но не все возможности используемы. Да и скорость обработки, извлечения информации из памяти – мала. Помогают технологии: БД, БЗ, Data Mining и другие.
BigData
Технология BigData – «свежая», менее 10 лет. Термин «Большие Данные», впрочем, применяли с 2008 года. Отражал рост объёма и разнообразия обрабатываемых данных (соблюдая принцип «от количества к качеству»). Изначально Big Data использовался в университетских структурах, деловой прессе, ПО.
BigData – инструментарий, единство методов обработки объемных данных для получения «человеческого» (интерпретируемого без дополнительной обработки) результата. Результата воспринимаемого органами и сознанием человека. BigData применяется в здравоохранении, госуправлении, торговле и др.
Принцип четырех «V»
Есть принцип «4V», состоящий в акценте при обработке больших данных на:
- Volume, физический объем;
- Velocity, скорость прироста, актуализации;
- Veracity, интерпретируемость, правдивость;
- Variety, многообразие, возможность обработки разнотипных данных.
Есть и другие важные принципы, их также три:
- горизонтальная масштабируемость – любая система Big Data должна быть расширяемой, машин может быть много;
- отказоустойчивость – из большого кластера машин часть будет «сбоить», но без существенных для всей системы последствий;
- локализация данных – обрабатывать локализованные на машине (сервере) данные станет возможно.
Например, в торговле, Big Data означает (отражает) больше, чем подсчет количества посетителей. Это комплекс, который включает конверсию, величину «среднего чека» веб-магазина, время задержки на сайте, маршрут посетителя (все для оценки посетительской активности и ее потенциала).
Основные методы и примеры
К базовым технологиям и методам BigData относят:
- DataMining – поиск в данных скрытых, не «поверхностных» закономерностей;
- краудсорсинг и краудфандинг для обработки данных с привлечением добровольцев (на базе оферты);
- ситуационное, сценарное моделирование;
- нейросетевой, генетико-алгоритмический анализ, особенно, распознавание;
- 3D-визуализация, анализ и виртуализация;
- когнитивная аналитика (анализ когнитивных сетей) и др.
Примеры необходимости работать с BigData в бизнесе:
- таргетирование в соцсетях по потребительским настроениям;
- оптимизация маршрутов крупной логистической компании;
- маркетинговые исследования с использованием данные сети дистрибьюторов.
В частности, для последней проблемы (эффективного менеджмента) следует организовать релевантно и оперативно сбор информации, ее анализ и применение в управлении. Основной принцип Big Data в бизнесе: максимально эффективно и оперативно (в реальном режиме) использовать данные для увеличения целевой аудитории, управления трафиком и конвертации посетителя в покупателя, осуществления соответствующих прогнозов.
