Блокчейн и Big Data. Рука об руку в цифровое будущее

0
46
Блокчейн и Big Data. Рука об руку в цифровое будущее

Данные. Человечество генерировало их тысячелетиями, буквально с момента своего зарождения. Однако в те времена ни о каких глобальных массивах неструктурированной информации речь идти не могла – сказывался технический фактор, у людей попросту не было таких возможностей. В эпоху, когда далеко не каждый умел читать, о каких-то накоплениях колоссальных объемов данных речь не шла. Что же имеем сейчас? Интернет, социальные сети, показатели всевозможных измерительных устройств, различная информация, связанная с экономикой, бизнесом и т.д. – это лишь малая часть источников постоянной генерации данных, которые в сумме, или по отдельности, в состоянии воспроизводить глобальные их объемы. Логично, что это явление должно было получить какое-то название. В результате в обиходе прочно утвердился термин «Big Data», что в переводе означает «большие данные».

История появления термина «Big Data»

Точно неизвестно, кто впервые предложил ввести отдельное понятие для огромных массивов информации, однако его популяризация и распространение во многом является заслугой Клиффорда Линча, занимавшего пост редактора в журнале Nature. В сентябре 2008-го года под его руководством был подготовлен спецвыпуск издания, в котором основной акцент был сделан на вопросах обработки больших массивов данных, феномене стремительного увеличения их генерации, возможностях, открывающихся перед научным сообществом, если удастся научиться извлекать из них пользу. Предполагалось, что анализ больших данных должен претерпеть существенные изменения – на первое место вышло бы качество, а не количество. Изначально термин «предназначался» для использования в научных кругах, а основное внимание уделялось, скорее, не вопросам непосредственно изучения накапливающейся информации, а проблематике взрывного роста ее объемов и многообразия. Тем не менее, определение бигдата быстро проникло и в другие сферы. В частности, уже в 2009-м году термин часто мелькал в деловой прессе, а годом позже были представлены первые серьезные попытки в области решений для обработки глобальных массивов данных.

Big Data в актуальных реалияхБлокчейн и Big Data. Рука об руку в цифровое будущее

Словосочетание биг дата регулярно мелькает в новостных сводках и человечество к нему в целом привыкло. Хотя в превалирующем своем большинстве люди и не осознают всех нюансов, представляя себе это как некое хранилище с огромным количеством информации, которую как-то там анализируют, изучают и т.д. То есть, что-то гипотетически важное, но не стоящее того, чтобы сильно ломать голову над его особенностями, так как в повседневной жизни проку от этого не будет. Подобная точка зрения имеет право на жизнь, но ее нельзя назвать правильной. Технологии обработки биг дейт начинают играть все более значимую роль, оказывая влияния на самые разные аспекты современной жизни, попутно ставя перед человечеством новые серьезные задачи. Например, мало научиться эффективно обрабатывать такие массивы данных, не менее важно обеспечить их надежную защиту, сохранность и т.д. И здесь компании нередко выбирают неправильный путь: начинают активно работать с бигдата, но вопросами создания соответствующей инфраструктуры практически не занимаются. Конечно, это сложно и затратно, однако оправданием служить не может, ведь на кону как сохранность информации, так и ее конфиденциальность, целостность и т.д. И вот тут на горизонте появляется еще одна крайне перспективная и молодая технология – блокчейн.

Внимание крупных компаний

Перед тем, как рассматривать, чем решения на базе распределенного реестра помогут в таком деле, как анализ больших данных, вновь вернемся на несколько лет назад. Ранее уже упоминалось, когда появился термин «Big Data» и в какой среде он изначально использовался. Если объяснить его совсем простыми словами, то это информация, объем которой настолько велик, что обработать ее с помощью классических методов не представляется возможным.
Стремительное повышение интереса общественности к биг дата наблюдается в конце 2011-го года. Доказательством служат данные Google Trends, которые демонстрируют резкое увеличение количества поисковых запросов по данному термину. Как говорилось выше, на этот момент уже даже существовали первые решения по работе с такими объемами данных. Не остались в стороне и крупные игроки мира высоких технологий: о важности Big Data заговорили в Microsoft, HP, Oracle, IBM и других известных компаниях.

Big Data – это нечто новое?

А может ли быть так, что большие данные использовали и ранее? Да, но в сфере маркетинга. Там подобные базы, наполненные самой различной информацией о клиентах, существуют уже много лет. Например, к ним могут относиться массивы данных о покупках людей, их образу жизни и т.д. Какой прок от этого компаниям? Возможность прогнозирования поведения клиентов в плане потребностей, предпочтений и прочее.
Что изменилось сейчас, раз об этом заговорили? Стремительно увеличилась скорость генерации данных. Фундамент процесса заложен в 2002-м году, когда человечество вступило в так называемую цифровую эру. Аналоговые данные начали сдавать позиции, тогда как объем цифровых демонстрировал небывалый рост, увеличиваясь в геометрической прогрессии. По прогнозам экспертов, через семь лет будет накоплено порядка 175 зеттабайт данных, тогда как на 2018-й год приходилось «всего» 33 зеттабайта. Основную массу информации генерируют пользователи сети, количество которых к тому же тоже растет. При этом прогнозируется, что к 2025-му году на первое место в этом процессе выйдут устройства, которые принадлежат к категории «интернета вещей». Ожидается, что такими аппаратами будет генерироваться примерно две трети всей информации.
Логично, что изменилась и ситуация с биг дата, в частности:

  • человечество изобрело новые способы сопоставления и анализа массивов данных;
  • появилось множество новых источников генерации информации.

Ожидается, что уже в скором времени технологии биг дейта займут важное место в таких сферах, как здравоохранение, производство, государственное управление, торговля и прочее.
Отметим, что воспринимать Big Data сугубо в контексте неких конкретных массивов информации несколько неправильно. Более точное определение, скорее, сводится к совокупности методов, с помощью которых они обрабатываются.

Источники данных

Данные из каких источников могут использовать для дальнейшего анализа? В настоящее время их предостаточно, так что остановимся лишь на некоторых:

  • интернет вещей;
  • соцсети;
  • сведения о приобретении товаров;
  • различные GPS-сигналы;
  • метеорологические данные и т.д.

Количество источников продолжает увеличиваться. Логично, что совершенствуются и развиваются и методы обработки накапливающейся информации.

Принципы функционирования Big DataПринципы функционирования Big Data

Всего можно выделить три принципа бигдата, определяющие требования к решениям их хранения и анализа:

  • горизонтальная масштабируемость;
  • локальность;
  • отказоустойчивость.

Первый принцип подразумевает, что система должна быть способна не только к работе с огромными массивами данных, но и к динамичному расширению, так как размер объемов информации может увеличиваться стремительными темпами. Второй указывает на то, что оптимальнее проводить анализ базы данных на том же сервере, где хранится последняя. Это позволяет добиться значительной экономии ресурсов. Третий принцип сводится к следующему: система должна продолжать нормально функционировать даже в случае выхода из строя отдельных ее компонентов. И здесь мы снова вплотную подошли к блокчейн-технологиям, которые позволяют создавать решения, отвечающие требованиям вышеприведенных принципов.

Для чего нужны «большие данные»?

Где на сегодня уже используется Big Data или может быть эффективно задействована? На самом деле, вариантов не так уж и мало. Например, возьмем область медицины. Если в обычных условиях врач ставит диагноз, больше ориентируясь на историю болезни, результаты обследования, симптомы и т.д., то задействование в этой сфере больших объемов данных предоставит множество различных дополнительных сведений, начиная от опыта врачей, рассматривавших аналогичные случаи, и заканчивая информацией о том, насколько плохая экологическая ситуация в районе проживания пациента.
Еще одна перспективная отрасль – беспилотный транспорт. Создание соответствующих систем может значительно ускориться, а конечные решения окажутся более эффективны, если в процессе человечество задействует «большие данные».
Без Big Data сложно представить современную торговлю. Как продать товар потенциальному покупателю? Изучить его потребности, привычки, предпочтения, чтобы таргетировать рекламную кампанию под конкретную целевую аудиторию. А где больше всего подобной информации? В соцсетях и т.д. В определенные моменты аналитика биг дата даже подскажет резонность открытия торговой точки в том или ином районе или населенном пункте.
Большие массивы данных пришлись очень кстати и политикам. За примерами ходить далеко не нужно, достаточно вспомнить выборы в США, когда безоговорочный, по прогнозам, лидер – Хиллари Клинтон, уступила своему оппоненту Дональду Трампу. Этот инцидент привлек пристальное внимание специалистов, попытавшихся установить причину успеха кандидата, которому пророчили только второе место. По их мнению, все дело в грамотном использовании преимуществ бигдата командой тогда еще претендента на высшую должность в США. Предвыборный штаб Трампа подошел к вопросу работы с избирателями кардинально иначе, нежели это было принято. С помощью специальной математической модели был проведен тщательный анализ данных электората, что позволило таргетировать агитационные материалы, отталкиваясь не только от географического месторасположения избирателя, его гендерной принадлежности или уровня достатка, а и учитывая такие факторы, как намерения, поведенческие характеристики, психотип, интересы и прочее. В конечном итоге свой персонализированный месседж получил практически каждый избиратель. Мог ли он перед ним устоять?
Гипотетически, да, но лишь в том случае, если бы Хиллари Клинтон использовала аналогичный подход. Тогда «битва» велась бы за каждый голос и конечный итог мог оказаться совершенно иным. В реальности же ее команда приняла решение идти другим путем – классическим. То есть основной упор делался на данные социологических исследований и стандартные инструменты маркетинга. Избирателей поделили на большие условно гомогенные группы, например, богатые, бедные, латиноамериканцы, женщины, мужчины, прочее. Как выяснилось вскоре, подобный подход был не верен. Помимо этого, он оказался еще и экономически нецелесообразен: предвыборная кампания обошлась Клинтон почти в 900 млн. долларов, тогда как Трамп потратил немногим более 400 млн. долларов.

Проблемы «больших данных»

Рассказывая о перспективах задействования биг дейта, нельзя забывать о ряде сложностей, возникающих на данном пути. Ключевых можно выделить три:

  • определение важности данных;
  • этичность сбора персональной информации;
  • безопасность хранения.

Первая проблема логически вытекает из особенностей Big Data: данных очень много, как отделить «зерна от плевел» и понять, что действительно важно? Из всего массива нужно извлечь и сохранить именно те сведения, которые могут принести ту или иную пользу в процессе их анализа.
Вторая сложность заключается в вопросах этического характера. Можно ли вообще использовать данные, которые, по факту, далеко не всегда получены с согласия пользователя. Пусть даже обычно его уведомляют о сборе какой-то статистики, но сам человек может не осознавать, что делится с Google не только историей поисковых запросов, а еще и кучей другой информации. С одной стороны, это позволяет компаниям улучшить качество обслуживания, разработать новые, более удобные, решения и т.д., с другой – в Big Data собираются все сведения, которые могут хотя бы теоретически пригодиться. Как говорится, а вдруг?
Вся эта персональная информация должна где-то храниться. Более того, содержаться в надежном и безопасном месте. Аналогичными качествами обязаны обладать и решения по обработке, которые, справедливости ради, идеальны не всегда. Да и хорошего аналитика биг дата найти в штат, как сетуют представители бизнес-кругов, тоже не так просто. Впрочем, это не останавливает крупные компании от инвестиций в данную отрасль, ведь за ней кроется большое будущее.

Big Data и блокчейн

Так чем же биг дата могут быть полезны блокчейн-технологии? Вариантов их взаимовыгодного использования немало, остановимся на некоторых наиболее значимых с точки зрения представителей бизнеса. В первую очередь, это доступ к различной детальной информации о предпочтениях потребителей, что позволит качественно улучить работу с клиентами. Повысится и контроль – теперь не проблема отследить цепочки поставки, установить, на каком этапе были естественные (например, снижение веса из-за испарения) потери, не было ли фальсификаций или попыток мошенничества, прочее.
Разговорами о перспективах внедрения блокчейна уже никого не удивишь. Из утопической идеи, декларируемой небольшой группой энтузиастов, она эволюционировала до обсуждения на самом высоком уровне в финучреждениях и компаниях мирового уровня, таких как Visa, Citibank и т.д. Здесь уместно привести слова Оливера Буссманна, занимающего один из руководящих постов в финансовом холдинге UBS, который уверен, что с помощью технологий распределенного реестра удастся разительно сократить время транзакций – операции потребуют буквально нескольких минут, а не дней, как в текущих реалиях.
Синергия блокчейна и технологии бигдата очень привлекательно выглядит и с позиции перспектив получения всевозможной финансовой информации. Первый компонент условной системы гарантирует сохранность, прозрачность и целостность сведений, тогда как «большие данные» обеспечат ее обширным количеством новых эффективных инструментов для анализа, моделирования, составления прогнозов и т.д. Как результат, решения руководства будут более взвешены и базироваться на информации, достоверность которой на порядок выше.
Выше был приведет пример Big Data в здравоохранении. Можно ли туда органично добавить блокчейн-технологии? Конечно. Выгодно это и доктору, и пациенту. Первый получает максимально полную информацию о больном, что упрощает постановку правильного диагноза, второй – эффективное лечение. При этом сведения о пациентах надежно защищены, как-то их изменить, внести коррективы и т.д. не удастся. Попутно медицинские учреждения могли бы совершать обмен соответствующими данными о пациентах, предоставляя их, к примеру, научным организациям, страховым компаниям, прочее.

Безопасность массивов данных и блокчейн-технологии

Требования к решениям в области биг дейта в обязательном порядке предполагают отказоустойчивость, обеспечение целостности информации, защиту данных от посягательств третьих лиц и т.д. Интеграция с блокчейн-технологиями поможет справиться с вышеуказанными вызовами с максимальной эффективностью. Возьмем ту же отказоустойчивость, которая подразумевает, что система продолжает корректно функционировать даже в случае поломки отдельных составных компонентов. Главная особенность блокчейна – распределенный реестр. Единого центра попросту нет. Следовательно, его невозможно вывести из строя. Сеть состоит из большого количества независимых узлов и получение полного контроля над одним или несколькими не дадут никакого результата. Да, можно попытаться как-то исказить данные, воспользовавшись правом доступа, но сеть их отвергнет, не посчитает достоверными. Получается, что гарантируется не только сохранность массивов информации, но и их неизменность. Решения на базе блокчейна позволят эффективно проводить анализ данных биг дата, наладить коммуникацию с другими учреждениями или системами, обеспечат удобный функционал обмена сведениями, гарантируют доверие к информации.
В одном из известных выражений утверждается, что миром владеет тот, кто располагает соответствующей информацией. С этим сложно не согласиться, ведь ценность актуальных сведений настолько высока, что порой вершит судьбы целых государств, а не отдельных ее граждан. Информация уверенно эволюционировала из обычных данных в ценный актив. Следовательно, необходимо позаботиться о его сохранности. Финучреждения, компании и т.д. в любом случае не смогут успешно функционировать, отгородившись от мира и игнорируя возможности, которые предоставляют современные технологии сбора и анализа данных. И вот здесь Big Data в совокупности с блокчейн-технологиями будет очень кстати, ведь в сочетании они обладают рядом уникальных и крайне важных свойств. Дело осталось за малым – их интеграцией.

ОСТАВЬТЕ ОТВЕТ

Please enter your comment!
Please enter your name here