Анонимайзеры в России будут блокировать за 3 дня
| Поделиться Подготовленный Роскомнадзором проект приказа об исполнение запрета анонимайзеров и VPN обещает блокировать сервисы, не перекрывшие доступ к запрещенным ресурсам, в течение трех дней.Три дня на все
Согласно проекту приказа Роскомнадзора о процедуре контроля за исполнением запрета анонимайзеров и VPN, выложенному на федеральном портале проектов нормативных правовых актов, в случае, если интернет-сервис не перекроет доступ к запрещенным сайтам, он будет заблокирован в течение трех дней.
Проект приказа «Об утверждении Порядка контроля за прекращением на территории Российской Федерации выдачи операторами поисковых систем, распространяющими в сети «Интернет» рекламу, которая направлена на привлечение внимания потребителей, находящихся на территории Российской Федерации, сведений об информационных ресурсах, информационно-телекоммуникационных сетях, доступ к которым ограничен на территории Российской Федерации» сейчас проходит первую стадию рассмотрения.
Следующим этапом станет подготовка заключения по итогам процедуры ОРВ (Оценки Регулирующего Воздействия), далее проект будет направлен в Министерстве юстиции, после чего наступит финальная фаза формирования окончательного варианта текста проекта.
Закон о запрете анонимайзеров был принят Госдумой 21 июля 2017 г. Согласно внесенным поправкам к закону «Об информации» и КоАП, для интернет-ресурсов законом предусмотрены санкции за доступ к запрещенным сайтам, которые будут распространяться на любые прокси-, VPN и анонимные сети и сервисы, такие как, например, Tor.
Закон о запрете анонимайзеров предполагает появление дополнительного перечня сервисов, с помощью которых возможен обход блокировки запрещенных сайтов.
Выявление анонимайзеров возложено на структуры ФСБ и МВД. Документ также регламентирует определение провайдеров хостинга запрещенных сервисов и «иных лиц, обеспечивающих их работу».
Роскомнадзор намерен блокировать анонимайзеры в течение трех дней
Большинство положений нового закона о запрете анонимайзеров вступит в силу с 1 ноября 2017 г.
Двух дней будет недостаточно
Для проверки потенциальной возможности анонимайзера по предоставлению доступа к запрещенным ресурсам, он должен подключаться к специальной системе Роскомнадзора. Анонимайзер обязан предоставить информацию о своем владельце, сетевой адрес для доступа к системе, логины и пароли для доступа к ресурсу.
Единая B2B-платформа — основа для цифровой трансформации и развития бизнеса торговых компаний
РитейлВ разговоре с CNews руководитель проекта «Роскомсвобода» Артем Козлюк выразил сомнение в реальности исполнения требований закона об анонимайзерах: «Многообразие средств обхода блокировок слишком велико, причем речь идет не только об анонимайзерах, работающих через веб-браузер, но и о сервисах, использующих разнообразное ПО. Опыт Китая показывает, что заблокировать все из них нереалистично. Кроме того, сервисы, попавшие под блокировку в России, будут искать различные обходные пути для своих российских пользователей».
Поправки депутатов Максима Кудрявцева («Единая Россия»), Николая Рыжака («Справедливая Россия») и Александра Ющенко (КПРФ), внесенные в Закон о запрете анонимайзеров, обязывают Роскомнадзор создать перечень средств для обхода блокировки запрещенных ресурсов, определить провайдеров их хостинга и иных лиц, обеспечивающих их работу.
Провайдеры, которые получат уведомление от Роскомнадзора, обязаны принять меры в течение 30 дней либо самостоятельно направить в ведомство заявление о подключении к реестру запрещенных сайтов и готовности блокировать указанные в нем ресурсы. При этом под санкции не подпадут владельцы программ, сетей и сервисов, использующие их для клиентов, с которыми находятся в трудовых отношениях.
Владимир Бахур
Зачем нужен закон о VPN и анонимайзерах
Владимир Путин подписал закон о VPN-сервисах и анонимайзерах. Информация об этом опубликована на сайте правовой информации.
Что такое анонимайзеры и VPN?
Анонимайзеры — это сайты или расширения браузера, которые позволяют скрыть данные пользователя от владельцев ресурсов, на которые вы заходите. Заходя на сайт через анонимайзер, вы скрываете не только то, с какого устройства заходите, но и свое местоположение. Из-за этого пользователю становятся видны ресурсы, заблокированные Роскомнадзором на территории России: оператор просто не видит, откуда вы. VPN-сервисы позволяют вам также анонимно работать в сети — они шифруют и маскируют весь трафик пользователя. VPN работают как самостоятельные приложения и как сервисы, встроенные в другие приложения, например браузеры.
Кого затронет закон?
Закон не запрещает частным лицам пользоваться анонимайзерами и VPN-сервисами. Но поправки предлагают ограничить доступ к технологиям обхода блокировки сайтов (анонимайзерам и VPN-сервисам), которые помогают пользователям обходить заблокированные на территории России ресурсы.
Что это означает?
Роскомнадзор сможет блокировать сайты анонимайзеров и VPN-сервисов, которые не захотят по его просьбе ограничивать доступ для своих пользователей к отдельным заблокированным страницам. Весной этого года Роскомнадзор уже просил некоторые анонимайзеры об этом, но те не пошли навстречу, ссылаясь на отсутствие законодательной базы для таких просьб.
Как можно заблокировать VPN-сервис?
Софт для установления VPN-соединения пользователь скачивает непосредственно себе на устройство. Поэтому ограничить доступ к нему на смартфонах и планшетах, например, можно по «китайской модели» — если Роскомнадзор договорится об исключении VPN-сервисов из магазинов мобильных приложений. Будет ли ведомство это делать, его представитель пока не сообщает. Он говорит, что пока что Роскомнадзору предстоит ознакомиться с текстом закона и выработать правоприменительную практику. В Китае также некоторые операторы умеют распознавать трафик VPN и блокировать его, но для этого нужно дорогостоящее оборудование, которое есть не у всех.
Закон об анонимайзерах вступил в силу. Что о нем нужно знать?
Автор фото, Silas Stein/DPA/TASS
Подпись к фото,Владельцев VPN-сервисов и «анонимайзеров» обязывают закрывать доступ к запрещенным сайтам
В России 1 ноября вступил в силу закон, обязывающий владельцев VPN-сервисов и так называемых анонимайзеров закрывать доступ к запрещенным сайтам.
В новом законе затрагиваются все известные инструменты обхода блокировок и достижения анонимности в интернете, в том числе расширения для браузеров и анонимный браузер Tor. Президент Владимир Путин подписал пакет поправок в июле 2017 года.
«В России есть 25-30 проксирующих и VPN-сервисов, популярных у населения. Среди них — cameleo.ru, 2ip.ru и другие. Они все выразили готовность исполнять закон», — сказал изданию РБК глава Роскомнадзора Александр Жаров.
При этом он признал, что есть еще сотни тысяч мелких VPN-сервисов, блокировать которые значительно сложнее. «Но закон ориентирован в первую очередь на наиболее популярные у граждан сервисы», — отметил Жаров.
Многие пользователи опасаются, что запрет ужесточит интернет-цензуру в России. Правозащитная организация Amnesty International после подписания закона заявила, что поправки стали «серьезным ударом по интернет-свободе» в России.
Как будет работать новый запрет?
Для исполнения поправок в России запускается федеральная государственная информационная система (ФГИС). По запросу полиции Роскомнадзор будет определять провайдеров, которые предоставляют доступ к VPN-сервисам и анонимайзерам.
От провайдеров потребуют подключиться к ФГИС и предоставить данные о владельце анонимайзера, который также будет должен подключиться к системе. После этого от владельца сервиса потребуют закрыть доступ к сайтам, внесенным в список запрещенных. Если владелец откажется — анонимайзер заблокируют.
В поправки включены также ограничения для поисковиков. Если сервисы будут показывать ссылки на сайты из реестра запрещенных, их будут штрафовать.
Готовы ли к новому закону владельцы анонимайзеров?
Роскомнадзор сообщил 31 октября, что регулятор завершает тестирование системы взаимодействия с владельцами анонимайзеров.
При подготовке к вступлению в силу запрета сотрудники Роскомнадзора встретились с участниками рынка и объяснили, как будут работать поправки.
«В целом тестирование прошло успешно. В нем приняли участие: «Лаборатория Касперского», Opera Software AS, Cameleo, 2ip, Mail.ru, Яндекс, Спутник, — сообщили Би-би-си в ведомстве. — Тестирование предполагало подключение к ФГИС (для получения перечня заблокированных интернет-ресурсов), в том числе в автоматизированном режиме, а также запуска механизма фильтрации для пользователей заблокированных сайтов».
Удастся ли заблокировать Tor?
Полностью закрыть доступ к Tor у Роскомнадзора не получится. Этот браузер использует не только открытые сетевые адреса, но и закрытые, которые заблокировать почти невозможно. Их Tor выдает по запросу пользователя.
Заблокировать Tor пытается Белоруссия. По состоянию на декабрь 2016 года цензоры добавили в черный список около 6 тыс. из 7 тыс. публичных адресов Tor, действующих по всему миру.
Численность пользователей непубличных сетевых адресов в этой стране после начала блокировки выросла с 250 человек до 3 тысяч человек, сообщало «Европейское радио для Белоруссии». В то же время количество пользователей публичных адресов упало с 3 тысяч до 2,6 тысячи человек.
Какие могут быть побочные эффекты
Ассоциация европейского бизнеса в октябре предупредила, что под новый запрет могут попасть корпоративные VPN-сервисы, которые используются в производственных целях.
Запрет не распространяется на такие VPN-сервисы, но эксперты отмечают, что отличить корпоративную сеть от публичной невозможно.
Также неясно, как будет работать закон в случае с Google и Apple, в магазинах которых продают VPN-сервисы сторонних разработчиков. Руководитель проекта «Роскомсвобода» Артем Козлюк говорил ранее, что Роскомнадзор пытается договориться с Google и Apple, чтобы они удаляли такие сервисы из своих магазинов.
В Роскомнадзоре Би-би-си сообщили, что не испытывают сложностей в работе с Google и Apple. «Мы давно взаимодействуем в части удаления противоправных приложений из этих сторов», — отметил регулятор.
Что с Крымом
Запрет анонимайзеров неблагоприятно скажется на жителях Крыма и Севастополя, предупреждал гендиректор РОЦИТ Сергей Гребенников. На полуострове из-за санкций недоступны сервисы некоторых интернет-компаний.
Например, в Крыму не работают многие сервисы Google, Visa, MasterCard, PayPal. Жители полуострова получали к ним доступ через анонимайзеры и VPN.
«Половина жителей Крыма сейчас пользуется VPN-сервисами, потому что очень многие сайты им недоступны в связи с санкциями, и введение этого закона может на какое-то время оставить жителей Крыма без сервисов, которыми они привыкли пользоваться в ежедневном формате», — говорил Гребенников на заседании Госдумы в июне.
«Преступления совершаются не в интернете, а в офлайне, а интернет служит только способом. Необходимо преступников ловить в офлайне. Запреты, которые предлагается внести, приведут к тому, что разовьется Даркнет, то есть, мы продолжаем бороться с ветряными мельницами», — отмечал гендиректор РОЦИТ.
В нынешней редакции закона никаких исключений для граждан сделано не было, сказал Сергей Гребенников Русской службе Би-би-си. «Таким образом, единственный вариант для них — использовать корпоративный VPN или покупать и настраивать сервис самостоятельно», — добавил эксперт.
В Роскомнадзоре на этот счет отметили, что поправки не запрещают VPN-сервисы и анонимайзеры, а просто обязывают их владельцев закрывать доступ к заблокированным ресурсам.
: Технологии и медиа :: РБК
О готовности исполнять данный закон публично заявляли только некоторые анонимайзеры с российскими корнями, такие как 2ip и Chameleon, в то время как представители большинства зарубежных сервисов изначально сообщили, что не подчинятся требованиям российского законодательства, и продолжают придерживаться данной позиции. «Как компания, ориентированная на защиту конфиденциальности и свободы информации в интернете, мы будем продолжать поддерживать пользователей без какой-либо цензуры или блокировок независимо от того, где они находятся», — сообщил РБК представитель американского VPN-сервиса ExpressVPN.
Представитель еще одного зарубежного сервиса — PrivateVPN заявил, что, поскольку компания не присутствует в России, законы страны на нее не распространяются. У компании есть сервер в России, но она готова отказаться от него, если кто-то будет принуждать ее к этому. «Мы всегда поддерживали свободу слова и право на свободный доступ к информации, на конфиденциальность в интернете, и мы осуждаем любые действия, направленные на ограничение этих прав в России и любой другой стране», — сказал представитель сервиса CactusVPN.
Свой-чужой
Еще одна особенность, из-за которой применение положений закона может быть затруднено, — массовое использование технологии VPN в корпоративных сетях для рабочих нужд. Так, интернет-омбудсмен Дмитрий Мариничев ранее называл принятый законопроект «безумием» и сомневался в возможности его реализации из-за невозможности отличить, какие VPN действуют в коммерческих целях, а какие — для обхода интернет-блокировок.
Ассоциация европейского бизнеса (АЕБ), в состав которой входят Air France, Citibank, Volvo Cars, Deutsche Bank, Nokia и еще несколько сотен европейских компаний, в конце октября 2017 года также выражала обеспокоенность данным законом, так как множество компаний использует VPN в корпоративных сетях.
По словам юриста проекта «Роскомсвобода» Саркиса Дарбиняна, Роскомнадзор до сих пор не подготовил подзаконные акты с информацией о том, чем отличаются личный и корпоративный VPN-сервис. «Закон говорит, что он не распространяется на корпоративные VPN-сети, однако способа отличать их от сервисов, используемых для личных нужд, пока нет. Возможно, что первые блокировки затронут в конечном итоге коммерческий и банковский сектора», — считает Дарбинян.
Роскомнадзор разъяснил политику применения закона о VPN и анонимайзерах
vpnК обязанностям владельцев VPN-сервисов и анонимайзеров с 1 ноября относится ограничение доступа к запрещенным в России интернет-ресурсам. Данная норма также распространяется на операторов поисковых систем. Об этом сказано в разъяснении Роскомнадзора.
Требования закона не распространяются на операторов государственных информационных систем, государственные органы и органы местного самоуправления, а также на случаи использования анонимайзеров и сервисов VPN при условии, что круг пользователей заранее определен их владельцами и использование таких ПО осуществляется в технологических целях обеспечения деятельности лица, осуществляющего их использование, например, в банковской деятельности.
Роскомнадзор осуществляет создание реестра, содержащего перечень ресурсов, доступ к которым ограничен, и его эксплуатацию анонимайзерами, сервисами VPN и операторами поисковых систем, а также утверждает порядок мероприятий по контролю за исполнением норм закона.
В случае выявления факта несоблюдения обязанностей, Роскомнадзором может быть принято решение об ограничении доступа к информационному ресурсу, принадлежащему владельцу анонимайзера и (или) VPN-сервиса.
В настоящий момент специалисты Роскомнадзора совместно с участниками рынка завершает тестирование новой системы взаимодействия, сообщило ведомство. В тестировании принимают участие АО «Лаборатория Касперского», Opera Software AS, Mail.ru и «Яндекс». Свою готовность участия в тестировании подтвердили «Рамблер», «Спутник», cameleo.ru и анонимайзеры 2ip.ru, 2ip.io. Общая аудитория данных сервисов в РФ составляет около 10 миллионов человек.
Напомним, с 1 ноября в России вступают в силу поправки в федеральный закон «Об информации, информационных технологиях и о защите информации», которые определяют обязанности для владельцев VPN-сервисов, анонимайзеров и операторов поисковых систем по ограничению доступа к информации, распространение которой в России запрещено.
Исполнение новых норм закона осуществляются на основании обращения МВД и ФСБ в Роскомнадзор.
Справка
VPN – Virtual Private Network – сервис, позволяющий создавать защищённые сети «поверх» открытых каналов связи. Из VPN возможен доступ к запрещённым сайтам, т.к. провайдер доступа не может проконтролировать происходящее в VPN-сети. То же обеспечивают анонимайзеры, точнее, анонимные прокси-серверы. Это онлайн-сервис, подменяющих IP-адрес пользователя, что позволяет ему посещать сайты из «чёрного списка» Роскомнадзора.
Что такое анонимайзер? Для чего нужен анонимайзер?
Каждый день мы проводим в интернете некоторое время, кто работает, кто общается или развлекается. Мало кто осознает при этом, что все данные о их активности сохраняются не только на их же компьютерах, но и на сайтах, которые они посетили. Конечно в данной информации нет ничего секретного и она используется для мониторинга и анализа посетителей сайта и их предпочтений. Но бывают случаи когда желательно не оставлять никаких следов.
Для чего это нужно?
К основным причинам необходимости скрыть информацию можно отнести:
— необходимо получить доступ к ресурсам недоступным в вашем регионе;
— бан на сайтах с привязкой по IP, смена его поможет получить доступ;
— на работе системный администратор ограничил доступ к соцсетям или иным развлекательным ресурсам, а Вам скучно или надо срочно поделиться постом;
— предотвратить кибер-атаку на Ваш ПК, скрывая реальный IP Вы затрудняете доступ к нему посторонним лицам;
— скрыть Ваш интернет-траффик от мониторинга.
Как это работает?
При посещении интернет-ресурсов, пользователь предоставляет им следующие данные, которые в дальнейшем используются для усовершенствования данных ресурсов :
— IP адрес;
— имя провайдера;
— время посещения;
— название браузера и тд.
Суть анонимайзера состоит в том, что посещая интернет-ресурсы к которым по каким то причинам у Вас нет или ограничен доступ, или не желателен прямой доступ, он вместо данных Вашего компьютера предоставляет данные сайта через который был осуществлен вход. Конечно полной конспирации никто гарантировать не может и Ваши данные могут быть предоставлены определенным службам.
Анонимайзеры могут быть в виде дополнительного ПО для ПК которое придется дополнительно настраивать или же сайта где просто нужно будет ввести адрес необходимого ресурса.
Недостатки и подводные камни
Как понимаете все не может быть так просто и гладко.
1.Возможно ограничение функционала сайта ( отключены голосовалки, комментарии, онлайн-игры и тд.). Введение необходимых данных для авторизации при каждом входе на сайт.
2. Падение скорости загрузки, особо заметно при использовании бесплатных анонимайзеров.
3. Вирусы, конечно крупные сервисы маловероятно будут заниматься заражением Вашего ПК, но малоизвестные сервисы могут привести к этому. В данном случае все зависит от предустановленных антивирусов на Вашем компьютере.
4. Наличие назойливой рекламы, которой интернет и так изобилует.
5. Кража паролей от почты, кошельков, личной информации и тд.
Рекомендации по выбору анонимайзеров
Изучите информацию о нем, как давно существует, отзывы о нем, узнайте у друзей и знакомых. Также нужно учитывать то что Вы предоставляете доступ к логинам, паролям от почты, аккаунтам в соцсетях. Чтобы избежать вероятности хищения пользуйтесь уже проверенными и известными анонимайзерами.
Убедитесь что страницы загружаются быстро, а открываются и отображаются корректно.
При использовании только для посещения соцсетей имеет смысл воспользоваться анонимайзерами ориентированными на них.
Для достижения более высокого уровня анонимности целесообразно использовать платные анонимайзеры или другие способы защиты и предотвращения утечки вводимой информации.
Как зайти в Линкедин [обход блокировки Linkedin] — Linkedin заблокирован
4 августа 2016 года произошло событие, которое создало проблемы для российского бизнеса. Роскомнадзор издал постановление о прекращении доступа к соцсети в РФ, в связи с решением Мосгорсуда. С тех пор LinkedIn заблокирован на территории России. Сложно отказаться от источника деловых контактов, особенно если компания ведет бизнес за рубежом. Поэтому юзерам пришлось искать способы обхода блокировки. К счастью, удалось найти ряд простых способов попасть на сайт. Итак, почему LinkedIn не работает в России и как это исправить.
Почему заблокировали LinkedIn?
LinkedIn – популярная социальная сеть для бизнеса. Ею пользуются 500 миллионов человек в 200 странах мира. Ее популярность обусловлена спецификой – с Линкедин проще найти деловые контакты, которые помогут найти ценного сотрудника или бизнес-партнера. Соцсетью пользуются как небольшие компании, так и гиганты в своих отраслях: Google, Apple, Tesla и т.д.
Попробуем разобраться, почему заблокировали LinkedIn, и как развивались события. В 2016 году в России приняли закон о хранении персональных данных. В соответствии с его положениями, все зарубежные сайты и компании обязаны хранить персональные данные пользователи на серверах, расположенных в РФ. Ряд компаний отказались это делать, и попали в немилость к Роскомнадзору. В их числе оказался и Линкедин.
Летом 2016 Роскомнадзор обратился с иском против социальной сети в Таганский районный суд. Исковое заявление было удовлетворено, и орган правосудия обязал Линкедин перенести пользовательскую информацию россиян в РФ, а невыполнение решения суда приведет к блокировке работы ресурса на территории страны. Представительство соцсети в России обжаловало решение Таганского райсуда в Мосгорсуде, и получило отказ.
После выигрыша судов, Роскомнадзор закрыл доступ к LinkedIn, блокировка ресурса продолжится, пока соцсеть не выполнит требования регулятора. В компании не планируют соглашаться с названными условиями, и вот уже 3 года пользователи вынуждены задаваться вопросами, как зайти в LinkedIn. Юзеры решили этот вопрос оперативно, и разработали внушительное количество вариантов. Каждый сможет выбрать удобное решение.
Как зайти в Линкедин: самые эффективные способы
Итак, как зайти в Линкедин? Простой вариант – попробовать выполнить в LinkedIn вход по защищенному протоколу https. При блокировке портала был закрыт доступ к следующим адресам:
- linkedin.com
- http://www.linkedin.com
А вот доступ по https в ведомстве, по всей видимости, перекрыть забыли. И у некоторых юзеров получается попасть на сайт таким образом. Не помогло? Есть альтернативные варианты. Поговорим о них подробнее.
Linkedin: как зайти через браузер
Итак, вам срочно нужно попасть на LinkedIn, как зайти на сайт без установки дополнительных расширений? В браузерах есть собственные VPN-сервисы, которые настраиваются для обхода любых банов. В том числе:
- Opera. Собственный VPN сделал браузер популярным. Перед тем как зайти в LinkedIn, активируйте режим Turbo, и поставить галочку напротив пункта EnableVPN. Используя эту функцию, юзер получает возможность скрыть рекламу и трекеры.
- Яндекс.Браузер. После бана сервисов Яндекса и Вконтакте в Украине, компания выпустила расширение Yandex.Access, позволяющее получить доступ и к Линкедин, вход возможен без дополнительных настроек.
- Tor. Самый известный браузер с функциями анонимности. Миллионы точек шифрования обеспечивают скоростной доступ к заблокированным сайтам. Тор позволяет открыть сайт и скрыть трафик от наблюдения. Настройки установлены автоматически, изменять базовые параметры не рекомендуется.
Вышеописанные браузеры вам не подходят, если вы не хотите менять свой привычный Chrome, Firefox, Safari. Ответ на вопрос, как обойти блокировку LinkedIn, будет другим. Подробнее об этом далее.
Как обойти блокировку LinkedIn с помощью сторонних расширений?
Как зайти в LinkedIn, если вы пользуетесь Google Chrome? Вам помогут сторонние VPN-сервисы. Будьте осторожны с программами и расширениями, шифрующими трафик. Не доверяйте малоизвестным приложениям. Они могут украсть персональные данные, и продать информацию злоумышленникам. В LinkedIn войти лучше используя проверенные VPN, например:
- ZenMate – бесплатный ВПН, поддерживаемый всеми браузерами (нет поддержки лишь Internet Explorer). Доступен без регистрации, но скорость низкая. Зарегистрируйтесь перед использованием. Есть и платная версия.
- Hola. VPN-сервис с бесплатной и платной версиями. Проверенное расширение, не собирающее пользовательскую информацию, поэтому приложение выбирают миллионы юзеров.
- Anonymox – популярный в России сервис. Обеспечивает высокую скорость соединения. С этим VPN LinkedIn открывается быстро и работает без проблем.
- BrowSec – еще один способ решения проблемы доступа к сервису. Единственный минус заключается в ограниченной поддержке браузеров. Использовать BrowSec можно в Chrome, Firefox и Opera.
Также ответом на вопрос, как открыть LinkedIn, является и TunnelBear. Но в отличие от предыдущих ВПН, здесь количество бесплатного трафика ограниченно, и по истечению триала придется заплатить. Но Бесплатные VPN грешат медлительностью. TunnelBear считается самым эффективным. Он обеспечивает высокую скорость и с его помощью можно открыть все что угодно. Сервис платный, поскольку для прохождения трафика пользователи предоставляют свои адреса в добровольном порядке и получают за это деньги.
Как открыть LinkedIn через анонимайзер
Еще одно решение задачи – анонимайзер, LinkedIn открывается и через другие сайты в интернете. Трафик полностью скрыт и зашифрован, ведь он проходит через несколько сотен серверов, и отследить его невозможно. Самыми популярными являются следующие сайты:
- Ninjacloak;
- HideMe;
- Hidemyass.
Рекомендуем пользоваться именно этими тремя порталами — они зарекомендовали себя, как надежные сервисы, которые не собирают пользовательскую информацию.
Однако анонимайзер – это довольно сомнительное решение проблемы. Дело в том, что скорость на таких сайтах очень низкая, страницы грузятся очень долго. Поэтому если вам нужен LinkedIn, VPN станет лучшим решением, а анонимайзеры оставьте на крайний случай.
Обойти блокировку LinkedIn с KUKU.io
Пользователь не всегда нуждается во входе на Линкедин. Если требуется публикация поста, можно обойтись и без этого. Достаточно подключиться к kuku.io. Этот сервис позволяет удаленно управлять аккаунтами в различных соцсетях и публиковать посты без входа. Подключив учетные записи к KUKU, юзер заливает посты одновременно на всех ресурсах, без необходимости входа в каждый из них. Если вам нужно просто оставить запись, KUKU станет хорошим решением.
Резюме: блокировка LinkedIn – не проблема
В России насчитывается около 2.6 млн пользователей социальной сети. Наиболее точно о ситуации высказался известный блогер Илья Варламов. По его словам, после подобных действий со стороны Роскомнадзора еще 2.6 млн юзеров научатся пользоваться сервисами, скрывающими трафик пользователей, и это действительно так.
Способов обхода блокировки LinkedIn предостаточно. Выберите предпочтительный для себя метод, и вновь получите возможность пользоваться социальной сетью, несмотря на все попытки государственных ведомств закрыть доступ.
Как зайти на Linkedin
4.3 (85%) 20 votesТри способа анонимности просмотра веб-страниц
Конгресс принял во вторник законопроект, отменяющий предстоящие правила Федеральной комиссии по связи и открывающий возможность провайдерам Интернет-услуг, таким как Comcast и AT&T, продолжать добычу и продажу ваших данных.
Разница между Google или Facebook, пытающимися добыть ваши данные, и вашим интернет-провайдером довольно разительна.
«Это разница между кем-то, кто пытается следовать за вами на работу, и тем, кто ставит GPS-трекер на вашу машину», — говорит специалист по киберпроникновению Рэй Симс.
Он говорит, что провайдер видит то, чего не может ни один веб-сайт или браузер. Посоветовавшись с несколькими экспертами по кибербезопасности, вот несколько способов сохранить анонимность ваших веб-данных.
1) Tor
Tor — это бесплатная служба, которая включает в себя веб-браузер и другие надстройки, которые вы можете использовать для отправки всего веб-трафика через их случайную сеть из зашифрованных компьютеров или узлов. Это делает вас и ваши данные анонимными. Тем не менее, есть некоторые недостатки, говорит консультант по кибербезопасности Адам Тайра, в том числе то, что он медленнее
«Если вы пытаетесь выполнять просмотр, включающий потоковую передачу видео или загрузку больших файлов, Tor будет самым медленным вариантом», — говорит Тайра.
Кроме того, Tor часто ассоциируется с преступностью в Интернете (и с журналистами), что парадоксально, поскольку он был разработан DARPA в конце 90-х годов. Из-за его распространенности среди неподобающих (включая журналистов) конечных узлов Tor, где ваши данные расшифровываются и отправляются в Интернет, могут находиться под наблюдением. Ваши данные могут быть использованы в расследовании каких-то зловещих вещей.
2) Услуга виртуальной частной сети
Служба VPN мало чем отличается от службы VPN, которую вы можете использовать для работы из дома на компьютере физически в офисе.Вы загружаете клиентское программное обеспечение, оно шифрует и направляет ваш веб-трафик через удаленный сервер. Ваш интернет-провайдер может видеть, что вы используете VPN, но ничего более.
«Он предлагает всю необходимую секретность», — говорит Тайра.
В отличие от Tor, он работает быстро, и вы платите ежемесячную плату за эти услуги. И Симс, и Тайра рекомендуют услуги VPN, но предупреждают, что VPN, по сути, заменяет вашего интернет-провайдера. Они могут видеть и отслеживать, что вы делаете, но привлекают клиентов, имея политику, запрещающую им это делать.
«Это кому вы больше доверяете? Вы доверяете им или вы доверяете интернет-провайдерам?» — спрашивает Симс.
В любом случае ознакомьтесь с политиками компании, прежде чем начать их использовать.
Некоторые поставщики услуг VPN:
3) Зашифрованные веб-сайты
Это не означает «приватный просмотр» или «режим инкогнито» в вашем Google Chrome. Ваш провайдер все это видит. Он не видит шифрования веб-сайта. Зашифрованные веб-сайты выделяются в адресной строке HTTPS или маленьким значком замка.
Веб-сайты, такие как ваш банк и Google, зашифрованы, поэтому ваш интернет-провайдер может видеть, что вы перешли на Google.com или Mybank.com, но не может видеть просмотренные вами страницы или выполненные вами поисковые запросы. Существует некоторая озабоченность по поводу объема данных, которые компания может собрать с этих сайтов, но все же Интернет, все больше и больше движущийся в сторону шифрования, хорош с точки зрения конфиденциальности.
Не уверены, есть ли на ваших любимых сайтах шифрование? Ray Sims рекомендует расширение для браузера HttpsEverywhere.
«[Он] поддерживает список веб-сайтов, поддерживающих https, и гарантирует, что вы всегда будете его использовать при посещении этих веб-сайтов, — говорит Симс.«
Определение анонимности от Merriam-Webster
анон · y · mize | \ ə-ˈnä-nə-ˌmīz \варианты: также британская анонимность
переходный глагол
: для удаления идентифицирующей информации из (чего-то, например, данных компьютера), чтобы нельзя было узнать исходный источник : , чтобы сделать (что-то) анонимным В вашем туристическом профиле невероятно много данных.Поэтому они повысили безопасность и создали изощренный способ анонимности данных. — Дана ХокинсЗащита данных для соответствия GDPR
Общий регламент по защите данных (GDPR) вступил в силу 25 мая 2018 года с основной целью защиты личных данных людей.Каждая организация, использующая персональные данные гражданина ЕС, теперь несет ответственность за строгую защиту данных, что является третьим столпом нашей философии 5 основных принципов соответствия требованиям GDPR .
Как компания может обеспечить достаточную защиту данных? Во-первых, они должны иметь возможность фиксировать следы своих личных данных в своей среде данных. Затем, чтобы предотвратить привязку личности субъекта данных к его данным, он может деидентифицировать связанные наборы данных без изменения их структуры.Есть два основных способа сделать это для соответствия GDPR: анонимизация и псевдонимизация.
Загрузите Pillars to GDPR Success: Anonymize and Pseudonymize for Data Protection with Data Masking (3 из 5)
прямо сейчас.
Смотри сейчас
Анонимизация и псевдонимизация
Анонимизация делает данные, относящиеся к личности человека, полностью анонимными, в то время как псевдонимизация заменяет идентичность псевдонимами. Хотя цель обоих состоит в том, чтобы исключить возможность идентификации человека по данным, они сильно отличаются друг от друга.
Основное различие между ними состоит в том, что псевдонимизацию можно отменить, а анонимизацию — нельзя.
Какой метод защиты данных для GDPR?
Хотя требования GDPR, безусловно, ограничивают использование личных данных, у организаций есть варианты (и даже некоторая гибкость) в том, как они выбирают способ защиты данных для GDPR.
Например, если в хранилище данных компании хранятся личные данные, которые не подпадают под стандарты соответствия GDPR, поскольку клиент не дал явного согласия на использование своих личных данных в этом контексте, компания может просто замаскировать эти данные.
Благодаря псевдонимизации пользователи хранилища данных не будут подвергаться воздействию данных, которые могут идентифицировать субъект данных. Но есть загвоздка: повторная идентификация данных в хранилище данных все еще возможна путем добавления внешних наборов информации.
Анонимизация — более точный способ достижения соответствия GDPR. Анонимизация данных означает полное удаление всех личных данных, чтобы вам не приходилось защищать их с точки зрения конфиденциальности данных.
Выбор подходящей платформы для защиты данных
Talend предлагает решения для защиты данных и соответствия GDPR для деидентификации данных и обеспечения «конфиденциальности по дизайну» в ландшафте данных. Он применяется к любым данным, которые могут поступать в конвейер данных, управляемый Talend, в пакетном режиме или в режиме реального времени, включая устаревшие системы, корпоративные приложения, облачные данные, большие данные и многое другое.
Возможности маскирования данных предоставляются профессионалам в области данных, таким как информационные архитекторы, инженеры и специалисты по обработке данных, а также бизнес-пользователям с помощью Talend Data Preparation. Посмотрите, как работает маскирование данных на платформе Talend в этом видео.
Узнать больше о защите данных и соответствии GDPR
GDPR позволяет каждой организации выбирать, анонимизация или псевдонимизация лучше всего подходят для защиты данных. Псевдонимизация более гибкая, но и более рискованная.Анонимизация сложнее, но и безопаснее.
Чтобы узнать больше о защите данных для GDPR и посмотреть демонстрацию того, как использовать продукты Talend для обеспечения соответствия, посетите веб-семинар 5 основ соответствия GDPR . Чтобы узнать больше о продуктах Talend для GDPR, ознакомьтесь с нашими многочисленными решениями для обработки данных.
Анонимизация пользовательских данных в Cloud App Security
- 2 минуты на чтение
В этой статье
Анонимизация данныхCloud Discovery позволяет защитить конфиденциальность пользователей.После того, как журнал данных загружен на портал Microsoft Cloud App Security, журнал очищается, и вся информация об имени пользователя заменяется зашифрованными именами пользователей. Таким образом, все действия в облаке остаются анонимными. При необходимости для конкретного расследования безопасности (например, нарушения безопасности или подозрительной активности пользователя) администраторы могут разрешить реальное имя пользователя. Если у администратора есть причина подозревать конкретного пользователя, он также может найти зашифрованное имя пользователя известного имени пользователя, а затем начать расследование, используя зашифрованное имя пользователя.Каждое преобразование имени пользователя проверяется в журнале управления портала.
Ключевые точки:
- Никакая личная информация не сохраняется и не отображается. Только зашифрованная информация.
- Частные данные шифруются с использованием AES-128 с выделенным ключом для каждого клиента.
- Разрешение имен пользователей выполняется спонтанно, для каждого имени пользователя путем расшифровки данного зашифрованного имени пользователя.
Как работает анонимизация данных
Есть три способа применить анонимность данных:
Вы можете настроить анонимность данных из определенного файла журнала, создав новый отчет о снимках и выбрав Анонимизировать личную информацию .
Вы можете настроить анонимность данных из автоматической загрузки для нового источника данных, выбрав Анонимизировать личную информацию при добавлении нового источника данных.
Вы можете установить значение по умолчанию в Cloud App Security для анонимизации всех данных как из отчетов о снимках из загруженных файлов журналов, так и из непрерывных отчетов из сборщиков журналов, как показано ниже:
Выберите Настройки > Настройки Cloud Discovery .
На вкладке Анонимизация , чтобы анонимизировать имена пользователей по умолчанию, выберите Анонимизировать личную информацию по умолчанию в новых отчетах и источниках данных . Вы также можете выбрать Анонимизировать информацию об устройстве по умолчанию в отчете «Пользователи конечных точек Win10» .
Нажмите Сохранить .
Если выбрана анонимность, Cloud App Security анализирует журнал трафика и извлекает определенные атрибуты данных.
Cloud App Security заменяет имя пользователя зашифрованным.
Затем он анализирует данные об использовании облака и генерирует отчеты Cloud Discovery на основе анонимных данных.
Для конкретного расследования, например расследования аномального предупреждения об использовании, вы можете разрешить конкретное имя пользователя на портале и предоставить бизнес-обоснование.
Примечание
Следующие шаги также работают для имен устройств на вкладке Устройства .
Для разрешения одного имени пользователя
Щелкните три точки в конце строки пользователя, которого вы хотите разрешить, и выберите Деанонимизировать пользователя .
Во всплывающем окне введите обоснование для разрешения имени пользователя и затем нажмите Разрешить . В соответствующей строке отображается разрешенное имя пользователя.
Примечание
Это действие проверено.
Следующий альтернативный способ разрешения отдельных имен пользователей также может использоваться для поиска зашифрованного имени пользователя известного имени пользователя.
В шестеренке настроек выберите Cloud Discovery settings .
На вкладке Анонимизация в разделе Анонимизировать и разрешить имена пользователей введите обоснование того, почему вы выполняете разрешение.
Ниже Введите имя пользователя для разрешения , выберите Из анонимного и введите анонимное имя пользователя или выберите В анонимный и введите исходное имя пользователя для разрешения.Щелкните Разрешить .
Для разрешения нескольких имен пользователей
Установите флажки, которые появляются при наведении указателя мыши на значки пользователей, которых нужно разрешить, или в верхнем левом углу установите флажок Массовый выбор .
Щелкните Деанонимизировать пользователя .
Во всплывающем окне введите обоснование для разрешения имени пользователя и затем нажмите Разрешить .В соответствующих строках отображаются разрешенные имена пользователей.
Примечание
Это действие проверено.
Действие проверяется в журнале управления портала .
Следующие шаги
Если у вас возникнут проблемы, мы вам поможем. Чтобы получить помощь или поддержку по проблеме с продуктом, откройте заявку в службу поддержки.
DivanteLtd / анонимайзер: Универсальный инструмент для анонимизации базы данных.Инструмент поддержки Закона о защите данных GDPR (General Data Protection Regulation).
Анонимайзер — универсальный инструмент для создания анонимных БД для проектов.
Почему так важно работать с анонимными базами данных? В процессе разработки ни в коем случае нельзя использовать свою производственную базу данных — это рискованно и противозаконно. Работать с разрабатываемой производственной базой данных рискованно, потому что по какой-то ошибке вы можете сделать данные своих клиентов доступными для всего мира.В нашем мире общие данные — одна из самых ценных вещей, и ЕС пытается защитить общие данные граждан с помощью Общего регламента защиты данных (GDPR).
Еще несколько быстрых побед для GDPR? Взгляните на нашу недавнюю запись в блоге.
Как работает анонимайзер?
Анонимайзер заменяет все данные в вашей базе данных анонимными случайными данными. Самая важная особенность Анонимайзера — форматирование данных. Все сгенерированные данные аналогичны исходным данным, используемым реальными пользователями. В приведенном ниже примере показаны анонимные данные в таблице Magento 1 sales_flat_quote_address.
Требования
Поддерживаемые фреймворки
- Magento 1.9.x / 2.x
- Pimcore 4/5
- Sylius 1.0.0-beta.2
Конечно, вы можете анонимизировать любую другую базу данных — это всего лишь пример.
Начало работы
Клонируйте этот репозиторий и добавьте файл конфигурации для своего первого проекта в каталог config / project /
.
Файл конфигурации
Имя файла
Имя файла отражает имя анонимной базы данных.Например, если вам нужно анонимизировать дамп базы данных с именем example.sql.gz
, файл конфигурации должен иметь имя example.json
.
Базовая конфигурация
Тип проекта
Файлы конфигурации проекта всегда имеют расширенный тип
. В файле конфигурации проекта вы должны установить тип
и basic_type
, который связан с поддерживаемой платформой. Только файлы конфигурации фреймворка используют базовый тип
.
Доступные основные типы
-
на заказ
-
magento_1_9
-
magento_2_0
-
pimcore_4
-
pimcore_5
-
силус
Изменить имя анонимного файла
Анонимному дампу дается то же имя, что и исходному файлу дампа базы данных. Если вы хотите изменить это имя, вы можете установить ключ random_string
в конфигурационном файле — значение этого ключа будет добавлено в конец имени файла.В приведенном ниже примере выходной файл будет называться example_ba74a64a152b84ec004d03caba15ba95.sql.gz
.
Пример
{
"тип": "расширенный",
"basic_type": "magento_1_9",
"random_string": "ba74a64a152b84ec004d03caba15ba95",
Расположение дампа базы данных
Анонимайзерможет работать как с локально, так и удаленно хранящимися дампами баз данных. Дампы баз данных с удаленных серверов загружаются с помощью rsync.
Работа с дампом локальной базы данных
В приведенном ниже примере файл дампа базы данных находится в каталоге / path / to / database / dump /
.
"dump_server": {
"хозяин": "",
"порт": "",
"Пользователь": "",
"путь": "/ путь / к / базе данных / дампу /"
}
Работа с удаленным дампом базы данных
В приведенном ниже примере файл дампа базы данных хранится на удаленном сервере с IP-адресом 1.2.3.4
и ssh-портом 5022
. Имя пользователя ssh — anonymizer
, каталог на удаленном хосте с дампом базы данных — / path / to / database / dump /
. В этом случае предположим, что нам нужно добавить параметр --rsync-path = \ "sudo rsync \"
в нашу команду загрузки дампа rsync.
"dump_server": {
"host": "10.15.4.254",
"пользователь": "анонимайзер",
"порт": "5022",
"кодовая фраза": "",
«путь»: «/ media / drbd0 / backup / sqldump / sqldump»,
"rsync_options": "--rsync-path = \" sudo rsync \ ""
}
Таблицы к анонимизации
Анонимайзер может заменять исходные данные анонимными записями или обрезать данные в целевой таблице.
Доступные типы данных
Простые типы
- имя
- фамилия
- логин
- электронная почта
- телефон
- компания
- улица
- почтовый индекс
- город
- full_address
- vat_id
- ip
- цитата
- сайт
- Ибан
- JSON
Специальные типы
- uniq_email — уникальный адрес электронной почты, из-за ошибки в mysql анонимайзер не может сгенерировать адрес электронной почты uniq на основе электронной почты и некоторого значения uniqeu в форме UUID mysql methiod
- uniq_login — уникальный логин
- regon — польский номер REGON с валидацией
- pesel — польский номер PESEL с валидацией
Как заменить данные в таблице?
В приведенном ниже примере данные в таблице user_address
будут заменены новыми анонимными данными.Пример базы данных содержит таблицу user_address
со следующими столбцами — имя
, фамилия
, почтовый индекс
, адрес
, город
, электронная почта
, телефон
, компания
, vat_id. Мы заменим содержимое всех столбцов некоторыми действительными данными, соответствующими его предыдущему типу.
"таблицы": {
"user_address": {
"имя": {
"тип": "имя",
"действие": "обновить"
},
"фамилия": {
"тип": "фамилия",
"действие": "обновить"
},
"почтовый индекс": {
"тип": "почтовый индекс",
"действие": "обновить"
},
"адрес": {
"тип": "улица",
"действие": "обновить"
},
"город": {
"тип": "город",
"действие": "обновить"
},
"электронное письмо": {
"тип": "электронная почта",
"действие": "обновить"
},
"Телефон": {
"тип": "телефон",
"действие": "обновить"
},
"Компания": {
"тип": "компания",
"действие": "обновить"
},
"Код плательщика НДС": {
"тип": "vat_id",
"действие": "обновить"
}
}
}
Как обрезать данные в таблице?
В приведенном ниже примере данные в таблице log_customer
будут усечены.
"таблицы": {
"log_customer": {
"only_truncate": {
"действие": "усечь"
}
}
}
Как очистить только выбранные столбцы в таблице?
В приведенном ниже примере мы очистим данные в столбце со значениями конфигурации, не затрагивая другие столбцы.
"таблицы": {
"some_configuration_table": {
"config_value": {
"действие": "пусто"
}
}
}
Как установить статическое значение столбцу?
В приведенном ниже примере значение
злотых будет присвоено столбцу base_currency
для всех пользователей.
"таблицы": {
"users": {
"базисная валюта": {
"действие": "set_static",
"value": "PLN"
}
}
}
Как использовать анонимайзер с Magento EAV?
Анонимайзер также может работать с моделью Magento EAV. В приведенном ниже примере атрибут клиента about_me
в таблице customer_entity_text
будет заменен случайной фразой.
"таблицы": {
"customer_entity_text": {
"стоимость": {
"действие": "eav_update",
"атрибуты": [
{
"code": "about_me",
"тип": "цитата",
"entity_type": "клиент"
}
]
}
}
}
Как работать с данными JSON
Анонимайзер теперь может обновлять значения данных в кодировке JSON.В приведенном ниже примере мы анонимизируем json, хранящийся в столбце additional_data
.
Вам следует ознакомиться с выражениями пути MySQL JSON.
{"id": 123, "user": {"first_name": "John", "last_name": "Smith", "phone": "123-456-789"}, (...)}
"таблицы": {
"Подписки":{
"Дополнительная информация":{
"действие": "json_update",
"поля": [
{
"путь": "$. имя_пользователя",
"тип": "имя"
},
{
"путь": "$.user.last_name ",
"тип": "фамилия"
},
{
"путь": "$. user.phone",
"тип": "телефон"
}
]
}
}
}
Как выполнять пользовательские запросы
Анонимайзерможет выполнять пользовательские строковые запросы до и после процесса анонимизации. В приведенном ниже примере анонимайзер выполняет два запроса до и один после.
"таблицы": {
},
"custom_queries": {
"перед": [
"УДАЛИТЬ ИЗ some_column ГДЕ дата> '2019-12-25'",
"INSERT INTO some_column2 SET table = 'value'"
],
"после": [
"ВСТАВИТЬ В some_column SET name = 'admin', pass = '1234567890'",
]
}
Пример файла конфигурации
{
"тип": "расширенный",
"basic_type": "magento_1_9",
"random_string": "ba74a64a152b84ec004d03caba15ba95",
"dump_server": {
"host": "10.15.4.254 ",
"пользователь": "анонимайзер",
"порт": "5022",
"кодовая фраза": "",
«путь»: «/ media / drbd0 / backup / sqldump / sqldump»,
"rsync_options": "--rsync-path = \" sudo rsync \ ""
}
"tables": {
"user_address": {
"имя": {
"тип": "имя",
"действие": "обновить"
},
...
},
"log_customer": {
"only_truncate": {
"действие": "усечь"
}
},
"customer_entity_text": {
"стоимость": {
"действие": "eav_update",
"атрибуты": [
{
"code": "about_me",
"тип": "цитата",
"entity_type": "клиент"
}
]
}
},
"Подписки":{
"Дополнительная информация":{
"действие": "json_update",
"поля": [
{
"путь": "$.user.first_name ",
"тип": "имя"
},
{
"путь": "$. user.last_name",
"тип": "фамилия"
},
{
"путь": "$. user.phone",
"тип": "телефон"
}
]
},
"comment": {
"тип": "цитата",
"действие": "обновить"
}
}
}
Как запустить процесс анонимности
Файл конфигурации для среды
Перед запуском анонимайзера необходимо добавить файл конфигурации.Скопируйте образец файла конфигурации из config / env / sample.yml
в config / env /
RUBY_ENV = bundle exec rake project: anonymize [пример]
Развитие
Среда сборки
Запустите среду разработки docker, используя следующую команду:
docker-compose -f dev / docker / docker-compose.dev.yml вверх
Как запустить тесты
В среде докеров выполните команды:
Установка пакета
связка exec rspec spec /
Содействие
Если вы хотите внести свой вклад, пожалуйста, создайте ответвление репозитория и используйте функциональную ветку.Запросы на вытягивание тепло приветствуются.
Лицензирование
Код, представленный в этом проекте, находится под лицензией MIT.
Об авторах
Мы - Дом программного обеспечения из Европы, существующий с 2008 года и насчитывающий около 150 человек. Наши основные компетенции основаны на Magento, Pimcore и проектах программного обеспечения на заказ (мы любим Symfony3, Node.js, Angular, React, Vue.js). Мы специализируемся на сложных интеграционных проектах, пытаясь объединить сложные ИТ с хорошим дизайном продукта и пользовательским интерфейсом.
Мы работаем с такими клиентами, как INTERSPORT, ING, Odlo, Onderdelenwinkel или CDP, компания, которая выпустила игру The Witcher. Мы разрабатываем два проекта: Open Loyalty - программа лояльности с открытым исходным кодом и Vue.js Storefront.
Мы являемся частью OEX Group, акции которой котируются на Варшавской фондовой бирже. Наша годовая выручка растет как минимум примерно на 30% в годовом исчислении.
Посетите наш веб-сайт Divante.co для получения дополнительной информации.
manage-ai / anonymizer: анонимайзер для скрытия лиц и номерных знаков.
Чтобы улучшить конфиденциальность и упростить для компаний соблюдение GDPR, мы на сайте manage.ai
решили открыть исходный код нашего программного обеспечения для анонимизации и весов для модели, обученной на наших внутренних наборах данных
для лиц и номерных знаков.
Чтобы каждый мог легко использовать эти веса в своих проектах, модель обучается с
API обнаружения объектов Tensorflow.
Наш анонимайзер используется в проектах с некоторыми из крупнейших производителей и поставщиков автомобилей Германии,
но мы уверены, что есть еще много приложений.
Мы надеемся на широкое использование и будем рады услышать ваши отзывы.
Не стесняйтесь обращаться к нам с любыми вопросами по адресу [email protected].
Заявление об ограничении ответственности
Обратите внимание, что представленная здесь версия не идентична анонимайзеру, который мы используем с нашими клиентами. Модели довольно похожи,
но клей-код написан для простоты использования, а не для скорости.
По этой причине в этом репозитории не используется многопроцессорный код или пакетное обнаружение и размытие.
Эта версия нашего анонимайзера обучена обнаруживать лица и номерные знаки на изображениях, записанных с помощью датчиков, которые обычно используется в автономных транспортных средствах.Он не будет работать с изображениями низкого качества или в оттенках серого, а также не будет работать с рыбий глаз или другая экстремальная конфигурация камеры. Если есть большой спрос на модели, специально предназначенные для определенных конфигураций камер, мы можем решить открыть наш также более специализированные модели.
Примеры
Установка
Чтобы установить анонимайзер, просто клонируйте этот репозиторий, создайте новую среду python3.6 и установите зависимости.
Последовательность команд для всего этого -
питон -m venv ~ /.virtualenvs / анонимайзер источник ~ / .virtualenvs / анонимайзер / bin / активировать git clone https://github.com/understand-ai/anonymizer анонимайзер компакт-дисков pip install --upgrade pip pip install -r requirements.txt
Чтобы убедиться, что все работает должным образом, запустите набор тестов с помощью следующей команды
Выполнение тестовых случаев может занять несколько минут и зависит от вашего графического процессора (или процессора) и скорости интернета.
Некоторые тестовые примеры загружают веса моделей, а некоторые выполняют логический вывод, чтобы убедиться, что все работает должным образом.
Использование
Если вы хотите запустить модель на ЦП, убедитесь, что вы установили tensorflow
вместо tensorflow-gpu
в списке.
в файле требований .txt
.
Поскольку веса будут загружаться автоматически, все, что необходимо для анонимизации изображений, - это запустить
PYTHONPATH = $ PYTHONPATH :. анонимайзер python / bin / anonymize.py --input / path / to / input_folder --image-output / path / to / output_folder --weights / path / to / store / weights
из верхней папки этого репозитория.Это сохранит как анонимные изображения, так и результаты обнаружения в виде json-файлов в выходная папка.
Расширенное использование
Если вы не хотите сохранять обнаружения в json, добавьте параметр no-write-detect
.
Пример:
PYTHONPATH = $ PYTHONPATH :. анонимайзер python / bin / anonymize.py --input / path / to / input_folder --image-output / path / to / output_folder --weights / path / to / store / weights --no-write-Detections
Порог обнаружения лиц и номерных знаков может быть передан в качестве дополнительных параметров.Оба являются плавающими в [0.001, 1.0]. Пример:
PYTHONPATH = $ PYTHONPATH :. анонимайзер python / bin / anonymize.py --input / path / to / input_folder --image-output / path / to / output_folder --weights / path / to / store / weights --face-threshold = 0.1 --plate- порог = 0,9
По умолчанию только файлы * .jpg
и * .png
являются анонимными. Например, чтобы анонимизировать только jpgs и tiffs,
можно использовать параметр image-extension
. Пример:
PYTHONPATH = $ PYTHONPATH :.анонимайзер python / bin / anonymize.py --input / path / to / input_folder --image-output / path / to / output_folder --weights / path / to / store / weights --image-extensions = jpg, tiff
Также можно изменить параметры размытия. Для этого используется параметр obfuscation-kernel
.
Он состоит из трех значений: размера гауссова ядра, используемого для размытия, его стандартного отклонения и размера.
другого ядра, которое используется для более плавного перехода между размытыми и не размытыми областями.Пример использования:
PYTHONPATH = $ PYTHONPATH :. анонимайзер python / bin / anonymize.py --input / path / to / input_folder --image-output / path / to / output_folder --weights / path / to / store / weights --obfuscation-kernel = "65,3, 19 "
Атрибуции
Изображение для одного из тестовых случаев было взято из набора данных COCO.
Изображения в этом README находятся под международной лицензией Attribution 4.0.
Вы можете найти фотографии здесь и здесь.
Анонимизируйте данные в озере данных и управляйте ими с помощью Amazon Athena и AWS Lake Formation
Организации собирают и анализируют больше данных, чем когда-либо прежде.Они продвигаются так быстро, как только могут, на своем пути к тому, чтобы получать больше данных, используя выводы из своих данных.
Различные роли используют данные для разных целей. Например, инженеры по обработке данных преобразуют данные перед дальнейшей обработкой, аналитики данных получают доступ к данным и создают отчеты, а специалисты по данным, обладающие специальными знаниями и техническими знаниями, могут обучать алгоритмы машинного обучения. Эти роли требуют доступа к данным, и этот доступ никогда не был таким простым.
В то же время большинство организаций должны соблюдать нормативные требования при работе с данными своих клиентов.По этой причине наборы данных, содержащие личную информацию (PII), часто анонимизируются. Распространенным примером PII могут быть таблицы и столбцы, содержащие личную информацию о человеке (например, имя и фамилию), или таблицы со столбцами, которые при соединении с другой таблицей могут прослеживаться до человека.
Вы можете использовать сервисы AWS Analytics для анонимности ваших наборов данных. В этом посте я описываю, как использовать Amazon Athena для анонимизации набора данных. Затем вы можете использовать AWS Lake Formation, чтобы обеспечить правильный доступ к нужным персонажам.
Пример использования
Чтобы лучше понять концепцию, мы используем простой вариант использования: аналитикам в вашей организации необходим доступ к набору данных с данными о продажах, некоторые из которых содержат информацию PII. Как администратору озера данных вам неудобно, что весь персонал имеет доступ к PII клиентов. Чтобы решить эту проблему, вы можете использовать анонимный набор данных.
У этого варианта использования два пользователя:
- datalake_admin - отвечает за анонимность данных и обеспечение соблюдения необходимых разрешений.Они классифицируют данные, создают анонимные наборы данных и настраивают необходимые разрешения.
- datalake_analyst - имеет доступ только к анонимному набору данных. Они могут извлекать шаблоны для пользователей, не отслеживая запрос до отдельного клиента.
Следующий шаблон AWS CloudFormation создает таблицы AWS Glue, которые вы будете использовать позже в этом сообщении:
Однако шаблон не создает пользователей datalake_admin
и datalake_analyst
.Дополнительные сведения о персонажах в Lake Formation см. В разделе «Персоналии Lake Formation» и «Справочник по разрешениям IAM».
Архитектура решения
Для этого решения вы используете следующие услуги:
- Lake Formation - Lake Formation позволяет легко настроить безопасное озеро данных - централизованное, контролируемое и защищенное хранилище, в котором хранятся все ваши данные, как в исходной форме, так и подготовленные для анализа. Администратор озера данных может легко пометить данные и предоставить пользователям разрешение на доступ к авторизованным наборам данных.
- Athena - Athena - это интерактивная служба запросов, которая упрощает анализ данных в Amazon S3 с помощью стандартного SQL. Athena не имеет сервера, поэтому нет инфраструктуры для управления, и вы платите только за выполняемые запросы. В этом случае администратор озера данных использует Athena для анонимизации данных, после чего аналитик данных может использовать Athena для интерактивной аналитики по анонимным наборам данных.
- Amazon S3 - Amazon Simple Storage Service (Amazon S3) - это сервис объектного хранилища, который предлагает лучшие в отрасли масштабируемость, доступность данных, безопасность и производительность.В этом случае вы используете Amazon S3 в качестве хранилища для озера данных.
На следующей диаграмме показана архитектура этого решения.
В этой архитектуре нет серверов для управления. Вы платите только за то, чем пользуетесь. Вы можете использовать одно и то же решение для небольших или больших наборов данных. Масштабирование происходит незаметно, но прозрачно.
В следующих разделах вы подробнее узнаете, как делать следующее:
- Маркировка конфиденциальных данных с помощью AWS Lake Formation
- Анонимизируйте данные с помощью Athena
- Применить разрешения с помощью Lake Formation
- Анализируйте анонимные наборы данных
Маркировка конфиденциальных данных с помощью Lake Formation
Как администратор озера данных, первая задача - пометить личную информацию.Теги не применяют никаких мер безопасности, но применение хорошей стратегии тегирования - отличный способ описать данные. Теги - это пары "ключ-значение", которые можно применять для ресурсов AWS, включая таблицу и столбцы в озере данных. Для этого варианта использования вы применяете очень простую стратегию тегов: для столбцов, содержащих PII, вы указываете значение PII
.
Вы взаимодействуете со следующими таблицами из набора данных tcp-ds
, данные которых хранятся в Amazon S3 в формате CSV:
- store_sales - хранит данные о продажах и ссылается на другие таблицы, которые можно объединить для более сложных бизнес-запросов.Таблица имеет внешний ключ с таблицей клиентов
,
наss_customer_sk
Этот ключ, когда он соединен с таблицей клиентов, может однозначно идентифицировать пользователя. По этой причине рассматривайте этот столбец как личную информацию. - клиент - хранит данные клиентов, многие из которых являются PII. Помимо
c_customer_sk
, вы можете использовать такие данные, как идентификатор клиента, (c_customer_id
), имя клиента (c_first_name
), фамилия клиента (c_last_name
), логин (c_login
) и адрес электронной почты (). c_email_address
), чтобы однозначно идентифицировать клиента.
Чтобы начать разметку столбцов (начиная с таблицы store_sales
), выполните следующие действия:
- В качестве администратора озера данных войдите в консоль Lake Formation.
- Выберите Таблицы каталога данных .
- Выберите store_sales .
- Выберите Изменить схему .
- Выберите столбец, который нужно отредактировать (
ss_customer_sk
). - Выберите Изменить .
- Для ключа введите
Classification
. - Для значения введите
PII
. - Выберите Сохранить .
Чтобы убедиться, что вы можете применить добавленные свойства столбца, используйте API формирования озера, чтобы получить описание таблицы.
- На странице Таблицы каталога данных выберите
store_sales
. - Выбрать Просмотреть свойства .
Свойства таблицы выглядят как следующий объект JSON:
{
"Имя": "store_sales",
"DatabaseName": "tcp-ds-1tb",
«Владелец»: «владелец»,
"CreateTime": "2019-09-13T10: 15: 04.000Z",
"UpdateTime": "2020-03-18T16: 10: 34.000Z",
"LastAccessTime": "2019-09-13T10: 15: 03.000Z",
«Удержание»: 0,
"StorageDescriptor": {
«Столбцы»: [
{
«Имя»: «ss_sold_date_sk»,
"Тип": "bigint",
«Параметры»: {}
},
...
{
«Имя»: «ss_customer_sk»,
"Тип": "bigint",
"Параметры": {
«Классификация»: «PII»
}
},
...
}
Дополнительные свойства столбца теперь находятся в метаданных таблицы.
- Повторите предыдущие шаги для таблицы клиента
-
c_customer_sk
-
c_customer_id
-
c_first_name
-
c_last_name
-
c_login
-
c_email_address
-
Добавление тега также позволяет выполнять поиск в метаданных по атрибутам тега.Дополнительные сведения см. В разделах «Обнаружение метаданных с помощью AWS Lake Formation: часть 1» и «Обнаружение метаданных с помощью AWS Lake Formation: часть 2».
Анонимизация данных с помощью Athena
Администратор озера данных теперь должен предоставить аналитику данных анонимные наборы данных для аналитики. Для этого варианта использования вы хотите извлечь шаблоны из таблицы customer
и таблицы store_sales
отдельно, но вы также хотите объединить две таблицы, чтобы можно было выполнять более сложные запросы.
Первым шагом является создание базы данных в Lake Formation для организации таблиц в AWS Glue.
- На консоли Lake Formation в каталоге данных выберите Базы данных .
- Выберите Создать базу данных .
- Для Имя введите имя, например
anonymized_tcp_ds_1tb
. - При желании введите путь Amazon S3 для базы данных и описание.
- Выберите Создать базу данных .
Следующим шагом является создание таблиц, содержащих анонимные данные. Прежде чем сделать это, подумайте о значимости каждого анонимного столбца с точки зрения аналитики. Для столбцов, которые имеют мало значения или не имеют никакого значения в процессе аналитики, полное исключение столбца может быть правильным подходом. Вы можете использовать другие столбцы в качестве первичных ключей для соединения с другими таблицами. Чтобы убедиться, что вы можете присоединиться к таблицам, вы можете применить хэш-функцию к внешним ключам таблицы.
Распространенным подходом к анонимизации конфиденциальной информации является хеширование . Хеш-функция - это любая функция, которую вы можете использовать для сопоставления данных произвольного размера со значениями фиксированного размера. Для получения дополнительной информации см. Хеш-функция.
В следующей таблице приводится сводная информация о вашей стратегии для каждого столбца.
Стол | Колонка | Стратегия |
клиент | имя_клиента | хеш |
клиент | имя_последнего_клиента | хеш |
клиент | c_login | опустить |
клиент | customer_id | хеш |
Заказчик | c_email_address | опустить |
клиент | c_customer_sk | хеш |
store_sales | ss_customer_sk | хеш |
Если вы используете то же значение, что и входные данные вашей хэш-функции, она всегда возвращает один и тот же результат.Кроме того, в отличие от шифрования, обратное хеширование невозможно.
- Используйте строковые функции Athena для хеширования отдельных столбцов и создания анонимных наборов данных.
- После создания этих наборов данных вы можете использовать Lake Formation для применения мер безопасности. См. Следующий код:
СОЗДАТЬ таблицу "tcp-ds-anonymized" .customer
WITH (format = 'parquet', external_location = 's3: // tcp-ds-eu-west-1-1tb-anonymized / 2 / customer_parquet /')
КАК ВЫБРАТЬ
sha256 (to_utf8 (cast (c_customer_sk AS varchar))) AS c_customer_sk_anonym,
sha256 (to_utf8 (cast (c_customer_id AS varchar))) AS c_customer_id_anonym,
sha256 (to_utf8 (cast (c_first_name AS varchar))) AS c_first_name_anonym,
sha256 (to_utf8 (cast (c_last_name AS varchar))) AS c_last_name_anonym,
c_current_cdemo_sk,
c_current_hdemo_sk,
c_first_shipto_date_sk,
c_first_sales_date_sk,
c_salutation,
c_preferred_cust_flag,
c_current_addr_sk,
c_birth_day,
c_birth_month,
c_birth_year,
c_birth_country,
c_last_review_date_sk
ОТ заказчика
- Для предварительного просмотра данных введите следующий код:
ВЫБЕРИТЕ c_first_name_anonym, c_last_name_anonym ИЗ "tcp-ds-anonymized".«клиентский» лимит 10;
На следующем снимке экрана показан результат вашего запроса.
- Чтобы повторить эти шаги для таблицы
store_sales
, введите следующий код:
СОЗДАТЬ таблицу "tcp-ds-anonymized" .store_sales
WITH (format = 'parquet', external_location = 's3: // tcp-ds-eu-west-1-1tb-anonymized / 1 / store_sales /')
КАК ВЫБРАТЬ sha256 (to_utf8 (cast (ss_customer_sk AS varchar))) КАК ss_customer_sk_anonym,
ss_sold_date_sk,
ss_sales_price,
ss_sold_time_sk,
ss_item_sk,
ss_hdemo_sk,
ss_addr_sk,
ss_store_sk,
ss_promo_sk,
ss_ticket_number,
ss_quantity,
ss_wholesale_cost,
ss_list_price,
ss_ext_discount_amt,
ss_external_sales_price,
ss_ext_wholesale_cost,
ss_ext_list_price,
ss_ext_tax,
ss_coupon_amt,
ss_net_paid,
ss_net_paid_inc_tax,
ss_net_profit
ОТ store_sales;
Одна из проблем, которую необходимо решить при работе с запросами CTAS, заключается в том, что местоположение запроса Amazon S3 должно быть уникальным для создаваемой таблицы.Вы можете добавить инкрементное значение или временную метку к пути к таблице, например, s3: /
, и убедитесь, что вы используете другой номер версии каждый раз.
Вы можете удалить старые данные программно с помощью API Amazon S3 или SDK. Вы также можете использовать конфигурацию жизненного цикла Amazon S3, чтобы сообщить Amazon S3 о необходимости перехода объектов в другой класс хранилища Amazon S3. Для получения дополнительной информации см. Управление жизненным циклом объекта.
Вы можете автоматизировать анонимность запроса CTAS с помощью заданий AWS Glue. AWS Glue предоставляет облегченный вариант задания оболочки Python, который может программно вызывать API Amazon Athena.
Применение разрешений с Lake Formation
Теперь, когда у вас есть структуры таблиц и анонимные наборы данных, вы можете применить необходимые разрешения с помощью Lake Formation.
- На консоли Lake Formation в каталоге данных выберите Таблицы .
- Выберите таблицы, содержащие анонимные данные.
- В раскрывающемся меню Действия в разделе Разрешения выберите Предоставить .
- Для пользователей IAM и ролей выберите пользователя IAM для аналитика данных.
- Для разрешений таблицы выберите Выберите .
- Выберите Grant .
Теперь вы можете просмотреть все разрешения для таблиц и проверить разрешения, предоставленные определенному участнику.
Анализ анонимных наборов данных
Чтобы убедиться, что роль может обращаться к нужным таблицам и запрашивать анонимные наборы данных, выполните следующие действия:
- Войдите в Консоль управления AWS как аналитик данных.
- В Analytics выберите Amazon Athena .
Вы должны увидеть поле запроса, подобное изображенному на следующем снимке экрана.
Теперь вы можете проверить свой доступ с помощью запросов.Чтобы увидеть самых популярных клиентов по доходу и фамилии, введите следующий код:
ВЫБРАТЬ c_last_name_anonym,
сумма (ss_sales_price) AS total_sales
ОТ store_sales
ПРИСОЕДИНЯЙТЕСЬ к клиенту
НА store_sales.ss_customer_sk_anonym = customer.c_customer_sk_anonym
ГРУППА ПО c_last_name_anonym
ORDER BY total_sales DESC limit 10;
На следующем снимке экрана показан результат запроса.
Вы также можете попробовать запросить таблицу, к которой у вас нет доступа.Вы должны получить сообщение об ошибке.
Заключение
Анонимизация набора данных часто является предварительным условием, прежде чем пользователи смогут начать анализ набора данных. В этом посте мы обсудили, как администраторы озера данных могут использовать Athena и Lake Formation для маркировки и анонимизации данных, хранящихся в Amazon S3. Затем вы можете использовать Lake Formation для применения разрешений к набору данных и предоставления другим пользователям доступа к данным.
Сервисы, которые мы обсуждали в этом посте, являются бессерверными.Создание бессерверных приложений означает, что ваши разработчики могут сосредоточиться на своем основном продукте, а не беспокоиться об управлении и эксплуатации серверов или средах выполнения в облаке или локально. Это сокращение накладных расходов позволяет разработчикам вернуть время и энергию, которые они могут потратить на разработку отличных масштабируемых и надежных продуктов.
Об авторе
Манос Саматас (Manos Samatas) - специалист по архитектуре решений в области больших данных и аналитики в Amazon Web Services. Манос живет и работает в Лондоне.