← All posts tagged GitHub

schors
вещества usher2 ⚡️⚡️⚡️ На e-trust.gosuslugi.ru — сайте про безопасность и сертификаты российского PKI — вчера «протух» сертификат. А там реестры, собственно реестр рутовых российских сертификатов, вот это всё

🦠 У меня за последние 3 месяца у самого один раз «протухли» сертификаты (ошибся в скрипте), один раз я нарывался на устаревшее ПО у себя, которое не распознало новые сертификаты. Но я не главный официальный сайт по сертификатам в России и не сутки. Подозреваю, что они вообще об этом узнают из СМИ (от меня)

☝️ Напомню, я единственный в России, собирающий российские CA в форме, которая может использоваться для немаргинального софта, например OpenSSL/LibreSSL: github.com
schors
usher2 Помните, у меня есть бот проверки ресурса на блокировку t.me
Исходный код составляющих сервисов всегда был открыт и здорово дополнен сообществом:
github.com
github.com

Сегодня между делом я не поленился и открыл код обслуживания этих сервисов (Docker, docker compose):
github.com
github.com

(рекламная пауза) Конкретно эти сервисы у меня размещены в Финляндии в Хельсинки у финского облачного провайдера: upcloud.com
schors
usher2 Позже всех. Ну почти. 14 февраля 2020 года Роскомнадзор по решению Генпрокуратуры заблокировал немецкий сервис электропочты tutanota.com. Впервые услышал о нём из новостей. Позиционирует себя как защищенный сервис (у него есть русский язык и описание, что именно он имеет ввиду):
tutanota.com
Вошли во вкус, так сказать.

👉 Интересное наблюдение (повторяюсь). Очень часто мелькают сообщения, что хулиганы используют сервисы «защищеной» электропочты. И вот на tutanota написано, что это «защищенная» электропочта. С объяснением. А вы прочли его? Но портрет хулигана(ов) понятен. Или нет никаких хулиганов, а это формальная подстава почтовых сервисов? Время покажет

☝️ Заблокированы все IP серверов, основные домены по URL (неясно зачем) и все поддомены, которые смогли найти по домену. У tutanota прописаны IP, с которых может исходить почта, остальная почта должна отбрасываться. И эти IP заблокированы

🔥 Почтовый сервис выкладывает в общий доступ код своего продукта:
github.com
Чтобы два раза не вставать, есть подобные веб-интерфейсы со свободным кодом:
mailpile.is
rainloop.net

😎 Напомню своё отношение к происходящему:
— Господа! А пойдемте купать коней в шампанском!
— Поручик, вы же вчера все деньги проиграли.
— Ну, давайте тогда хотя бы кота пивом обольём!
schors
usher2 Позже всех. Ну почти. 14 февраля 2020 года Роскомнадзор по решению Генпрокуратуры заблокировал немецкий сервис электропочты tutanota.com. Впервые услышал о нём из новостей. Позиционирует себя как защищенный сервис (у него есть русский язык и описание, что именно он имеет ввиду):
tutanota.com
Вошли во вкус, так сказать.

👉 Интересное наблюдение (повторяюсь). Очень часто мелькают сообщения, что хулиганы используют сервисы «защищеной» электропочты. И вот на tutanota написано, что это «защищенная» электропочта. С объяснением. А вы прочли его? Но портрет хулигана(ов) понятен. Или нет никаких хулиганов, а это формальная подстава почтовых сервисов? Время покажет

☝️ Заблокированы все IP серверов, основные домены по URL (неясно зачем) и все поддомены, которые смогли найти по домену. У tutanota прописаны IP, с которых может исходить почта, остальная почта должна отбрасываться. И эти IP заблокированы

🔥 Почтовый сервис выкладывает в общий доступ код своего продукта:
github.com
Чтобы два раза не вставать, есть подобные веб-интерфейсы со свободным кодом:
mailpile.is
rainloop.net

😎 Напомню своё отношение к происходящему:
— Господа! А пойдемте купать коней в шампанском!
— Поручик, вы же вчера все деньги проиграли.
— Ну, давайте тогда хотя бы кота пивом обольём!
schors
GOlang Ну кстати, не так страшно, как выглядело с моего места (я про свое выступление) :)) avito.tech конечно отожгли :)) Молодцы
A-Level Go meetup: XML, SQL-миграции, Go language server и drone-io | Казань
youtube.com

Моя презентация и ссылка на код:
github.com
schors
Напомню о моём боте проверки ресурсов. С момента блокировки Telegram 16 апреля 2018 года появилось несколько ботов, которые проверяли ресурсы на ограничение доступа в России. У всех них есть один недостаток — понятно, что с ресурсом что-то не так, но непонятно что. Более того, ни один бот не пользуется полной «выгрузкой» Роскомнадзора и не знает о типах блокировки. Я исправил эту ситуацию:
t.me

Что бот умеет:
— Бот умеет проверять IP, URL, домен и показывать запись по номеру
— Бот из коробки «играет» префиксом www у доменов и сразу смотрит URL и с HTTPS и без вне зависимости от запроса
— Бот показывает номера записей в «выгрузке» и что именно он там нашёл
— Бот показывает тип блокировки
— Бот имеет краткое описание типов блокировки
— Бот внизу показывает, какой самый «протухший» дамп реестра участвовал в той информации, что он выдал

Что бот будет уметь (но пока на это нет времени и сил):
— «Ходить» по длинным простыням ответа. Сейчас он просто говорит «и 1000 других»
— Смотреть в «ресолв» — в список IP адресов, которые реально соответствуют заблокированным доменам
— Показывать свободные для регистрации домены, если до них дошло дело (сейчас их 8000+) вместе со статистикой о количестве поддоменов с категоризацией по типам блокировок
— Искать по реквизитам решений о блокировке

Чего бот не умеет и не будет уметь:
— Писать вам сам. У бота даже временного списка пользователей в памяти нет

Исходный код бота и вспомогательного сервиса открыты. Кстати, разобрать 150Mb «выгрузки» в XML оказалось целой историей, к которой приложили руки несколько человек, за что им спасибо
github.com
github.com
schors
usher2 🤡 Есть такой сериал – Вавилон 5. В 5-ом сезоне в 8-ой серии есть момент, где капитан Шеридан разговаривает с прибывшими на станцию комиками Рибо и Зути:
«Нет. Мы смешно говорим серьезные вещи, но когда доходит дело до шутки, люди перестают слушать. Вот заседания Сената — это настоящая комедия. Они делают одну идиотскую вещь следом за другой, но все их слушают, потому что они говорят серьезно. Не знаю, покидаем ли мы сцену ради школы клоунов, но вот все, что мне известно, – комедианты ничего не значат»
Хотел вставить кусок видео, но что-то последние два года правообладатели начали бегать за «Вавилоном» и всё выпилили с YouTube.

Полдня инфопространство вокруг меня бурлит каким-то реестром ТЦИ… Пришлось пойти посмотреть. Я не знаю, какой вывод сделать, но представление опишу.

Вот собственно этот «реестр лулзов», как его уже окрестили операторы связи:
ranr.ru
Очень похож по структуре на вот этот:
apps.db.ripe.net
У RIPE кстати открыт код: github.com (RIPE — это международная организация, администрирующая все IP-адреса в европейском регионе)

Судя по подвалу сайта, «реестр лулзов» разработан неким ООО «ТЦИ» tcinet.ru
ТЦИ — это оператор доменов .RU, .РФ, .SU, .ДЕТИ, .TATAR. Администраторы зон вырабатывают политики зон, а операторы — это вся техническая поддержка — поддержка реестра, whois, серверов DNS зон. Раньше это было коммерческое предприятие принадлежавшее Координационному Центру Национального Домена (RU/РФ) и FAITID (SU), но после дворцовых интриг почти два года назад был поглощён Ростелекомом:
rbc.ru

☝️ А теперь следим за руками. Собственно, сайт обнаружили по ссылке с сайта Роскомнадзора: rkn.gov.ru Справа внизу «Реестр адресных номерных реусурсов». Можно предположить, что «ноги растут» из проекта нормативного правового акта по «устойчивому Рунету» «О национальной системе доменных имен» usher2.club
В изначальной версии проекта regulation.gov.ru (Размещение текста проекта → Текущая версия проекта, пункт 10) содержалось упоминание о предоставлении информации об адресах, и эту систему предполагается использовать публично. Но из конечного документа этот пункт убран. Я думаю, что есть правовое поле, а есть органы власти и их хотелки. Как мы уже видели на примере собственно этих же нормативов и регламента их разработки. Из норматива-то убрали, но есть ли кому дело?

💥 Итого, мы сейчас имеем ничем не регламентированный (ни нормативов, ничего) источник недостоверной информации (как пример — ссылка с запросом известных IP-адресов), оказывающий влияние (ссылка с официального сайта органа федеральной исполнительной власти). Я думаю это повод Генеральной Прокуратуре пополнить список источников недостоверной информации rkn.gov.ru Роскомнадзора сайтом Роскомнадзора, который размещает подобную ссылку… А стоп...

Because it tells me to
schors
usher2 С момента блокировки Telegram 16 апреля 2018 года появилось несколько ботов, которые проверяли ресурсы на ограничение доступа в России. У всех них есть один недостаток — понятно, что с ресурсом что-то не так, но непонятно что. Более того, ни один бот не пользуется полной «выгрузкой» Роскомнадзора и не знает о типах блокировки. Я исправил эту ситуацию:
t.me

Что бот умеет:
— Бот умеет проверять IP, URL, домен и показывать запись по номеру
— Бот из коробки «играет» префиксом www у доменов и сразу смотрит URL и с HTTPS и без вне зависимости от запроса
— Бот показывает номера записей в «выгрузке» и что именно он там нашёл
— Бот показывает тип блокировки
— Бот имеет краткое описание типов блокировки
— Бот внизу показывает, какой самый «протухший» дамп реестра участвовал в той информации, что он выдал

Что бот будет уметь:
— «Ходить» по длинным простыням ответа. Сейчас он просто говорит «и 1000 других»
— Смотреть в «ресолв» — в список IP адресов, которые реально соответствуют заблокированным доменам
— Показывать свободные для регистрации домены, если до них дошло дело (сейчас их 7682) вместе со статистикой о количестве поддоменов с категоризацией по типам блокировок
— Искать по реквизитам решений о блокировке

Чего бот не умеет и не будет уметь:
— Писать вам сам. У бота даже временного списка пользователей в памяти нет

Исходный код бота и вспомогательного сервиса открыт. Кстати, разобрать 150Mb «выгрузки» в XML оказалось целой историей, к которой приложили руки несколько человек, за что им спасибо
github.com
github.com

Конкретно эти сервисы у меня размещены в Финляндии в Хельсинки у финского облачного провайдера: upcloud.com

Фуф…. #donate

МНЕ НУЖЕН ИНСАЙДЕР
Чтобы доставать выгрузки для ТСПУ

schors
golangconf2019 Пятница же? Я не только слежу за Роскомнадзором. Я тот самый общественник, который не настоящий общественник, а так, по дороге зашёл. В начале октября я рассказал про то, почему язык Go такой странный. Зачем Google придумал свою странную систему работы с абстрактными данными? Что за непривычные паттерны у нового языка от Google? Что это за «чёрт из табакерки», учитывающий только странные «хотелки» Google, но игнорирующий часть мирового опыта развития языков? «Суверенный» Go-путь? Кто эти «хипстеры» из Google, разработавшие «хипстерский» язык Go для «хипстеров»? Зачем это всё знать?
youtu.be

👉 Это очень насыщенный доклад даже для меня. На каждую секцию из этого доклада можно ещё пару отдельных докладов сделать. Было перерыто много тысяч строк кода и просмотрено несколько часов видеоматериалов. Большинство добытых материалов в доклад не вошло.

➡️ Презентация на сайте конференции: golangconf.ru
➡️ Презентация и её код на LaTeX на GitHub: github.com
➡️ Рассказ о том, как я программировал презентацию на LaTeX: habr.com
schors
LaTeX usher2 После доклада на GolangConf решил поделиться опытом создания презентации с помощью LaTeX:
habr.com
Специально для этой статьи я сделал шаблоны для двух предстоящих конференций:
github.com
github.com

Вобщем, рекомендую. Программировать презентацию оказалось занимательно.

schors
телеграмживи usher2 ⚡️ На хабре вышла статья (не моя, хвалите настоящего автора) о replay-атаках на MTProxy Telegram в Китае и Иране:
habr.com
В этой же статье упомянута мутная история про поиск Роскомнадзором прокси-серверов через взломанные устройства (я до сих пор считаю, что это повод для проверки Следственным Комитетом, с обысками, изъятием техники и вот этим вот всем).

✌️Защита от replay-атак реализована на альтернативных MTProxy-серверах:
MTProxy на Python: github.com
MTProxy на Golang: github.com

👀 Ждем в ближайшее время на MTProxy на Erlang:
github.com
schors
usher2 ℹ️ Как многие из вас знают, что я немного не общественник. У меня есть работа, какие-то дела, увлечения, хобби. И конечно «следящий за Роскомнадзором» — важная составляющая моей жизни в последние года два, но всё же не главная. Например, для каких-то своих целей, да и «для фана» я делаю постоянно обновляемый репозиторий российских «официальных» сертификатов с российской криптографией в том виде, в котором это можно применять в открытом программном обеспечении. Например, в openssl или libressl: github.com Зачем я это делаю? Because I can. Хотя, конечно, по-хорошему, это епархия Минциркома.

😱 И постоянно пробемы с этим. То Госуслуги банят мои скрипты (да, они не умеют заголовок последней модификации, приходится постоянно опрашивать и скачивать полный архив). То Госуслуги начали блокировать по списку Роскомнадзора «транзит» (между датацентрами) и у меня отвалилась «виртуалка» на DigitalOcean.

👎 Сегодня я вдруг обнаружил, что репозиторий не обновляется с 25 марта 2019. Т.е. уже две недели. Нужный мне портал Госуслуг e-trust.gosuslugi.ru стал отдавать неверную цепочку сертификатов. Для тех кто понимает — они отдают свой сертификат и CA, а промежуточный — забыли. В браузерах это в подаваляющем большинстве случаев назметно, потому что браузеры кэшируют промежуточные сертификаты и не обращают внимание на «битые» цепочки, приходящие при соединении с сервером. Хороший вопрос — почему? А вот вся автоматика отвалилась. С 25 марта.

👉 Это конечно чисто техническая проблема. Бывает. У самого вон графики полтора дня лежали. Но мой бюджет вы можете прикинуть на patreon.com (умножьте на 3 где-то). А это портал Госуслуг всё-таки. И вот тут какой-то суровый дядентька (не то что я) на RIGF-2019 в Москве что-то сегодня про регулирование и устойчивость говорили, хотя и на каком-то птичьем языке типа молодёжного слэнга — бакланизация какая-то, сувенирезация и вот эти все слова из мира политических хипстеров.

✌️ Я ещё хочу отметить, что это сумма и надуманных синтетических проблем, полное отсутствие нацеленности на результат, и вообще бардак.
schors
телеграмживи usher2 🔥Так получилось, что ряд новостей по прокси-серверам для Telegram. В коде официального MTProxy была обнаружена досадная неточность, приводящая к не ожидаемому поведению при использовании IPv6 протокола. Код поправлен:
github.com
Рекомендую обновиться.

Также актуализирован официальный docker образ официального MTProxy, хотя docker образ эта ошибк затрагивала только в уникальных случаях:
hub.docker.com

✌️И конечно же можно пользоваться альтернативными MTProxy-серверами:
MTProxy на Python: github.com
MTProxy на Erlang: github.com
MTProxy на Golang: github.com
schors
телеграмживи usher2 🔥Telegram актуализировал официальный docker образ официального MTProxy. Кто пользовался и у него не работали dd-секреты — обновитесь.
hub.docker.com

☝️Напоминаю, что есть ещё готовый образ альтернативного MTProxy сервера на Golang:
hub.docker.com

✌️И конечно же можно пользоваться без докера:
MTProxy на Python: github.com
MTProxy на Erlang: github.com
MTProxy на Golang: github.com
schors
телеграмживи usher2 Вернемся к делам нашим скорбным. Роскомнадзор изменил тактику блокировки Telegram и проски-серверов пару дней назад. Судя по всему, они увеличили ботнет-ферму, сканящую популярные хостинговые сервисы, увеличили ферму «клиентов» Telegram, установили у ряда провайдеров в опытную эксплуатацию оборудование, выделяющее характерный трафик прокси серверов, развернули программы анализа соцсетей, уменьшили время реакции на нахождение новых IP-адресов с нескольких дней до примерно часа. Это, конечно же, не очень хорошо сказывается на работе Telegram.

Я хочу провести небольшой ликбез по прокси серверам для Telegram.

👉 Socks-прокси. Самый быстрый прокси-сервер. Проблема заключается в том, что он легче всех и определяется. Более того, сразу видно, что используется для Telegram.

👉 MTProto-proxy или просто MTProxy. Кроме официальной модификации, существует несколько альтернативных производительных MTProxy, разработанных в рамках «Всероссийского хакатона»:
MTProxy официальный: github.com
MTProxy на Python: github.com
MTProxy на Erlang: github.com
MTProxy на Golang: github.com
Большинство из них докеризировано. Рекомендую.

💥 Сокрытие трафика. У MTProxy существует возможность подмешивать в трафик случайные данные, чтобы усложнить выявление характерных шаблонов протокола. Все перечисленные сервера поддерживают эту возможность. Для включения требуется добавить на клиенте к ключу, по которому вы ходите на прокси-сервер, два символа — «dd». Именно на клиенте, на сервере ключ остаётся как был. Некоторые сервера поддерживают «только dd-режим». Это не даёт 100% защиты, но усложняет работу по обнаружению. Я настаиваю, чтобы использовались именно dd-ключи.

☝️ Можно настроить прокси за nginx на обычном 443 порту вместе с каким-нибудь сайтом. С помощью модуля nginx.org
Это мало что даст публичным прокси-серверам. Но частные прокси-сервера, ключи которых не известны публично, таким образом заметно затрудняют обнаружение прокси-сервера. Это, конечно же, ссылка для специалистов, которые понимают, что приобретают, что теряют, но просто раньше не задумывались о такой возможности.

schors
телеграмживи usher2 Вернемся к делам нашим скорбным. Роскомнадзор изменил тактику блокировки Telegram и проски-серверов пару дней назад. Судя по всему, они увеличили ботнет-ферму, сканящую популярные хостинговые сервисы, увеличили ферму «клиентов» Telegram, установили у ряда провайдеров в опытную эксплуатацию оборудование, выделяющее характерный трафик прокси серверов, развернули программы анализа соцсетей, уменьшили время реакции на нахождение новых IP-адресов с нескольких дней до примерно часа. Это, конечно же, не очень хорошо сказывается на работе Telegram.

Я хочу провести небольшой ликбез по прокси серверам для Telegram.

👉 Socks-прокси. Самый быстрый прокси-сервер. Проблема заключается в том, что он легче всех и определяется. Более того, сразу видно, что используется для Telegram.

👉 MTProto-proxy или просто MTProxy. Кроме официальной модификации, существует несколько альтернативных производительных MTProxy, разработанных в рамках «Всероссийского хакатона»:
MTProxy официальный: github.com
MTProxy на Python: github.com
MTProxy на Erlang: github.com
MTProxy на Golang: github.com
Большинство из них докеризировано. Рекомендую.

💥 Сокрытие трафика. У MTProxy существует возможность подмешивать в трафик случайные данные, чтобы усложнить выявление характерных шаблонов протокола. Все перечисленные сервера поддерживают эту возможность. Для включения требуется добавить на клиенте к ключу, по которому вы ходите на прокси-сервер, два символа — «dd». Именно на клиенте, на сервере ключ остаётся как был. Некоторые сервера поддерживают «только dd-режим». Это не даёт 100% защиты, но усложняет работу по обнаружению. Я настаиваю, чтобы использовались именно dd-ключи.

☝️ Можно настроить прокси за nginx на обычном 443 порту вместе с каким-нибудь сайтом. С помощью модуля nginx.org
Это мало что даст публичным прокси-серверам. Но частные прокси-сервера, ключи которых не известны публично, таким образом заметно затрудняют обнаружение прокси-сервера. Это, конечно же, ссылка для специалистов, которые понимают, что приобретают, что теряют, но просто раньше не задумывались о такой возможности.

schors
О, жуйк? А никто RTF на чем-нибудь не парсил? Мне нужен парсер RTF. Я уже готов на любой язык. Нужно в том числе выдирать текст "из абзаца начинающегося на PATTERN", из таблицы, "правую ячейку в ряду, в которой левая PATTERN" Кстати, я спокойно переживу Perl в проекте. У него самые удобные regexp. Для regexp хер знает чего — самое то. Вот это бы github.com с вот этим github.com поженить. Первый плох с кодировками и стрипом параграфов, второй — с таблицами. Короче, у них ещё бывает таблица где URL. А по персональным данным там вообще кошмар. Грубо говоря, я бы каждую таблицу пытался считать двуколоночной и брать k/v
schors
Forwarded from Официальный Жаров:

Author Reflex: __Под блокировкой DigitalOcean лежит git.openwrt.org . Доколе???__

Здравствуйте!

Я, пожалуй, не буду сюда писать весь этот длинный текст, объсняющий легитимность блокировки, ладно? Просто представьте его тут сами.

OpenWrt могли бы и начать пользоваться нормальным репозиторием, а не этой мерзостью. Пока они на GitHub выкладывают только github.com но у нас с Microsoft секретное соглашение о том, что мы их затолкаем в GitHub.

Поэтому, дотоле.
schors
usher2 Напомню, что у нас есть графики голосования по Премии Рунета:
fulgurigor.github.io
stat.creadth.com
С интересом наблюдаю там схватку сайта-миллионника с агенством расркрутки.

В голосовании на Премию Рунета 2018 к нам за сегодня уже присоединились:
Провайдер «Кактус»: vk.com
Чатик «I'm Coffee»: t.me
Канал «Записки инженера»: t.me

Смысл сайта «Эшер II» и деятельности канала в том, чтобы кошмарить с технической и нормативной точек зрения блокировочную деятельность органов государственной власти. В том числе и освещать эти вопросы. Я бутерброд застрявший у них в горле. Я следящий за Роскомнадзором.

Я хочу стать первой красавицей на Премии Рунета 2018 в номинации «Народный Интернет-проект».

Вливайтесь в эту замечательную компанию. Если я кого-то не упомянул, но считает, что надо – просто напишите мне. Кстати, не знаю авторов картинок с РКН-тян, которые я нагло использую в оформлении ресурсов. У нас есть время до 29 ноября 2018 года. Напоминаю, Яплакал – портал с миллионной аудиторией, каждый ваш репост, каждый голос, каждый баннер на сайте с посещаемостью 5 человек (например, моя домашняя страничка, кстати), всё это делает возможным победу.

Есть хорошая фотка? Делай так (16+): twitter.com
Не своей – репостите ту. Но лучше – свою :)

Не знаете что написать и почему мой сайт? Вот посадочная страница:
usher2.club
В самом её низу вы найдете готовые баннеры.

Голосовать за «Эшер II» тут: kto-chto-gde.ru