gladilov.org.ru gladilov.org.ua

1347 заметок с тегом

софт

Проброс событий в ClickHouse с использованием Vector

От устройства снаружи ИС на фронтальные балансировщики приходят сообщения в локейшн

/<device_location>/status

Файл журнала

/var/log/<device_access_log_file_path>.status.access.log

разбирается с помощью vector, пересылающий события на внутренний балансировщик. Между фронтальными и внутренними балансировщиками есть сетевая связность по порту TCP

<port>

Конфиг vector на фронтальных балансировщиках: Показать

sources:
  device-status:
    type: "file"
    max_line_bytes: 1638400
    include:
      - /var/log/<device_access_log_file_path>.status.access.log

transforms:
  device-status_filter:
    type: "filter"
    inputs:
      - device-status
    condition:
      .message != ""

  device-status_transform:
    type: "remap"
    inputs:
      - device-status_filter
    source: |
      .message = parse_jsonI(.message)
      .message.traffic_source = .host
      . = .message

sinks:
  sink_clickhouse:
    type: "clickhouse"
    inputs:
      - device-status_transform
    endpoint: "http://<inner_BGP_IP>:<port>"
    format: "json_as_string"
    healthcheck:
        enabled: false
    auth:
      strategy: "basic"
      user: "<clickhouse_DB_user>"
      password: "<clickhouse_DB_password>"
    database: "<clickhouse_DB>"
    table: "<clickhouse_table>"

Конфиг внутреннего балансировщика, пробрасывающего события в clickhouse: Показать

stream {
include /etc/<path_to_balancer_config>/log-format-s.conf;

upstream clickhouse8123 {
    server <clickhouse_BGP_IP>:8123;
    server <clickhouse_node1_IP>:8123 backup;
    server <clickhouse_node2_IP>:8123 backup;
}

server {
    listen <port>;
    proxy_pass clickhouse8123;
    access_log /var/log/<access_log_file_path> main_json_mini_s;
    error_log /var/log/<error_log_file_path>;
}
}

Команды clickhouse для создания БД, таблиц и представлений: Показать

# Создание БД
CREATE DATABASE vector ON CLUSTER <cluster_name>;

DROP TABLE IF EXISTS vector.device_status_logs ON CLUSTER <cluster_name>;
# Создание таблицы
CREATE TABLE vector.device_status_logs ON CLUSTER <cluster_name> (
        'message' String
)
ENGINE = ReplicatedReplacingMergeTree('/сlickhouse/{cluster}/tables/validator_status_logs','{replica}')
ORDER BY tuple();

DROP VIEW IF EXISTS vector.device_status_logs_view ON CLUSTER <cluster_name>;
# Создание представления
CREATE MATERIALIZED VIEW vector.device_status_logs_view ON CLUSTER <cluster_name> (
        'time_stamp' DateTime,
        'req' String,
        'req_body' String
)
ENGINE = ReplicatedReplacingMergeTree('/clickhouse/{cluster}/tables/device_status_logs_view','{replica}')
ORDER BY time_stamp
SETTINGS index_granularity = 8192
AS SELECT
        parseDateTimeBestEffortOrNull(JSONExtractString(message, 'timestamp')) AS time_stamp,
        simpleJSONExtractRaw(message, 'req') AS req,
        simpleJSONExtractRaw(message, 'req_body') AS req_body
FROM (
        SELECT message
        FROM vector.device_status_logs
);

Новая виртуальная ОСь — 30.06.2025

 arcOS 22.1.2 (Crater Lake)

Кастомизированный Live-дистрибутив Linux, основанный на  Linux Mint. ОСь разработана для запуска с USB-накопителя, чтобы обеспечить переносимость между машинами и упростить обновления и повторное создание образов. Это также позволяет пользователям загружать дистр по желанию, оставляя свою обычную ОСь нетронутой на внутреннем диске. Установка на жёсткий диск пока не поддерживается (загружается с USB-устройства, возможно записать образ на внутренний носитель и загружаться с него). Автор — радиолюбитель  Майк Фишер (Michael Fisher, KG4VDK). Версия 21.3 вышла 13 сентября 2024 года. Последняя версия (эта) выпущена 16 июня 2025 года. Графика —  Cinnamon. Размер файла ISO-образа — 4,2 Гб.

 arcOS

30 июня   виртуальные ОСи   досуг   ОС   софт

Новая виртуальная ОСь — 16.06.2025

 Securonis Linux 3.0 (Darkcloux)

Дистрибутив на базе ядра Linux, сфокусированный на сохранении конфиденциальности и усилении безопасности. Дистрибутив основан на пакетной базе  Дебиана (тестовая ветка), предварительно настроен для отправки всего трафика только через сеть Tor (опционально поддерживается I2P) и включает подборку изменений настроек и компонентов для повышения безопасности. Возможна установка дистрибутива для повседневной работы или загрузка в Live-режиме. Автор — некий  Эмир К. (Emir K.). Версия 2.5 ’Near2Shell’ была выпущена 22 мая 2025 года. Последняя на сегодняшний день версия (эта) вышла 13 июня 2025 года. В качестве рабочего стола предлагается  MATE (ранее также  GNOME). Размер файла образа винта после установки составил 10,4 гига.

 Securonis

16 июня   виртуальные ОСи   досуг   ОС   софт

Новая виртуальная ОСь — 10.06.2025

 tuXmas 2006

Linux-дистрибутив на базе  кубунты, созданный  группой пользователей Linux региона Бакнанг (архивная ссылка). Приоритетом для дистра стало предоставление как можно большего разнообразного контента: музыки, фильмов, текстов, а также нот, комиксов и многого другого. На диске представлено множество альбомов бесплатной музыки, несколько бесплатных фильмов, популярное бесплатное программное обеспечение для Windows и текущая на тот момент версия кубунты. Эта версия создана 21 декабря 2006 года. Последняя версия (2008) была выпущена в 2008 году. Графика —  KDE. После установки размер файла образа винта составил 2,8 гигабайта.

 tuXmas

10 июня   виртуальные ОСи   досуг   ОС   софт

Новая виртуальная ОСь — 03.06.2025

 Gnome OS Nightly 851764

Ночные сборки дистрибутива от  GNOME Foundation, созданного для тестирования разработчиками и продвинутыми пользователями при трансформировании его в дистрибутив общего назначения. Ранее он играл роль инструмента для тестирования компонентов оболочки GNOME. Основной целью тестирования является оттачивание системы при использовании на реальном оборудовании в качестве основной ОСи. Дистр использует компонент systemd-sysupdate для организации атомарного обновления системы и формат пакетов flatpak для установки дополнительных программ. Для установки задействован прототип инсталлятора, который пока не содержит все ожидаемые возможности. Проект пилится с 2020 года, о выпуске этой версии было объявлено 1 июня 2025 года. Графическим рабочим столом, само собой, стал  GNOME. После установки размер файла образа диска — 2,3 Гб.

 GnomeOS

3 июня   виртуальные ОСи   досуг   ОС   софт

Новая виртуальная ОСь — 01.06.2025

 Nyarch Linux 25.04.1

Linux-дистрибутив с политикой развития rolling release, созданный на кодовой базе  Арча.
Разработан  Франческо Караччиоло (Francesco Caracciolo) как простой и доступный ресурс для пользователей всех уровней подготовки, особенно для новичков в Linux. Дистр подойдёт для людей, интересующихся аниме, мангой, косплеем и другими аспектами японской культуры. Доступны два варианта образов дистрибутивов ОСи: с проприетарными драйверами Nvidia и без них. Flathub установлен и активирован по умолчанию. Первая доступная версия (23.05) стала доступна 26 мая 2023 года. Последняя на сегодня версия (эта) вышла 30 мая 2025 года. Дефолтный DE —  GNOME. Размер файла образа винта после установки составил 12,1 гига.

 Nyarch

1 июня   виртуальные ОСи   досуг   ОС   софт

Новая виртуальная ОСь — 28.05.2025-2

 Besgnulinux 02-08_0

Лёгкая, быстрая, стабильная и полезная операционная система, созданная на основе стабильной ветки  Дебиана. Дистр предназначен как для новых, так и для слабых машин и конечных пользователей. Стремясь выполнять каждую работу с низким потреблением ресурсов, Besgnulinux также придает большое значение стабильности. В качестве инструмента установки используется Calamares. Автор —  Анил Ан (Anıl An). Первая версия дистра (01.01) вышла 22 августа 2021 года. Последняя на сегодняшний день версия (эта) была выпущена 29 марта 2025 года. Оконный менеджер —  Openbox,  JWM (есть версия с  KDE Plasma). После установки размер файла образа винта составил 11,1 гигабайта.

 Besgnulinux

28 мая   виртуальные ОСи   досуг   ОС   софт

Новая виртуальная ОСь — 28.05.2025

 Tristel GNU/Linux-libre Beta 2

Удобный, лёгкий и быстрый дистрибутив GNU/Linux на основе  Trisquel, разработанный командой  создателей  Sleeper OS, которые вложили свой опыт и приверженность созданию свободной и открытой операционной системы, уважающей вашу свободу. Дистр предназначен для пользователей, которые ценят свободу и простоту. Первая бета-версия вышла 18 июля 2024 года. Эта версия была выпущена 17 сентября 2024 года. Графический десктоп —  Trinity Desktop Environment (TDE). Размер файла образа диска — 8 Гб.

 Tristel

28 мая   виртуальные ОСи   досуг   ОС   софт

Новая виртуальная ОСь — 27.05.2025

 MOS 12 (2021.1)

Российский дистрибутив операционной системы, собранный на базе ядра Linux по инициативе  Департамента информационных технологий Москвы (ДИТ) на основе  ROSA Linux (версия 10 основывалась на  ОС «Альт»). Предназначен для использования на компьютерах и интерактивных панелях в образовательных организациях. Включает российский пакет офисных программ (текстовый редактор, табличный процессор, редактор презентаций), встроенные прикладные и специализированные программы для учителей и учащихся; поддерживается совместимость ПО при работе с учебным оборудованием (ставится на все устройства, поставляемые в рамках программы «Каждому учителю ноутбук»). Решение о разработке собственной ОСи было принято ДИТ ещё в 2022 году, анонс выхода этой версии состоялся 25 февраля 2025 года. Графика —  KDE Plasma в  X11 и  Wayland. Размер файла образа диска после установки — 12,6 гига.

 MOS

27 мая   виртуальные ОСи   досуг   ОС   софт

Новая виртуальная ОСь — 21.05.2025

 Мега ОС 250325 (Луна) Дом

Операционная система на базе Linux от основанной в 2021 году Джеком Вингардом компании  РеалитиСофт, ориентированная на русскоязычный сегмент интернета (РУНЕТ). Дистрибутив построен на платформе  бубунты, что обеспечивает стабильность, широкую совместимость и хорошую поддержку оборудования. В системе реализована поддержка запуска классических  Linux-приложений,  Windows-программ через совместимый слой Proton и  Android-приложений с помощью встроенного Android-рантайма, что значительно расширяет возможности пользователя. ОСь полностью локализована и адаптирована под нужды русскоязычных пользователей, интерфейс и все системные компоненты переведены на русский язык. В дистрибутив интегрированы популярные российские приложения и сервисы. Дистр доступен в трёх вариантах: бесплатный Дом (базовая поддержка), с расширенной поддержкой Про и Окончательный с расширенными набором ПО, возможностями настройки и поддержкой. Также есть ветка Образование, разработанная специально для школ, которая предлагает бесшовную интерактивную платформу для повышения эффективности обучения. Первая версия дистра (Ashley) вышла 25 июля 2023 года. Последняя на сегодняшний день версия (эта) была выпущена 15 апреля 2025 года. Рабочая среда —  KDE Plasma в  Wayland и в  X11. Также доступны версии с  XFCE и минималистичные варианты с оконным менеджером  Openbox и базовые образы  без графической оболочки для опытных пользователей. После установки размер файла образа винта составил 18,8 гигабайта.

 MegaOS

21 мая   виртуальные ОСи   досуг   ОС   софт
Ранее Ctrl + ↓
Наверх