Замена автокодировщика на свой алгоритм с помощью Go-коннектора | Tdb

Версия:

1.x
Руководство пользователя Коннекторы Использование Go-коннектора Замена автокодировщика на свой алгоритм с помощью Go-коннектора

Замена автокодировщика на свой алгоритм с помощью Go-коннектора

В примере приложение записывает кортежи пачками в спейс через выбранный роутер. После записи приложение читает добавленные кортежи. За счёт замены автокодировщика в MsgPack на свой алгоритм производительность записи в примере повышена на 20%. В качестве примера производится также чтение записанных значений и их декодирование собственным алгоритмом.

Содержание:

Пререквизиты

Для выполнения примера требуются:

  • установленный Docker-образ Tarantool DB;

  • приложение Docker compose;

  • исходные файлы примера go_custom_encoder.

    Примечание

    Есть два способа получить исходные файлы примера:

    • Архив с полной документацией Tarantool DB, полученный по почте или скачанный в личном кабинете tarantool.io. Пример архива: tarantooldb-documentation-0.8.0.tar.gz. Пример go_custom_encoder расположен в таком архиве в директории ./doc/examples/go_custom_encoder/.

    • Отдельный архив go_custom_encoder.tar.gz, скачанный c сайта Tarantool.

Формат спейса

Формат спейса в приложении и в кластере отличаются. В приложении указаны только пользовательские поля:

type TestRecord struct {
    Id  uint64 `json:"id"`
    Too uint64 `json:"too"`
    Foo string `json:"foo"`
}

В базе данных в этом спейсе есть дополнительное поле bucket_id, используемое для шардинга:

box.space.test:format({
    { name = 'id', type = 'number' },
    { name = 'bucket_id', type = 'unsigned' }, -- << --
    { name = 'too', type = 'number' },
    { name = 'foo', type = 'string' },
})

При кодировании данных во втором поле записывается nil, а при декодировании это поле пропускается.

Запуск стенда

Для успешного запуска должны быть свободны порты:

  • 3301–3306;

  • 8081–8086.

Перейдите в директорию go_custom_encoder/tt:

cd ./doc/examples/go_custom_encoder/tt

Запустите стенд:

docker compose up -d

Команда развернет стенд, состоящий из кластера Tarantool DB (два шарда и два роутера). После запуска должны работать все контейнеры, кроме tarantool-db-init.

Теперь откройте в браузере веб-интерфейс Tarantool DB по адресу http://localhost:8081. Перейдите во вкладку Cluster и проверьте, что отсутствуют ошибки или предупреждения. В течение нескольких секунд после старта кластер еще поднимается, так что могут появиться предупреждения. В примере не используется шардирование, поэтому модуль vshard не запущен.

После этого перейдите на вкладку Space Explorer и выберите любой узел, например, storage-A-1. Проверьте, что на узле есть спейс test.

Запуск приложения

Откройте вторую вкладку терминала. В этой вкладке перейдите в директорию go_custom_encoder/go:

cd ./doc/examples/go_custom_encoder/go

Запустите Go-приложение:

go run -tags go_tarantool_ssl_disable main.go

Здесь:

  • go_tarantool_ssl_disable – опция, отключающая поддержку TLS. Так как для поддержки TLS требуется установленный OpenSSL 3.x, для простоты в примере поддержка TLS отключена.

Вывод после окончания работы приложения выглядит так:

Recorded via crud in batches of 10000 records in 120.924997ms - auto-encoder
Recorded via crud in batches of 10000 records in 96.016347ms - custom-encoder
Rows verified

Необходимо убедиться, что в спейсе test появились данные.

Остановка стенда

Остановить стенд можно так:

docker compose down
Нашли ответ на свой вопрос?
Обратная связь