Настройка Kafka: 4 шага

2024 Автор: John Day | [email protected]. Последнее изменение: 2024-01-30 11:51

Вступление:

Apache Kafka - это масштабируемая и высокопроизводительная система обмена сообщениями с открытым исходным кодом, разработанная Apache Software Foundation и написанная на Scala. Apache Kafka специально разработан, чтобы один кластер мог служить центральной магистралью данных для большой среды. Он имеет гораздо более высокую пропускную способность по сравнению с другими системами брокеров сообщений, такими как ActiveMQ и RabbitMQ. Он способен эффективно обрабатывать большие объемы данных в реальном времени. Вы можете развернуть Kafka на одном сервере Apache или в распределенной кластерной среде.

Функции:

Общие особенности Kafka заключаются в следующем:

Сохранять сообщения на диске, обеспечивающие постоянную производительность по времени.

Высокая пропускная способность благодаря дисковым структурам, поддерживающим сотни тысяч сообщений в секунду.

Распределенная система легко масштабируется без простоев.

Поддерживает нескольких абонентов и автоматически балансирует потребителей во время сбоя.

В этом руководстве показано, как установить и настроить Apache Kafka на сервере Ubuntu 16.04.

Требования

Сервер Ubuntu 16.04.

Учетная запись пользователя без полномочий root с привилегиями суперпользователя, установленными на вашем сервере.

Шаг 1. Начало работы и установка Java

1) Начнем с того, чтобы убедиться, что ваш сервер Ubuntu 16.04 полностью обновлен

Вы можете обновить свой сервер, выполнив следующие команды: -

sudo apt-get update -y

sudo apt-get upgrade -y

2) Установка Java

Проверьте, есть ли на вашем компьютере уже установленная java или версия java по умолчанию, с помощью следующей команды: -

java -version

Даже если у вас есть java, но более ранняя версия, вам придется ее обновить.

Вы можете установить Java: -

sudo apt-get установить default-jdk

ИЛИ

Вы можете установить Oracle JDK 8 с помощью репозитория PPA группы Webupd8.

Чтобы добавить репозиторий, выполните следующую команду: -

sudo add-apt-repository -y ppa: webupd8team / java

sudo apt-get install oracle-java8-installer -y

Шаг 2. Установите Zookeeper

Что такое Zookeeper?

Zookeeper - это централизованная служба для хранения информации о конфигурации, присвоения имен, обеспечения распределенной синхронизации и предоставления групповых услуг. Все эти виды услуг в той или иной форме используются распределенными приложениями. Каждый раз, когда они внедряются, приходится много работать над исправлением ошибок и условий гонки, которые неизбежны. Из-за сложности реализации такого рода сервисов приложения изначально обычно экономят на них, что делает их нестабильными в случае изменений и трудностями в управлении. Даже если все сделано правильно, разные реализации этих служб приводят к сложности управления при развертывании приложений.

Перед установкой Apache Kafka вам необходимо иметь доступный и работающий zookeeper. ZooKeeper - это сервис с открытым исходным кодом для хранения информации о конфигурации, обеспечения распределенной синхронизации, присвоения имен и предоставления групповых услуг.

1) По умолчанию пакет Zookeeper доступен в репозитории Ubuntu по умолчанию

Вы можете установить его, выполнив следующую команду: -

sudo apt-get install zookeeperd

После завершения установки он будет автоматически запущен как демон. По умолчанию Zookeeper будет работать на порту 2181.

Вы можете проверить это, выполнив следующую команду:

netstat -ant | grep: 2181

Выход должен показать вам, что порт 2181 прослушивается.

Шаг 3: Установите и запустите Kafka Server

Теперь, когда установлены Java и ZooKeeper, пора загрузить и извлечь Kafka с веб-сайта Apache.

1) Вы можете использовать curl или wget для загрузки Kafka: (Kafka версии 0.10.1.1)

Выполните следующую команду, чтобы загрузить установку kafka: -

curl -O

ИЛИ

wget

2) Создайте каталог для Kafka

Затем создайте каталог для установки Kafka:

судо mkdir / opt / kafka

cd / opt / kafka

3) Разархивируйте загруженную папку

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C / opt / kafka /

* Измените имя пользователя в соответствии с вашим именем пользователя

4) Запустите сервер кафка

Следующим шагом является запуск сервера Kafka, вы можете запустить его, запустив сценарий kafka-server-start.sh, расположенный в каталоге /opt/kafka/kafka_2.11-0.10.1.1/bin/, с помощью следующей команды: -

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Проверьте, правильно ли работает Kafka Server

Теперь у вас есть сервер Kafka, работающий и прослушивающий порт 9092.

Теперь мы можем проверить порты прослушивания:

- Хранитель зоопарка: 2181

- Кафка: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Шаг 4: Протестируйте свой сервер Kafka

Теперь пришло время убедиться, что сервер Kafka работает правильно.

1) Создайте новую тему

Чтобы протестировать Kafka, создайте образец раздела с именем «тестирование» в Apache Kafka, используя следующую команду:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost: 2181 --partitions 1 --replication-factor 1

2) Убедитесь, что ваша тема создана успешно

Теперь попросите Zookeeper отобразить список доступных тем в Apache Kafka, выполнив следующую команду:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Опубликуйте сообщение, используя созданную вами тему

эхо "привет, мир" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --broker-list localhost: 9092 --topic testing

4) Получите сообщение по созданной теме

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092 --topic testing –from-begin

5) Отправить файл с помощью кафки поверх темы

kafka-console-producer.sh --broker-list localhost: 9092 - тематическое тестирование