Instale e configure o plug-in Kafka para monitorar o middleware de mensagens Kafka tolerante a falhas e de alta capacidade. Tome decisões informadas sobre solução de problemas, mantendo o controle das métricas essenciais, como contagem de conexões, taxa de bytes de entrada e saída, entre outros.
Este documento detalha como configurar o plug-in do Apache Kafka e as métricas de monitoramento para fornecer visibilidade detalhada das estatísticas de desempenho, disponibilidade e uso dos servidores do Kafka.
Métricas de monitoramento de desempenho do Apache Kafka:
Use nossa ampla variedade de métricas e receba notificações sobre erros perigosos que exigem sua atenção. Acompanhe tendências inesperadas por meio dos nossos gráficos de métricas e solucione problemas o mais rapidamente possível. As várias métricas prontas para uso para as quais oferecemos suporte são:
Contagem de conexões
A connection_count informa o número atual de conexões ativas com o cluster kafka
Taxa de bytes de entrada/saída
As métricas incoming_byte_rate e outgoing_byte_rate informam o número médio de bytes de entrada recebidos por segundo e de saída enviados por segundo, respectivamente
Latência média de solicitação
Uma medida de tempo entre uma solicitação enviada pelo produtor até que uma resposta recebida do intermediário seja tomada como avg_request_latency
Número de operações de rede
O número médio de operações de rede (leitura ou gravação) em todas as conexões por segundo é dado como network_io_rate
Taxa de solicitação
A taxa em que os produtores enviam dados aos intermediários é calculada pela métrica request_rate
Taxa de resposta
A response_rate mostra a taxa de resposta recebida dos intermediários
Tempo gasto pelo thread de entrada/saída
A métrica io_time_ns_avg informa o tempo médio que o thread de entrada/saída gasta aguardando um socket (em ns)
Como funciona?
- Faça login na conta do Site24x7. Inscreva-se aqui se não tiver uma conta.
- Baixe e instale a versão mais recente do agente Linux no Site24x7
- Instale o plug-in Kafka
- O agente executará o plug-in Kafka e enviará os dados para o servidor do Site24x7
Pré-requisitos:
- Baixe e extraia o arquivo "kafka-Python-1.3.1.tar.gz" de https://pypi.python.org/pypi/kafka-python
- Download the file from https://pypi.python.org/pypi/kafka-python
sudo wget https://pypi.python.org/packages/81/94/f9151888b40339f2624759df8241080020acafed49d3a4369ceedd72c096/kafka-python-1.3.1.tar.gz#md5=2494d82f096d21af7a72b3c5bd26bdfa - Extract the file
sudo tar -xvzf kafka-python-1.3.1.tar.gz - Go to the directory where the file is extracted
cd kafka-python-1.3.1/ - Instale o módulo
build do setup.py do sudo python
instalação do setup.py do sudo python
Instalação do plug-in Kafka:
- Create a directory with the name "kafka_producer", under Site24x7 Linux agent plugin directory - /opt/site24x7/monagent/plugins/ sudo mkdir kafka_producer
- Baixe o arquivo "kafka_Producer.py" do nosso repositório do GitHub e coloque-o no diretório "kafka_producer"
- The default python path given in the plugin script is #!/usr/bin/python. If you wish to provide an alternate python path, replace the existing one preceded by the shebang character "#!". Por exemplo: #!/usr/local/bin/python3
- Altere os valores de BROKER_NAME e PORT para corresponder à sua configuração
- The server agent will report stats on the performance of Kafka under the Plugins tab in the Site24x7 web client. In case the plugin is not listed in the Site24x7 web client, restart the agent. sudo /etc/init.d/site24x7monagent restart