Installez et configurez le plug-in Kafka pour surveiller le middleware de messagerie tolérant aux pannes et à haute capacité Kafka. Prenez des décisions éclairées en matière de dépannage en effectuant un suivi des indicateurs critiques telles que le nombre de connexions, le taux d'octets entrants et sortants et bien plus encore.
Ce document explique en détail comment configurer le plug-in Apache Kafka et les paramètres de surveillance pour fournir une visibilité approfondie des performances, de la disponibilité et des statistiques d'utilisation des serveurs Kafka.
Indicateurs de surveillance des performances Apache Kafka :
Utilisez notre large éventail d'indicateurs et soyez informé des erreurs dangereuses qui requièrent votre attention. Suivez les tendances inattendues grâce à nos graphiques d'indicateurs et résolvez les problèmes aussi rapidement que possible. Les différents indicateurs prêts à l'emploi que nous prenons en charge sont les suivants :
Nombre de connexions
La valeur connection_count indique le nombre actuel de connexions actives avec le cluster kafka
Taux d'octets entrants/sortants
Les valeurs incoming_byte_rate et outgoing_byte_rate indiquent respectivement le nombre moyen d'octets entrants reçus par seconde et d'octets sortants envoyés par seconde
Latence moyenne des demandes
La mesure du temps entre une demande envoyée par le producteur et une réponse reçue du courtier est appelée avg_request_latency
Nombre d'opérations réseau
Le nombre moyen d'opérations réseau (lecture ou écriture) sur toutes les connexions par seconde est donné en tant que network_io_rate
Taux de la demande
La vitesse à laquelle les producteurs envoient des données aux courtiers est calculée par l'indicateur request_rate
Taux de réponse
Le taux de réponse indique le taux de réponse reçu des courtiers
Temps passé par le thread d'entrée/de sortie
io_time_ns_avg indique la durée moyenne que le thread d'entrée/sortie passe en attente d'un socket (en ns)
Comment cela fonctionne-t-il ?
- Connectez-vous à votre compte Site24x7. Inscrivez-vous ici si vous n'en avez pas.
- Téléchargez et installez la dernière version de l'agent Linux de Site24x7
- Installer le plug-in Kafka
- L'agent exécutera le plug-in Kafka et enverra les données sur le serveur Site24x7.
Conditions préalables :
- Téléchargez et extrayez le fichier « kafka-python-1.3.1.tar.gz » à partir de https://pypi.python.org/pypi/kafka-python
- Download the file from https://pypi.python.org/pypi/kafka-python
sudo wget https://pypi.python.org/packages/81/94/f9151888b40339f2624759df8241080020acafed49d3a4369ceedd72c096/kafka-python-1.3.1.tar.gz#md5=2494d82f096d21af7a72b3c5bd26bdfa - Extract the file
sudo tar -xvzf kafka-python-1.3.1.tar.gz - Go to the directory where the file is extracted
cd kafka-python-1.3.1/ - Installer le module
sudo python setup.py build
sudo python setup.py install
Installation du plug-in Kafka :
- Create a directory with the name "kafka_producer", under Site24x7 Linux agent plugin directory - /opt/site24x7/monagent/plugins/ sudo mkdir kafka_producer
- Téléchargez le fichier « kafka_producer.py » à partir de notre référentiel GitHub et placez-le dans le répertoire « kafka_producer »
- The default python path given in the plugin script is #!/usr/bin/python. If you wish to provide an alternate python path, replace the existing one preceded by the shebang character "#!". Exemple : #!/usr/local/bin/python3
- Modifiez les valeurs BROKER_NAME et PORT en fonction de votre configuration
- The server agent will report stats on the performance of Kafka under the Plugins tab in the Site24x7 web client. In case the plugin is not listed in the Site24x7 web client, restart the agent. sudo /etc/init.d/site24x7monagent restart