Het is al weer tijdje geleden dat we via onze Hobbyscoop facebook pagina een korte blik achter de schermen van hobbyscoop lieten zien. Vandaag gaan we via onze website wat dieper in op diverse activiteiten die de stichting zoal bezig houdt. Het gaat dit keer niet zozeer om alle prachtige systemen die de stichting bezit, maar om de vele beheertaken die de faciliteiten met zich meebrengen…

Om het een en ander in goede banen te leiden zijn er binnen de stichting diverse personen die zich bezig houden met het monitoren en in stand houden van de diverse infrastructuren die hobbyscoop rijk is. Je kan hierbij denken aan bijvoorbeeld 5GHz straalverbindingen en accespoints die onderdeel zij van Hamnet, VPN verbindingen tussen verschillende lokaties, peer to peer tunnels, linux servers, Windows clients/servers en niet in de laatste plaats alle repeaters en rand apparaten die in gebruik zijn, in totaal meer dan 250 apparaten en processen.

Hobbyscoop gebruikt verschillende software pakketten die bedoeld zijn om de functionaliteit van alle systemen in de gaten te houden. Hierdoor is het beheerteam, zo’n 6 personen, gemakkelijk in de gelegenheid om een overzicht te houden van alle in gebruik zijnde techniek. Ook worden statusmeldingen gepusht naar bijvoorbeeld mobiele telefoons, e-mail adressen etc. Hierdoor is een storing van het overgrote deel van de techniek vrijwel direkt inzichtelijk.

Naast Nagios en wat specifieke tools zoals UNMS van UBNT gebruiken we ook Zabbix om de diverse processen en onderdelen te monitoren. In dit artikel vertellen we wat hier zoal bij komt kijken…

Zabbix is een monitoring systeem dat middels SNMP en andere protocolen alle systemen in de gaten houdt. Het grootste deel van de gebruikte apparatuur binnen Hobbyscoop beschikt over deze SNMP monitoring. De gegevens die via SNMP worden opgevraagd lijken vaak op het eerste gezicht abracadabra maar er zijn door de fabrikant speciale tabelen gemaakt die die gegevens weer begrijpelijk maken. Deze gegevens worden “oid” genoemd, dit staat voor “object identifier”.  Tabelen die worden MIB genoemd, daarin staan de gegevens met daarbij diverse andere data waarmee gekenmerkt wordt om wat voor type data het gaat.

een voorbeeld laat dit hier zien :

Naast deze vrij normale manier van monitoren maken we ook gebruik van wat meer complexe manieren van monitoren, bijvoorbeeld in gevallen dat SNMP niet beschikbaar is en er soms vertalingen van data moet worden gedaan met tussenstappen om de “Zabbix” interface toegankelijk te maken. Ook worden eenvoudige technieken gebruikt om algehele netwerk statistieken te verkrijgen, denk bijvoorbeeld aan een eenvoudige netwerk ping naar alle apparaten om vast te stellen of ze nog online zijn…

Sommige gegevens zijn dus niet direct kant en klaar voor gebruik. Daarvoor is een vertaal slag of extra handeling nodig. Binnen zabbix maken we daarvoor gebruik van een zogenaamde “agent” deze agent maakt het mogelijk om bijvoorbeeld een waarde uit een logfile of andere files te isoleren middels een script dat zich op het apparaat bevind die we willen monitoren. Ook gebruiken we nogal eens een vertaling van hexadecimaal naar decimaal om informatie begrijpelijk te maken. De agent heeft in zo’n geval een connectie met de server en accepteert de commando’s die de server naar de agent stuurt en voert ze uit.

Een voorbeeld van het uitlezen van waardes binnen een log zijn bijvoorbeeld de gegevens van de VHF repeaters van PI3UTR. deze repeaters, type Tait TB8100 hebben helaas niet de SNMP mogelijkheid maar er bestaat wel een softwarepakket van de fabrikant die alle relevante gegevens kan uitlezen. Hierbij kan je bijvoorbeeld denken aan zendvermogen, voedingsspanning, temperatuur, VSWR maar ook interne signalering van alarmen die de repeater kan genereren. In totaal zijn zo’n 50 parameters die we uit de PI3UTR repeaters monitoren. Dankzij wat reverse engineering is door Rob, PE1CHL op die manier een script gemaakt die deze gegevens periodiek in een textbestand wegschrijft. Dit tekstbestand heeft een dusdanige opmaak dat de monitoring servers er weer de nodige gevens uit kunnen halen en dit netjes in Zabbix wordt gereflecteerd.

Het monitoren van gegevens gaat overigens niet alleen over hardware maar ook over de status van bepaalde software. Zo is voor beide bovenregionale repeaters PI2NOS en PI3UTR bijvoorbeeld een speciale software geschreven (alweer door PE1CHL) die zorgt dat alle repeaters éxact synchroon werken, de zogenoemde Co-channeling. Deze software werkt met regellussen tussen de lokaties waarbij de timing tussen de repeaters precies wordt bepaald. Deze timing is aan grenzen onderhevig om alles goed te laten (blijven) werken. Hiervoor is dus een specifieke monitoring gecreeerd zodat de beheerders precies weten wanneer er iets aan de hand is, meestal nog vóórdat de gebruikers er iets aan merken. Dit is een van de redenen waardoor de stabiliteit van Hobbyscoop systemen buitengewoon hoog is…

Je kan je afvragen waarom al die verschillende tools en monitoring nodig zijn. Hiervoor zijn een aantal redenen te bedenken:

• Vroegtijdige identificatie van potentiele problemen en mogelijke defecten waardoor uitval voorkomen kan worden. Een voorbeeld: de temperatuur of de snelheid van een ventilator die voor de nodige koeling zorgt kan een indicatie zijn van een aankomend defect. Ook signaalsterkte van een radioverbinding behoort tot de parameters die 24/7 worden gecontroleerd, bijvoorbeeld van een straalverbinding.
• Het inzichtelijk houden van de wat meer complexe infrastruturen waar hobbyscoop gebruik van maakt. Dit varieert van standaard internet aansluitingen en glasvezel verbindingen tot Hamnet radioverbindingen op de 5GHz ISM frequenties. Monitoren hiervan doen we middels kaartjes en flowdiagrammen
• Een niet onbelangrijke reden om te monitoren: Het is gewoon hardstikke leerzaam en leuk! Het helpt om alles te verbeteren, geeft controle en kan prachtig als experimenteel netwerk gebruikt worden waar in andere omgevingen weer dankbaar gebruik van gemaakt wordt…

Recent is er een langverwachte grote upgrade van Zabbix uitgekomen met een veel betere GUI (grafische user interface) en diverse uitbreidingen van (voor)bewerkingen van de meetdata. Zabbix biedt daarbij de mogelijkheid om “triggers” op de meetdata te zetten als bijvoorbeeld een apparaat herstart of een signaal niveau onder een bepaalde waarde komt. Hier volgt dan een melding op visueel binnen de GUI maar ook via bijvoorbeeld email of andere systemen. Hobbyscoop heeft hiervoor een speciale “telegram groep”, dit is een instant messaging tool, waarbij zich de personen bevinden die zich dagelijks bezig houden met alle systemen.

Een prachtig voorbeeld is hierbij te zien van de repeater controller PJ2NOS op Curacao die iedere maandag herstart als gevolg van het eventjes wegvallen van de netspanning die wordt veroorzaakt door het testen van noodstroomsystemen ter plaatse.

op dit moment is het aantal “hosts” (apparaten en processen) die gemonitord ruim 200 en het aantal “triggers” (meetpunten) ruim 2500. Er komen er bijna dagelijks bij.