OpenShift Logging met Loki

Sudo Friday OpenShift Observability Loki Grafana Logging
  Wander Boessenkool

De afgelopen jaren heeft OpenShift voor de logging stack standaard gebruik gemaakt van de EFK stack (ElasticSearch, FluentD, Kibana). Tegenwoordig kunnen cluster beheerders er ook voor kiezen om LokiStack voor de logging te gebruiken.

Het grote verschil tussen deze twee stacks is het punt waarop de zware last getild wordt. ElasticSearch verricht al een hoop werk tijdens het verzamelen (ingest) van de logs, terwijl Loki een minimaal aantal velden indexeert en de rest van het werk uitstelt tot een daadwerkelijke query.

Ook zit er verschil in hoe data wordt opgeslagen, waarbij loki index data op S3 opslaat.

Als laatste grote verschil is er het bekijken van de logs. Met de EFK stack ben je aangewezen op een aparte applicatie (Kibana), waar je met Loki in de OpenShift Web Console kunt blijven, of een externe Grafana kunt gebruiken.

In deze video laat Wander zien hoe je een OpenShift cluster kunt configureren om de LokiStack te gebruiken, en hoe je vervolgens in de OpenShift Web Console deze logs kunt queryen.

Gerelateerde posts

Grafana Dashboards voor OpenShift User Workload Monitoring

Als je op OpenShift User Workload Monitoring hebt aangezet kunnen ontwikkelaars wel custom metrics laten ophalen en opslaan, en ze uitvragen via de OpenShift Web Console, maar complexere dashboards zijn (nog) niet in de console mogelijk. Gelukkig is het wel mogelijk om via de community Grafana Operator deze metrics ook uit te vragen, en via dashboards inzichtelijk te maken. Wel loop je dan tegen het probleem aan dat als je dit via de reguliere instantie van Thanos Querier wilt doen het een alles-of-niks spel wordt: Of je hebt geen toegang tot metrics, of je mag bij alle metrics van het cluster en alle applicaties. Ook dat laatste probleem kan opgelost, door de speciale tenancy poort van Thanos Querier te gebruiken, waarbij je per query metrics voor één namespace tegelijk mag opvragen, mits je rechten hebt op die namespace.

CLI Monitoring met btop/bpytop

Iedereen die ooit wat op een Unix, Linux, of BSD commandline gedaan heeft kent waarschijnlijk het tooltje top wel. Een handig manier om snel een overzicht van het CPU en geheugen van je processen te krijgen. Nu is er niks mis met het top commando, maar het mist informatie over dingen als netwerk en disk gebruik, en erger nog, het ziet er niet 733t uit.

OpenShift Network Observability Operator

OpenShift Network Observability Operator In recente versies van OpenShift kun je de “Network Observability Operator” installeren om een beter inzicht te krijgen in de netwerk flows tussen de verschillende componenten/pods/services/etc op je cluster, als ook het netwerk verkeer dat je cluster verlaat. Deze inzichten kunnen dan gebruikt worden voor verschillende zaken; Het doorberekenen van netwerk gebruik, optimalisatie van traffic-flow tussen de componenten van een micro service, of zelfs het detecteren van “ongebruikelijk” verkeer in een applicatie.