Skip to content

Latest commit

 

History

History
196 lines (123 loc) · 12.6 KB

01_visualizations.md

File metadata and controls

196 lines (123 loc) · 12.6 KB

Back to index

1 Visualizations

I will learn how to visualize and format data into tables and charts using Splunk Search Processing Language (SPL) and Splunk Web Interface (SWI).

Video one: Using Formatting Commands (6:41).

We use Splunk Search Processing Language (SSPL) and Splunk Web Interface (SWI).

Estoy algo confuso con la nomemclatura. ¿Eventos o registros?. ¿Eventos cuando analizamos archivos de log?¿Registros si analizamos tablas de datos?

  • fields limita (incluye o excluye) campos en los resultados de las búsquedas. La restricción de campo hace las búsquedas más rápidas.

    Por defecto incluye el campo mencionado. Los campos internos _raw y _time se incluyen por defecto en cada búsqueda. Si no los deseamos hay que indicarlo explicitamente con el operador minus -.

  • image

    fields product_name price agrega dos campos

    fields -product_name price excluye product_name y agrega price

    image

    fields - product_name price excluye product name y price. Atneción al ESPACIO EN BLANCO TRAS EL OPERADOR MINUS. EL espacio en blanco hace que el menos afecte a todos los campos enumerados en la lista.

    La extracción de los datos referidos por los campos es una de las partes más costosas de la búsqueda. La inclusión de los campos se ejecuta antes la Extracción. La eficiencia en la búsqueda se logra limitando/reducciendo el número de campos a extraer.

  • table aunque se parece a fields por incluir campos en la búsqueda, es un comando de transformación que retiene los datos en forma tabular. Los campos aparecen en la tabla en el mismo orden en que se mencionan en la instruccion table. Usando conjuntamente la instruccion fields y table la búsqueda es más eficiente, primero fields y luego table. cada fila de la tabla representa un evento.

image

  • dedup Elimina registros con valores repetidos de los resultados de búsqueda. Puede aplicarse a uno o más campos

image

dedup product_name price elimina todas las líneas en las que se repita el nombre de un producto que tenga el mismo precio.

  • addtotals, suma por defecto todos los campos numéricos de un mismo registro/evento de datos y crea una columna total.

image

El flag col=true crea un total de columnas. El flag row=false elimina el comportamiento por defecto que genera un total de fila. El flag label="Total ventas"nos permite poner una etiqueta en la fila nueva fila que ha creado el flag col=true, esta etiqueta la ponemos debajo de la column indicada con labelfield="product_name". el flag fieldname="total por fila" personaliza la etiqueta de total de la dila que este comando crea por defecto.

  • fieldformat, cambia la representación en la presentación de los datos pero no en el origen. fieldformat Total = "$" + tostring(Totalt, "comas")
  • image

Video 02: Visualizing data (11:25).

Any search that returns statistical values can be viewed as a chart.

image

You can roll over the chart to see the values of each chart element. You can drill down to events represented by a chart element. Most visualizations require results structured as tables with at least two columns. In the statistic tab, you can see how many columns or single series are available. The first single series provide de x-axis values and the second single series provides de y-axis values. You can hover the legend to select on single series

Transforming commands to order search results into a data table.

top finds the most common values of given fields

By default shows the top ten.

image

clauses action
limit = int limit=20 show the top twenty. limit=0shows all
countfield = string Changes the title of the column count
percentfield = string Changes the title of the column percentage
showcount = True/False Shows/hides the column count
showperc = True/False Shows/hides the column percentage
showother = True/False Shows/hides the column others with the count numbers for results not within the limit
otherstr = string Changes the title of the column others

rare

igual que top pero con los valores menos frecuentes.

stats

Produces statistics from our search results [There are about 35 different functions inside this command. its study is out of the scope of this module.] (https://docs.splunk.com/Documentation/Splunk/latest/SearchReference/CommonStatsFunctions)

image

chart

Can take two clause statements. the over clause tells which field you want to be on the x-axis. by clause allows you to split data by an additional field. Only one field can be specified after the by clause when using the over clause.

image image

If we use two fields after a by clause without the over clause, the first field will be used as the over clause. image

image

Los eventos sin contenido en el campo de la claúsula 'by' se agrupan bajo la etieta NULL. POdemos eliminarlos con el argumento usenull=f.

image

chartpor defecto está limitado a 10 single series. Las otras las agrupa en la serie OTHER que podemos quitar con el comandouseother=f.

Tanto usenull como useother default to True, por lo que si no se especifica nada NULL y OTHER aparecerá en el Chart. La claúsula limit ajusta el número de single series a mostrar en el chart. limit=0los muestra todos.

image

timechart

Performs stats aggregations against time. Time is always the X-axis. By default, clusters data in time intervals dependent on the time range selected. That behavior can be changed with span command

image

usenull y useother también están disponibles en timechart

trendline

Computes the moving average of field values over a period of time giving a clear understanding of how data is trending

Trendtype Function Behavior
Simple moving average SMAtp Sums data points over a period of time.
exponential moving average EMAtp Sums data points over a period of time. Assign a heavier weight to more current data points.
weighted moving average WMAtp Sums data points over a period of time. Assign a heavier weight to more current data points.

The time period has to be between two and ten thousand (2 .. 10 000)

image In this chart whose time range is 7 days the trend line shows that WMA2 for 2 days

Video 03: Generating maps (04:50).

Maps represent data including geographic information. There are some commands that let pull geographic data from the machine data Interactive Marker maps plot geographic coordinates on a world map. Choropleth maps use shading to show relative metrics for predefined geographic regions.

iplocation

Look up and add location information from a third-party database to an event. City, country, region, Latitude, and longitude can be added to events that include external IP addresses. Some location information may not be available for particular IP addresses. this is the nature of geolocation and has to be taken into consideration when searching data. in this case, no additional location information will be added to the event. image Comparing these two images we can see how location fields show up inside the field sidebar image

geostats

Uses the same functions as the stats command but only accepts one by argument. Column count can be controlled with globallimit Gestats needs a latfield and a longfield. image

When geostats uses the enriched fields from iplocation (lat & lon)

The default names from iplocation for latitude is lat and for longitude is lon. Feeding these fields into geostats gives a quick geolocation of the accesses to our servers.

image

choropleth Maps

Choropleth maps use shading to show relative metrics for predefined geographic regions. we need compressed Keyhole Markup Language files (KMZ) defining region boundaries. Splunk ships with two KMZ:

  • geo_us_states.kmz
  • geo_countries.kmz

geom add to our events fields that include geographical data structures that match polygons in our map. geom requires a KMZ file (also known as a featureCollection) where to lookup in his country name a featureIdField from my search results. image

Video 04: Single value visualizations (02:39).

Disponemos de dos modalidades para visualizar valores únicos: El valor numérico en si y un indicador gráfico de los que tenemos:

el valor numerico en si Marcas en escala indicador de llenado calibres radiales
Valor Marcas en escalas Indicador de llenado Calibres radiales

En cualquiera de las modalidades podemos definir segmentos de rangos con diferenes colores. Once the color range format is set, it stays persistent over the radial, filler or marker gauges. Personalización de rangos y colores

Es posible dividir un valor por los elementos de otro campo y mostrar un gráfico tipo trellis. Cuando hay varias visualizaciones mostradas la búsqueda de los datos se ha ejecutado una sola vez para todos

formato Trellis

En este caso cambiamos la asignación de color al fondo del valor image

Hay varias posibilidades y es cuastión de presentar la más adecuada para el que tiene que presentar los datos. trellis 3

Video 05: Formatting Visualizatins (02:23).

In the statistics tab, the format that applies to the table. we can overlay a heatmap over the values or a max min shadow. image

Back to index