semana02/02-03_estadistica-pandas.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Estadística en AI\n",
    "\n",
    "La estadística es la mejor forma de describir las características de un conjunto de datos. Por esta razón, la parte exploratoria en el proceso de creación de un algoritmo inteligente involucra el uso de métodos estadísticos.\n",
    "\n",
    "## Conceptos útiles sobre estadística\n",
    "\n",
    "### Variables\n",
    "\n",
    "Una variable estadística es una *característica* de un conjunto de datos. Por ejemplo, en un set de datos que almacena información sobre transacciones bancarias, el `monto` y la `fecha` son variables. En algunos casos, las variables se conocen como *dimensiones*. En inteligencia artificial, les llamaremos comúnmente **features**.\n",
    "\n",
    "#### Tipos de variables\n",
    "\n",
    "- Discretas: únicamente pueden tomar datos de un conjunto finito de opciones. También suelen ser conocidas como categóricas.\n",
    "- Continuas: pueden tomar cualquier valor en una recta numérica que tiende al infitio. Deben ser cuantificables."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Datos categóricos\n",
    "nombres = ['Blbs', 'Sqrt', 'Chrd', 'Cndq', 'Chkr', 'Ttdl']\n",
    "correlativo = [1, 4, 9, 155, 152, 158]\n",
    "\n",
    "# Datos continuos\n",
    "altura = [3.1, 5.2, 4.8, 2.9, 4.3, 4.9]\n",
    "\n",
    "# Crear un diccionario de listas para almacenar datos categóricos y continuos\n",
    "estructura = {\n",
    "    'nombres': nombres,\n",
    "    'correlativo': correlativo,\n",
    "    'altura': altura\n",
    "}\n",
    "print(estructura)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Reto extra:\n",
    "# Utilizando la variable \"estructura\", imprimir el nombre, correlativo y altura del cuarto registro\n",
    "# Debe mostrar algo similar a 'Cndq', 155, 2.9\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Pandas\n",
    "\n",
    "[Pandas](https://pandas.pydata.org/) es una librería de alto rendimiento para manipulación de estructuras de datos. Actualmente, es una de las librerías más populares en ciencia de datos, inteligencia artificial, análisis económico, entre otros."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Manipulación de datos\n",
    "import pandas as pd\n",
    "# Operaciones numéricas\n",
    "import numpy as np\n",
    "# Creación de gráficos y visualizaciones\n",
    "import matplotlib.pyplot as plt"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "En pandas, los sets de datos se representan en estructuras llamadas `DataFrame` (usualmente abreviado `df`).\n",
    "\n",
    "Un `df` puede ser creado de diferentes maneras, en esta sección utilizaremos la `estructura` que ya teníamos para hacer pruebas."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Crear un set de datos (df)\n",
    "pok_df = pd.DataFrame(estructura)\n",
    "\n",
    "# Mostrar el df en consola\n",
    "pok_df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "En pandas, las columnas se denominan **Series**. Para obtener los datos de una serie, se accede a ella como si fuera un diccionario, es decir `df['llave']`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Obtener los datos de una serie, se accede como si fuera un diccionario\n",
    "pok_df['nombres']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Cada registro en un df se identifica utilizando un índice (`Index`), que usualmente es generado de forma automática al crear el df. Se accede a el utilizando la propiedad `loc`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "pok_df.loc[3]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Es posible establecer un índice personalizado utilizando una serie del df."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# pok_df.drop(['correlativo'], axis=1, inplace=True).reset_index()\n",
    "pok_df.set_index('correlativo')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Muchas funciones ejecutadas por un df no lo modifican de forma inmediata, sino crean un nuevo df con la modificación realizada."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Ejecutar la función, no modifica el df\n",
    "pok_df.set_index('correlativo')\n",
    "\n",
    "# Al imprimir, el df sigue como antes de ejecutar la función\n",
    "pok_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Para aplicar los cambios, se debe incluir el parámetro inplace=True\n",
    "pok_df.set_index('correlativo', inplace=True)\n",
    "pok_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "pok_df.loc[152]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Para volver a generar un índice automático\n",
    "pok_df.reset_index(inplace=True)\n",
    "pok_df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Conceptos básicos de estadística descriptiva\n",
    "\n",
    "- Distribución\n",
    "- Media\n",
    "- Moda\n",
    "- Máximo y mínimo\n",
    "- Desviación estándar\n",
    "- Correlación\n",
    "\n",
    "### Estadística descriptiva con Pandas\n",
    "\n",
    "Pandas permite realizar cálculos sobre los datos almacenados de manera rápida y eficiente."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Creación de un conjunto de datos aleatorios\n",
    "prueba_df = pd.DataFrame(\n",
    "    np.random.randint(0, 120, size=(50, 5)),\n",
    "    columns=['A', 'B', 'C', 'D', 'E']\n",
    ")\n",
    "\n",
    "prueba_df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Distribución\n",
    "prueba_df.boxplot()\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "prueba_df.hist()\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Media\n",
    "prueba_df.mean()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Mode\n",
    "# Esta es la función para contar\n",
    "prueba_df['B'].mode()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Desviación estándar\n",
    "prueba_df.std()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Correlación\n",
    "prueba_df.corr()"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}