Python2016_Lab-10.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Język Python - Laboratorium 10"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "*Rozwiązania zadań proszę przedstawić na zajęciach lub przesłać w jednym pliku o nazwie **L10_ImieNazwisko.ipynb** (notebook) lub **L10_ImieNazwisko.py** (skrypt) (proszę nie używać polskich znaków w nazwach plików). Rozwiązanie należy przesłać w przeciągu pięciu dni od zakończenia zajęć.*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## ZADANIE (4 pkt)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Uzywajac metody `load_svmlight_file` z modulu `sklearn` zaladuj plik `L10_files/breast_cancer`, ktory sklada sie z 2 elementow: macierzy `X` o wymiarach `683 x 10` oraz wektora `y` o dlugosci `683`. Macierz `X` opisuje badania 683 pacjentow a wektor `y` ich diagnozy. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "from sklearn.datasets import load_svmlight_file\n",
    "\n",
    "X, y = load_svmlight_file('L10_files/breast-cancer')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "1.Korzystajac z masek `numpy` przenumeruj wektor `y`, tzn zamien wartosci 2 i 4 na -1 i +1. Znormalizuj macierz X, tak zeby wartosci w kazdej kolumnie miescily sie w zakresie [0,1], innymi slowy przeskaluj niezaleznie kazda kolumne $X_j$ wg.\n",
    "$$\n",
    "X_j = \\frac{X_j-\\min(X_j)}{\\max(X_j)-\\min(X_j)}\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "2.Narysuj dane uzywajac biblioteki `matplotlib`. Uzyj wymiarow 1 i 2 z macierzy X, a jako kolory uzyj wektora y. Pobaw sie parametrami \"linewidth\", \"s\" oraz \"alpha\" metody `scatter` zeby uzyskac czytelna wizualizacje, np. taka jak ponizej"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"L10_files/d.png\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "3.Przeprowadz regresje liniowa wg. wzoru z wykladu, tzn.\n",
    "$$\n",
    "\\beta = (X^TX)^{-1}X^Ty\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "4.Zwizualizuj dane po zrzutowaniu na $\\beta$ uzywajac metody `.hist`, tzn. narysuj histogramy\n",
    "$$\n",
    "X_+\\beta\n",
    "$$\n",
    "oraz\n",
    "$$\n",
    "X_-\\beta\n",
    "$$\n",
    "gdzie $X_+$ to wiersze $X$ dla ktorych $y=+1$ i analogicznie $X_-$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"L10_files/lr1.png\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "5.Przeproawdz \"klasyfikacje\" naszych pacjentow, ci, ktorzy zostali zrzutowani na wartosc ujemna dostaja etykiete $-1$ a Ci ktorzy na wartosc dodatnia - etykiete $+1$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "6.Policz jak dokladny jest ten model, tzn jak duzy jest zbior\n",
    "$$\n",
    "\\{ (x_i,y_i) : \\mathrm{sign}(x_i\\beta) = y_i \\}\n",
    "$$\n",
    "w stosunku do rozmiaru calego $y$\n",
    "\n",
    "Powinienes uzyskac wynik na poziomie 93-94%"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "7.Dodaj parametr `C` do regresji liniowej\n",
    "$$\n",
    "\\beta = (X^TX + \\tfrac{1}{C}I)^{-1}X^Ty\n",
    "$$\n",
    "Dla jakiej wartosci `C` wynik jest najlepszy? jaki wynik udalo Ci sie uzyskac?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "8.**gratulacje**, wlasnie stworzyles swoj pierwszy klasyfikator (statystyczny model predykcji). Sprobuj zastosowac go do innych danych."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Zadanie dodatkowe (2 pkt)\n",
    "\n",
    "Zaimplementuj powyzsza metodę jako klasę `LRClassifier` wyposazona w następujace metody:\n",
    "\n",
    "* konstruktor przyjmujacy dwa parametry: \n",
    " * `C` - stala z rownania \n",
    " * `scale` - zmienna boolowska (domyslnie `True`) ktora okrsla czy macierz `X` ma byc automatycznie znormalizowana (przeskalowana do `[0,1]`)\n",
    "* `.fit(X, y)` ktora spowoduje obliczenie $\\beta$, dla `X` - dowolnej macierzy, `y` - wektora etykiet skladajacego sie z dwoch unikalnych wartosci (moga to byc na 2 rozne stringi)\n",
    "* `.predict(X)`, ktora zwroci wektor zawierajacy na `i`tej pozycji etykiete \"przewidziana\" przez nasz model (pamietaj o skalowaniu jesli `scale==True`!)\n",
    "\n",
    "Przykladowe uzycie:\n",
    "\n",
    "    clf = LRClassifier(C=100)\n",
    "    Xt = np.array([[1, 0], [1, 1], [1, 2], [1, 3], [1, 4]])\n",
    "    yt = np.array(['x', 'x', 'y', 'y', 'y'])\n",
    "    clf.fit(Xt, yt)\n",
    "    X = np.array([[1, -1], [1, 0.9], [1, 2.1]])\n",
    "    print(clf.predict(X)) # ['x', 'x', 'y']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.4.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}