AI HW3 Problem 3.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 106,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "import sklearn\n",
    "import sklearn.preprocessing as PP\n",
    "import sys\n",
    "from sklearn.model_selection import train_test_split #version 0.18\n",
    "from sklearn import svm\n",
    "from sklearn.model_selection import KFold #version 0.18\n",
    "from sklearn.metrics import accuracy_score\n",
    "from tqdm import tqdm\n",
    "from sklearn import linear_model\n",
    "from sklearn.neighbors import KNeighborsClassifier\n",
    "from sklearn import tree\n",
    "from sklearn.ensemble import RandomForestClassifier"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "data = pd.read_csv('/Users/JJ/Documents/SIPA/Semester 4/Artificial Intelligence/assignment3/input3.csv')#, header=None, names=['age', 'weight', 'height'])\n",
    "#data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "# sys_input = sys.argv\n",
    "# data_path = sys_input[1]\n",
    "# output_path = sys_input[2]\n",
    "# data = pd.read_csv(data_path, header=None, names=['feature_1', 'feature_2', 'label'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "data_split = train_test_split(data, test_size=0.4, stratify=data['label'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "data_train = data_split[0]\n",
    "data_test = data_split[1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "points = []\n",
    "labels = []\n",
    "\n",
    "for r in range(len(data_train)):\n",
    "    points.append([data_train.iloc[r,0],data_train.iloc[r,1]])\n",
    "    labels.append(data_train.iloc[r,2])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "points_test = []\n",
    "labels_test = []\n",
    "\n",
    "for r in range(len(data_test)):\n",
    "    points_test.append([data_test.iloc[r,0],data_test.iloc[r,1]])\n",
    "    labels_test.append(data_test.iloc[r,2])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "def run_model(s_kernel, training, training_labels, s_c=1, s_degree=3, s_gamma='auto', validation_training=None, validation_labels=None):\n",
    "    clf = svm.SVC(kernel=s_kernel, C=s_c, degree=s_degree, gamma=s_gamma)\n",
    "    clf.fit(training, training_labels)\n",
    "    return accuracy_score(validation_labels, clf.predict(validation_training))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def run_model_logistic(training, training_labels, s_c=1, s_degree=3, s_gamma='auto', validation_training=None, validation_labels=None):\n",
    "    clf = linear_model.LogisticRegression(C=s_c)\n",
    "    clf.fit(training, training_labels)\n",
    "    return accuracy_score(validation_labels, clf.predict(validation_training))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def run_model_kneighbors(training, training_labels, s_neighbors=1, s_leaf=3, validation_training=None, validation_labels=None):\n",
    "    clf = KNeighborsClassifier(n_neighbors=s_neighbors, leaf_size=s_leaf)\n",
    "    clf.fit(training, training_labels)\n",
    "    return accuracy_score(validation_labels, clf.predict(validation_training))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 107,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def run_model_dtree(training, training_labels, s_depth, s_split, validation_training=None, validation_labels=None):\n",
    "    clf = tree.DecisionTreeClassifier(max_depth=s_depth, min_samples_split=s_split)\n",
    "    clf.fit(training, training_labels)\n",
    "    return accuracy_score(validation_labels, clf.predict(validation_training))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 110,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def run_model_rforrest(training, training_labels, s_depth, s_split, validation_training=None, validation_labels=None):\n",
    "    clf = RandomForestClassifier(max_depth=s_depth, min_samples_split=s_split)\n",
    "    clf.fit(training, training_labels)\n",
    "    return accuracy_score(validation_labels, clf.predict(validation_training))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "splits_to_do = 5\n",
    "kf = KFold(n_splits=splits_to_do)\n",
    "\n",
    "X = np.array(points)\n",
    "y = np.array(labels)\n",
    "\n",
    "c_values = [0.1, 0.5, 1, 5, 10, 50, 100]\n",
    "\n",
    "accuracies = []\n",
    "for train_index, test_index in kf.split(X):\n",
    "    X_train, X_test = X[train_index], X[test_index]\n",
    "    y_train, y_test = y[train_index], y[test_index]\n",
    "    for i in c_values:\n",
    "        temp_score = run_model('linear', s_c=i, training=X_train, training_labels=y_train, validation_training=X_test, validation_labels=y_test)\n",
    "        accuracies.append([i,temp_score])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "final_accuracy = []\n",
    "\n",
    "for i in c_values:\n",
    "    total = 0\n",
    "    count = 0\n",
    "    for a in accuracies:\n",
    "        if a[0] == i:\n",
    "            total = total + a[1]\n",
    "            count += 1\n",
    "            if count == splits_to_do:\n",
    "                total = total / splits_to_do\n",
    "                final_accuracy.append([i, total])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "top_accuracy = []\n",
    "\n",
    "for f in range(len(final_accuracy)):\n",
    "    top_accuracy.append(final_accuracy[f][1])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "top_accuracy = max(top_accuracy)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "report = []\n",
    "\n",
    "report.append(['linear',top_accuracy,run_model('linear', training=points, training_labels=labels, validation_training=points_test, validation_labels=labels_test)])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[['linear', 0.59000000000000008, 0.58999999999999997]]"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "report"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "0it [00:00, ?it/s]\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\n",
      "\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:00<00:00, 14.96it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 33%|███▎      | 1/3 [00:00<00:00,  7.32it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:01<00:00,  1.37it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 67%|██████▋   | 2/3 [00:01<00:00,  1.87it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:10<00:00,  5.39s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 3/3 [00:12<00:00,  3.61s/it]\u001b[A\u001b[A\n",
      "\n",
      "\u001b[A\u001b[A\n",
      " 33%|███▎      | 1/3 [00:12<00:24, 12.40s/it]\u001b[A\n",
      "\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:00<00:00,  2.53it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 33%|███▎      | 1/3 [00:00<00:01,  1.26it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:16<00:00,  8.47s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 67%|██████▋   | 2/3 [00:17<00:05,  5.64s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:52<00:00, 26.23s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 3/3 [01:10<00:00, 19.68s/it]\u001b[A\u001b[A\n",
      "\n",
      "\u001b[A\u001b[A\n",
      " 67%|██████▋   | 2/3 [01:22<00:29, 29.74s/it]\u001b[A\n",
      "\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:03<00:00,  1.78s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 33%|███▎      | 1/3 [00:03<00:07,  3.56s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:41<00:00, 20.97s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 67%|██████▋   | 2/3 [00:45<00:15, 15.07s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [04:01<00:00, 120.78s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 3/3 [04:47<00:00, 83.02s/it]\u001b[A\u001b[A\n",
      "\n",
      "\u001b[A\u001b[A\n",
      "100%|██████████| 3/3 [06:09<00:00, 106.94s/it]\u001b[A\n",
      "1it [06:09, 369.66s/it]\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\n",
      "\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:00<00:00, 11.76it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 33%|███▎      | 1/3 [00:00<00:00,  5.83it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:01<00:00,  1.15it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 67%|██████▋   | 2/3 [00:01<00:00,  1.56it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:27<00:00, 13.81s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 3/3 [00:29<00:00,  8.73s/it]\u001b[A\u001b[A\n",
      "\n",
      "\u001b[A\u001b[A\n",
      " 33%|███▎      | 1/3 [00:29<00:59, 29.53s/it]\u001b[A\n",
      "\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:01<00:00,  1.98it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 33%|███▎      | 1/3 [00:01<00:02,  1.01s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:12<00:00,  6.09s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 67%|██████▋   | 2/3 [00:13<00:04,  4.36s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [02:07<00:00, 63.74s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 3/3 [02:20<00:00, 41.30s/it]\u001b[A\u001b[A\n",
      "\n",
      "\u001b[A\u001b[A\n",
      " 67%|██████▋   | 2/3 [02:50<01:02, 62.88s/it]\u001b[A\n",
      "\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:03<00:00,  1.52s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 33%|███▎      | 1/3 [00:03<00:06,  3.05s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:24<00:00, 12.18s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 67%|██████▋   | 2/3 [00:27<00:09,  9.44s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [05:37<00:00, 168.80s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 3/3 [06:05<00:00, 107.89s/it]\u001b[A\u001b[A\n",
      "\n",
      "\u001b[A\u001b[A\n",
      "100%|██████████| 3/3 [08:55<00:00, 153.52s/it]\u001b[A\n",
      "2it [15:04, 419.33s/it]\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\n",
      "\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:00<00:00, 11.08it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 33%|███▎      | 1/3 [00:00<00:00,  5.50it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:01<00:00,  1.67it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 67%|██████▋   | 2/3 [00:01<00:00,  2.05it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:27<00:00, 13.93s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 3/3 [00:29<00:00,  8.70s/it]\u001b[A\u001b[A\n",
      "\n",
      "\u001b[A\u001b[A\n",
      " 33%|███▎      | 1/3 [00:29<00:58, 29.26s/it]\u001b[A\n",
      "\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:01<00:00,  1.60it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 33%|███▎      | 1/3 [00:01<00:02,  1.25s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:18<00:00,  9.10s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 67%|██████▋   | 2/3 [00:19<00:06,  6.34s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [01:04<00:00, 32.29s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 3/3 [01:24<00:00, 23.82s/it]\u001b[A\u001b[A\n",
      "\n",
      "\u001b[A\u001b[A\n",
      " 67%|██████▋   | 2/3 [01:53<00:45, 45.70s/it]\u001b[A\n",
      "\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:05<00:00,  2.53s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 33%|███▎      | 1/3 [00:05<00:10,  5.08s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:38<00:00, 19.41s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 67%|██████▋   | 2/3 [00:43<00:15, 15.21s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [03:19<00:00, 99.52s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 3/3 [04:02<00:00, 70.36s/it]\u001b[A\u001b[A\n",
      "\n",
      "\u001b[A\u001b[A\n",
      "100%|██████████| 3/3 [05:56<00:00, 104.88s/it]\u001b[A\n",
      "3it [21:01, 400.42s/it]\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\n",
      "\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:00<00:00,  3.78it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 33%|███▎      | 1/3 [00:00<00:01,  1.77it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:06<00:00,  3.30s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 67%|██████▋   | 2/3 [00:07<00:02,  2.38s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:21<00:00, 10.67s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 3/3 [00:28<00:00,  8.07s/it]\u001b[A\u001b[A\n",
      "\n",
      "\u001b[A\u001b[A\n",
      " 33%|███▎      | 1/3 [00:28<00:57, 28.54s/it]\u001b[A\n",
      "\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:02<00:00,  1.29s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 33%|███▎      | 1/3 [00:02<00:05,  2.58s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:13<00:00,  6.83s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 67%|██████▋   | 2/3 [00:16<00:05,  5.90s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [02:50<00:00, 85.36s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 3/3 [03:06<00:00, 55.35s/it]\u001b[A\u001b[A\n",
      "\n",
      "\u001b[A\u001b[A\n",
      " 67%|██████▋   | 2/3 [03:35<01:16, 76.07s/it]\u001b[A\n",
      "\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:06<00:00,  3.18s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 33%|███▎      | 1/3 [00:06<00:12,  6.37s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [01:33<00:00, 46.86s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 67%|██████▋   | 2/3 [01:40<00:32, 32.57s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [04:20<00:00, 130.29s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 3/3 [06:00<00:00, 100.98s/it]\u001b[A\u001b[A\n",
      "\n",
      "\u001b[A\u001b[A\n",
      "100%|██████████| 3/3 [09:36<00:00, 161.45s/it]\u001b[A\n",
      "4it [30:37, 453.15s/it]\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\n",
      "\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:00<00:00,  5.26it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 33%|███▎      | 1/3 [00:00<00:00,  2.62it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:01<00:00,  1.21it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 67%|██████▋   | 2/3 [00:02<00:00,  1.31it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:23<00:00, 11.67s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 3/3 [00:25<00:00,  7.53s/it]\u001b[A\u001b[A\n",
      "\n",
      "\u001b[A\u001b[A\n",
      " 33%|███▎      | 1/3 [00:25<00:50, 25.37s/it]\u001b[A\n",
      "\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:01<00:00,  1.43it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 33%|███▎      | 1/3 [00:01<00:02,  1.40s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:18<00:00,  9.12s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 67%|██████▋   | 2/3 [00:19<00:06,  6.45s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [02:03<00:00, 61.72s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 3/3 [02:23<00:00, 41.55s/it]\u001b[A\u001b[A\n",
      "\n",
      "\u001b[A\u001b[A\n",
      " 67%|██████▋   | 2/3 [02:48<01:00, 60.68s/it]\u001b[A\n",
      "\n",
      "  0%|          | 0/3 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [00:05<00:00,  2.61s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 33%|███▎      | 1/3 [00:05<00:10,  5.23s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [01:00<00:00, 30.17s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      " 67%|██████▋   | 2/3 [01:05<00:21, 21.77s/it]\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "  0%|          | 0/2 [00:00<?, ?it/s]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "100%|██████████| 2/2 [01:37<00:00, 48.54s/it]\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "\n",
      "\u001b[A\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 3/3 [02:42<00:00, 44.36s/it]\u001b[A\u001b[A\n",
      "\n",
      "\u001b[A\u001b[A\n",
      "100%|██████████| 3/3 [05:31<00:00, 91.28s/it]\u001b[A\n",
      "5it [36:08, 416.54s/it]\n"
     ]
    }
   ],
   "source": [
    "splits_to_do = 5\n",
    "kf = KFold(n_splits=splits_to_do)\n",
    "\n",
    "X = np.array(points)\n",
    "y = np.array(labels)\n",
    "\n",
    "c_values = [0.1, 1, 3]\n",
    "degree_values = [4, 5, 6]\n",
    "gamma_values = [0.1, 1]\n",
    "\n",
    "accuracies = []\n",
    "for train_index, test_index in tqdm(kf.split(X)):\n",
    "    X_train, X_test = X[train_index], X[test_index]\n",
    "    y_train, y_test = y[train_index], y[test_index]\n",
    "    for i in tqdm(c_values):\n",
    "        for d in tqdm(degree_values):\n",
    "            for g in tqdm(gamma_values):\n",
    "                temp_score = run_model('poly', s_c=i, s_degree=d, s_gamma=g, training=X_train, training_labels=y_train, validation_training=X_test, validation_labels=y_test)\n",
    "                accuracies.append([i,d,g,temp_score])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[[0.1, 4, 0.1, 0.58333333333333337],\n",
       " [0.1, 4, 1, 0.69999999999999996],\n",
       " [0.1, 5, 0.1, 0.58333333333333337],\n",
       " [0.1, 5, 1, 0.71666666666666667],\n",
       " [0.1, 6, 0.1, 0.58333333333333337],\n",
       " [0.1, 6, 1, 0.68333333333333335],\n",
       " [1, 4, 0.1, 0.58333333333333337],\n",
       " [1, 4, 1, 0.71666666666666667],\n",
       " [1, 5, 0.1, 0.58333333333333337],\n",
       " [1, 5, 1, 0.69999999999999996],\n",
       " [1, 6, 0.1, 0.6333333333333333],\n",
       " [1, 6, 1, 0.65000000000000002],\n",
       " [3, 4, 0.1, 0.58333333333333337],\n",
       " [3, 4, 1, 0.68333333333333335],\n",
       " [3, 5, 0.1, 0.58333333333333337],\n",
       " [3, 5, 1, 0.68333333333333335],\n",
       " [3, 6, 0.1, 0.68333333333333335],\n",
       " [3, 6, 1, 0.6166666666666667],\n",
       " [0.1, 4, 0.1, 0.59999999999999998],\n",
       " [0.1, 4, 1, 0.6333333333333333],\n",
       " [0.1, 5, 0.1, 0.59999999999999998],\n",
       " [0.1, 5, 1, 0.66666666666666663],\n",
       " [0.1, 6, 0.1, 0.59999999999999998],\n",
       " [0.1, 6, 1, 0.68333333333333335],\n",
       " [1, 4, 0.1, 0.59999999999999998],\n",
       " [1, 4, 1, 0.66666666666666663],\n",
       " [1, 5, 0.1, 0.59999999999999998],\n",
       " [1, 5, 1, 0.65000000000000002],\n",
       " [1, 6, 0.1, 0.6166666666666667],\n",
       " [1, 6, 1, 0.6333333333333333],\n",
       " [3, 4, 0.1, 0.59999999999999998],\n",
       " [3, 4, 1, 0.66666666666666663],\n",
       " [3, 5, 0.1, 0.6333333333333333],\n",
       " [3, 5, 1, 0.65000000000000002],\n",
       " [3, 6, 0.1, 0.66666666666666663],\n",
       " [3, 6, 1, 0.59999999999999998],\n",
       " [0.1, 4, 0.1, 0.6166666666666667],\n",
       " [0.1, 4, 1, 0.65000000000000002],\n",
       " [0.1, 5, 0.1, 0.6166666666666667],\n",
       " [0.1, 5, 1, 0.71666666666666667],\n",
       " [0.1, 6, 0.1, 0.6166666666666667],\n",
       " [0.1, 6, 1, 0.69999999999999996],\n",
       " [1, 4, 0.1, 0.6166666666666667],\n",
       " [1, 4, 1, 0.65000000000000002],\n",
       " [1, 5, 0.1, 0.6166666666666667],\n",
       " [1, 5, 1, 0.66666666666666663],\n",
       " [1, 6, 0.1, 0.6166666666666667],\n",
       " [1, 6, 1, 0.65000000000000002],\n",
       " [3, 4, 0.1, 0.6166666666666667],\n",
       " [3, 4, 1, 0.65000000000000002],\n",
       " [3, 5, 0.1, 0.65000000000000002],\n",
       " [3, 5, 1, 0.65000000000000002],\n",
       " [3, 6, 0.1, 0.66666666666666663],\n",
       " [3, 6, 1, 0.66666666666666663],\n",
       " [0.1, 4, 0.1, 0.66666666666666663],\n",
       " [0.1, 4, 1, 0.6166666666666667],\n",
       " [0.1, 5, 0.1, 0.66666666666666663],\n",
       " [0.1, 5, 1, 0.58333333333333337],\n",
       " [0.1, 6, 0.1, 0.66666666666666663],\n",
       " [0.1, 6, 1, 0.6166666666666667],\n",
       " [1, 4, 0.1, 0.53333333333333333],\n",
       " [1, 4, 1, 0.59999999999999998],\n",
       " [1, 5, 0.1, 0.66666666666666663],\n",
       " [1, 5, 1, 0.59999999999999998],\n",
       " [1, 6, 0.1, 0.6166666666666667],\n",
       " [1, 6, 1, 0.6333333333333333],\n",
       " [3, 4, 0.1, 0.56666666666666665],\n",
       " [3, 4, 1, 0.59999999999999998],\n",
       " [3, 5, 0.1, 0.58333333333333337],\n",
       " [3, 5, 1, 0.59999999999999998],\n",
       " [3, 6, 0.1, 0.6166666666666667],\n",
       " [3, 6, 1, 0.59999999999999998],\n",
       " [0.1, 4, 0.1, 0.48333333333333334],\n",
       " [0.1, 4, 1, 0.59999999999999998],\n",
       " [0.1, 5, 0.1, 0.48333333333333334],\n",
       " [0.1, 5, 1, 0.6333333333333333],\n",
       " [0.1, 6, 0.1, 0.48333333333333334],\n",
       " [0.1, 6, 1, 0.65000000000000002],\n",
       " [1, 4, 0.1, 0.48333333333333334],\n",
       " [1, 4, 1, 0.59999999999999998],\n",
       " [1, 5, 0.1, 0.48333333333333334],\n",
       " [1, 5, 1, 0.65000000000000002],\n",
       " [1, 6, 0.1, 0.48333333333333334],\n",
       " [1, 6, 1, 0.75],\n",
       " [3, 4, 0.1, 0.48333333333333334],\n",
       " [3, 4, 1, 0.59999999999999998],\n",
       " [3, 5, 0.1, 0.48333333333333334],\n",
       " [3, 5, 1, 0.66666666666666663],\n",
       " [3, 6, 0.1, 0.53333333333333333],\n",
       " [3, 6, 1, 0.68333333333333335]]"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "accuracies"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "final_accuracy_poly = []\n",
    "\n",
    "for i in c_values:\n",
    "    for d in degree_values:\n",
    "        for g in gamma_values:\n",
    "            count = 0\n",
    "            total = 0\n",
    "            for a in accuracies:\n",
    "                if a[0] == i and a[1] == d and a[2] == g:\n",
    "                    total = total + a[3]\n",
    "                    count += 1\n",
    "                    if count == splits_to_do:\n",
    "                        total = total / splits_to_do\n",
    "                        final_accuracy_poly.append([i, d, g, total])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[[0.1, 4, 0.1, 0.59000000000000008],\n",
       " [0.1, 4, 1, 0.64000000000000001],\n",
       " [0.1, 5, 0.1, 0.59000000000000008],\n",
       " [0.1, 5, 1, 0.66333333333333333],\n",
       " [0.1, 6, 0.1, 0.59000000000000008],\n",
       " [0.1, 6, 1, 0.66666666666666663],\n",
       " [1, 4, 0.1, 0.56333333333333335],\n",
       " [1, 4, 1, 0.64666666666666672],\n",
       " [1, 5, 0.1, 0.59000000000000008],\n",
       " [1, 5, 1, 0.65333333333333332],\n",
       " [1, 6, 0.1, 0.59333333333333338],\n",
       " [1, 6, 1, 0.66333333333333333],\n",
       " [3, 4, 0.1, 0.57000000000000006],\n",
       " [3, 4, 1, 0.64000000000000001],\n",
       " [3, 5, 0.1, 0.58666666666666667],\n",
       " [3, 5, 1, 0.65000000000000002],\n",
       " [3, 6, 0.1, 0.6333333333333333],\n",
       " [3, 6, 1, 0.63333333333333341]]"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "final_accuracy_poly"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "top_accuracy_poly = []\n",
    "\n",
    "for f in range(len(final_accuracy_poly)):\n",
    "    top_accuracy_poly.append(final_accuracy_poly[f][3])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "top_accuracy_poly = max(top_accuracy_poly)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "report.append(['poly',top_accuracy_poly,run_model('poly', training=points, training_labels=labels, validation_training=points_test, validation_labels=labels_test, s_c=0.1, s_degree=6, s_gamma=1)])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[['linear', 0.59000000000000008, 0.58999999999999997],\n",
       " ['poly',\n",
       "  [0.59000000000000008,\n",
       "   0.64000000000000001,\n",
       "   0.59000000000000008,\n",
       "   0.66333333333333333,\n",
       "   0.59000000000000008,\n",
       "   0.66666666666666663,\n",
       "   0.56333333333333335,\n",
       "   0.64666666666666672,\n",
       "   0.59000000000000008,\n",
       "   0.65333333333333332,\n",
       "   0.59333333333333338,\n",
       "   0.66333333333333333,\n",
       "   0.57000000000000006,\n",
       "   0.64000000000000001,\n",
       "   0.58666666666666667,\n",
       "   0.65000000000000002,\n",
       "   0.6333333333333333,\n",
       "   0.63333333333333341],\n",
       "  0.67500000000000004],\n",
       " ['poly', 0.66666666666666663, 0.67500000000000004]]"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "report"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[['linear', 0.59000000000000008, 0.58999999999999997],\n",
       " ['poly', 0.66666666666666663, 0.67500000000000004]]"
      ]
     },
     "execution_count": 38,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "report"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "0it [00:00, ?it/s]\n",
      "  0%|          | 0/7 [00:00<?, ?it/s]\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 81.61it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      " 83%|████████▎ | 5/6 [00:00<00:00, 49.42it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 54.65it/s]\u001b[A\u001b[A\n",
      " 29%|██▊       | 2/7 [00:00<00:00,  9.56it/s]\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 194.18it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 186.82it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 105.71it/s]\u001b[A\u001b[A\n",
      " 71%|███████▏  | 5/7 [00:00<00:00, 11.48it/s]\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 182.63it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 113.00it/s]\u001b[A\u001b[A\n",
      "1it [00:00,  2.15it/s]00:00<00:00, 15.78it/s]\u001b[A\n",
      "  0%|          | 0/7 [00:00<?, ?it/s]\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 113.61it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 83.11it/s]\u001b[A\u001b[A\n",
      " 29%|██▊       | 2/7 [00:00<00:00, 14.99it/s]\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 145.50it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 99.70it/s]\u001b[A\u001b[A\n",
      " 57%|█████▋    | 4/7 [00:00<00:00, 15.49it/s]\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 229.64it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 157.97it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 200.15it/s]\u001b[A\u001b[A\n",
      "100%|██████████| 7/7 [00:00<00:00, 17.67it/s]\u001b[A\n",
      "2it [00:00,  2.29it/s]\n",
      "  0%|          | 0/7 [00:00<?, ?it/s]\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 73.07it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 172.79it/s]\u001b[A\u001b[A\n",
      " 29%|██▊       | 2/7 [00:00<00:00, 16.00it/s]\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 91.73it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 109.74it/s]\u001b[A\u001b[A\n",
      " 57%|█████▋    | 4/7 [00:00<00:00, 15.25it/s]\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 72.08it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 117.17it/s]\u001b[A\u001b[A\n",
      " 86%|████████▌ | 6/7 [00:00<00:00, 14.61it/s]\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 165.30it/s]\u001b[A\u001b[A\n",
      "3it [00:01,  2.23it/s]00:00<00:00, 15.04it/s]\u001b[A\n",
      "  0%|          | 0/7 [00:00<?, ?it/s]\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 193.72it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 220.66it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 212.28it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 184.89it/s]\u001b[A\u001b[A\n",
      " 57%|█████▋    | 4/7 [00:00<00:00, 30.42it/s]\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 163.48it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 168.42it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 199.65it/s]\u001b[A\u001b[A\n",
      "100%|██████████| 7/7 [00:00<00:00, 28.13it/s]\u001b[A\n",
      "4it [00:01,  2.55it/s]\n",
      "  0%|          | 0/7 [00:00<?, ?it/s]\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 199.59it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 264.83it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 274.54it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 345.27it/s]\u001b[A\u001b[A\n",
      " 57%|█████▋    | 4/7 [00:00<00:00, 39.02it/s]\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 275.34it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 332.32it/s]\u001b[A\u001b[A\n",
      "\n",
      "  0%|          | 0/6 [00:00<?, ?it/s]\u001b[A\u001b[A\n",
      "\n",
      "100%|██████████| 6/6 [00:00<00:00, 252.29it/s]\u001b[A\u001b[A\n",
      "5it [00:01,  3.05it/s]00:00<00:00, 40.23it/s]\u001b[A\n"
     ]
    }
   ],
   "source": [
    "splits_to_do = 5\n",
    "kf = KFold(n_splits=splits_to_do)\n",
    "\n",
    "X = np.array(points)\n",
    "y = np.array(labels)\n",
    "\n",
    "c_values = [0.1, 0.5, 1, 5, 10, 50, 100]\n",
    "gamma_values = [0.1, 0.5, 1, 3, 6, 10]\n",
    "\n",
    "accuracies = []\n",
    "for train_index, test_index in tqdm(kf.split(X)):\n",
    "    X_train, X_test = X[train_index], X[test_index]\n",
    "    y_train, y_test = y[train_index], y[test_index]\n",
    "    for i in tqdm(c_values):\n",
    "        for g in tqdm(gamma_values):\n",
    "            temp_score = run_model('rbf', s_c=i, s_gamma=g, training=X_train, training_labels=y_train, validation_training=X_test, validation_labels=y_test)\n",
    "            accuracies.append([i,g,temp_score])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[[0.1, 0.1, 0.58333333333333337],\n",
       " [0.1, 0.5, 0.58333333333333337],\n",
       " [0.1, 1, 0.68333333333333335],\n",
       " [0.1, 3, 0.8666666666666667],\n",
       " [0.1, 6, 0.66666666666666663],\n",
       " [0.1, 10, 0.58333333333333337],\n",
       " [0.5, 0.1, 0.58333333333333337],\n",
       " [0.5, 0.5, 0.91666666666666663],\n",
       " [0.5, 1, 0.94999999999999996],\n",
       " [0.5, 3, 0.91666666666666663],\n",
       " [0.5, 6, 0.93333333333333335],\n",
       " [0.5, 10, 0.91666666666666663],\n",
       " [1, 0.1, 0.58333333333333337],\n",
       " [1, 0.5, 0.91666666666666663],\n",
       " [1, 1, 0.93333333333333335],\n",
       " [1, 3, 0.90000000000000002],\n",
       " [1, 6, 0.91666666666666663],\n",
       " [1, 10, 0.93333333333333335],\n",
       " [5, 0.1, 0.69999999999999996],\n",
       " [5, 0.5, 0.91666666666666663],\n",
       " [5, 1, 0.94999999999999996],\n",
       " [5, 3, 0.94999999999999996],\n",
       " [5, 6, 0.93333333333333335],\n",
       " [5, 10, 0.93333333333333335],\n",
       " [10, 0.1, 0.69999999999999996],\n",
       " [10, 0.5, 0.8833333333333333],\n",
       " [10, 1, 0.98333333333333328],\n",
       " [10, 3, 0.96666666666666667],\n",
       " [10, 6, 0.91666666666666663],\n",
       " [10, 10, 0.93333333333333335],\n",
       " [50, 0.1, 0.83333333333333337],\n",
       " [50, 0.5, 0.93333333333333335],\n",
       " [50, 1, 0.96666666666666667],\n",
       " [50, 3, 0.93333333333333335],\n",
       " [50, 6, 0.91666666666666663],\n",
       " [50, 10, 0.93333333333333335],\n",
       " [100, 0.1, 0.83333333333333337],\n",
       " [100, 0.5, 0.94999999999999996],\n",
       " [100, 1, 0.94999999999999996],\n",
       " [100, 3, 0.93333333333333335],\n",
       " [100, 6, 0.91666666666666663],\n",
       " [100, 10, 0.93333333333333335],\n",
       " [0.1, 0.1, 0.59999999999999998],\n",
       " [0.1, 0.5, 0.59999999999999998],\n",
       " [0.1, 1, 0.75],\n",
       " [0.1, 3, 0.83333333333333337],\n",
       " [0.1, 6, 0.71666666666666667],\n",
       " [0.1, 10, 0.59999999999999998],\n",
       " [0.5, 0.1, 0.59999999999999998],\n",
       " [0.5, 0.5, 0.81666666666666665],\n",
       " [0.5, 1, 0.91666666666666663],\n",
       " [0.5, 3, 0.90000000000000002],\n",
       " [0.5, 6, 0.96666666666666667],\n",
       " [0.5, 10, 0.96666666666666667],\n",
       " [1, 0.1, 0.56666666666666665],\n",
       " [1, 0.5, 0.84999999999999998],\n",
       " [1, 1, 0.93333333333333335],\n",
       " [1, 3, 0.91666666666666663],\n",
       " [1, 6, 0.98333333333333328],\n",
       " [1, 10, 0.98333333333333328],\n",
       " [5, 0.1, 0.65000000000000002],\n",
       " [5, 0.5, 0.90000000000000002],\n",
       " [5, 1, 0.93333333333333335],\n",
       " [5, 3, 0.91666666666666663],\n",
       " [5, 6, 0.93333333333333335],\n",
       " [5, 10, 0.94999999999999996],\n",
       " [10, 0.1, 0.65000000000000002],\n",
       " [10, 0.5, 0.90000000000000002],\n",
       " [10, 1, 0.93333333333333335],\n",
       " [10, 3, 0.93333333333333335],\n",
       " [10, 6, 0.93333333333333335],\n",
       " [10, 10, 0.94999999999999996],\n",
       " [50, 0.1, 0.76666666666666672],\n",
       " [50, 0.5, 0.93333333333333335],\n",
       " [50, 1, 0.8833333333333333],\n",
       " [50, 3, 0.91666666666666663],\n",
       " [50, 6, 0.94999999999999996],\n",
       " [50, 10, 0.96666666666666667],\n",
       " [100, 0.1, 0.80000000000000004],\n",
       " [100, 0.5, 0.91666666666666663],\n",
       " [100, 1, 0.8833333333333333],\n",
       " [100, 3, 0.91666666666666663],\n",
       " [100, 6, 0.94999999999999996],\n",
       " [100, 10, 0.96666666666666667],\n",
       " [0.1, 0.1, 0.6166666666666667],\n",
       " [0.1, 0.5, 0.6166666666666667],\n",
       " [0.1, 1, 0.71666666666666667],\n",
       " [0.1, 3, 0.83333333333333337],\n",
       " [0.1, 6, 0.73333333333333328],\n",
       " [0.1, 10, 0.6166666666666667],\n",
       " [0.5, 0.1, 0.6166666666666667],\n",
       " [0.5, 0.5, 0.8666666666666667],\n",
       " [0.5, 1, 0.91666666666666663],\n",
       " [0.5, 3, 0.91666666666666663],\n",
       " [0.5, 6, 0.93333333333333335],\n",
       " [0.5, 10, 0.93333333333333335],\n",
       " [1, 0.1, 0.6166666666666667],\n",
       " [1, 0.5, 0.90000000000000002],\n",
       " [1, 1, 0.91666666666666663],\n",
       " [1, 3, 0.91666666666666663],\n",
       " [1, 6, 0.91666666666666663],\n",
       " [1, 10, 0.91666666666666663],\n",
       " [5, 0.1, 0.80000000000000004],\n",
       " [5, 0.5, 0.90000000000000002],\n",
       " [5, 1, 0.91666666666666663],\n",
       " [5, 3, 0.93333333333333335],\n",
       " [5, 6, 0.91666666666666663],\n",
       " [5, 10, 0.90000000000000002],\n",
       " [10, 0.1, 0.81666666666666665],\n",
       " [10, 0.5, 0.91666666666666663],\n",
       " [10, 1, 0.91666666666666663],\n",
       " [10, 3, 0.93333333333333335],\n",
       " [10, 6, 0.90000000000000002],\n",
       " [10, 10, 0.90000000000000002],\n",
       " [50, 0.1, 0.84999999999999998],\n",
       " [50, 0.5, 0.91666666666666663],\n",
       " [50, 1, 0.96666666666666667],\n",
       " [50, 3, 0.93333333333333335],\n",
       " [50, 6, 0.91666666666666663],\n",
       " [50, 10, 0.91666666666666663],\n",
       " [100, 0.1, 0.8666666666666667],\n",
       " [100, 0.5, 0.93333333333333335],\n",
       " [100, 1, 0.94999999999999996],\n",
       " [100, 3, 0.94999999999999996],\n",
       " [100, 6, 0.93333333333333335],\n",
       " [100, 10, 0.91666666666666663],\n",
       " [0.1, 0.1, 0.66666666666666663],\n",
       " [0.1, 0.5, 0.66666666666666663],\n",
       " [0.1, 1, 0.84999999999999998],\n",
       " [0.1, 3, 0.8833333333333333],\n",
       " [0.1, 6, 0.80000000000000004],\n",
       " [0.1, 10, 0.68333333333333335],\n",
       " [0.5, 0.1, 0.53333333333333333],\n",
       " [0.5, 0.5, 0.76666666666666672],\n",
       " [0.5, 1, 0.90000000000000002],\n",
       " [0.5, 3, 0.90000000000000002],\n",
       " [0.5, 6, 0.90000000000000002],\n",
       " [0.5, 10, 0.91666666666666663],\n",
       " [1, 0.1, 0.6333333333333333],\n",
       " [1, 0.5, 0.8833333333333333],\n",
       " [1, 1, 0.93333333333333335],\n",
       " [1, 3, 0.91666666666666663],\n",
       " [1, 6, 0.91666666666666663],\n",
       " [1, 10, 0.8833333333333333],\n",
       " [5, 0.1, 0.6166666666666667],\n",
       " [5, 0.5, 0.91666666666666663],\n",
       " [5, 1, 0.90000000000000002],\n",
       " [5, 3, 0.8833333333333333],\n",
       " [5, 6, 0.8666666666666667],\n",
       " [5, 10, 0.8666666666666667],\n",
       " [10, 0.1, 0.6333333333333333],\n",
       " [10, 0.5, 0.90000000000000002],\n",
       " [10, 1, 0.90000000000000002],\n",
       " [10, 3, 0.8833333333333333],\n",
       " [10, 6, 0.8833333333333333],\n",
       " [10, 10, 0.8833333333333333],\n",
       " [50, 0.1, 0.73333333333333328],\n",
       " [50, 0.5, 0.90000000000000002],\n",
       " [50, 1, 0.8666666666666667],\n",
       " [50, 3, 0.90000000000000002],\n",
       " [50, 6, 0.8666666666666667],\n",
       " [50, 10, 0.8833333333333333],\n",
       " [100, 0.1, 0.71666666666666667],\n",
       " [100, 0.5, 0.93333333333333335],\n",
       " [100, 1, 0.90000000000000002],\n",
       " [100, 3, 0.91666666666666663],\n",
       " [100, 6, 0.8666666666666667],\n",
       " [100, 10, 0.8833333333333333],\n",
       " [0.1, 0.1, 0.48333333333333334],\n",
       " [0.1, 0.5, 0.48333333333333334],\n",
       " [0.1, 1, 0.55000000000000004],\n",
       " [0.1, 3, 0.59999999999999998],\n",
       " [0.1, 6, 0.53333333333333333],\n",
       " [0.1, 10, 0.48333333333333334],\n",
       " [0.5, 0.1, 0.48333333333333334],\n",
       " [0.5, 0.5, 0.75],\n",
       " [0.5, 1, 0.8666666666666667],\n",
       " [0.5, 3, 0.8666666666666667],\n",
       " [0.5, 6, 0.90000000000000002],\n",
       " [0.5, 10, 0.90000000000000002],\n",
       " [1, 0.1, 0.48333333333333334],\n",
       " [1, 0.5, 0.84999999999999998],\n",
       " [1, 1, 0.8833333333333333],\n",
       " [1, 3, 0.90000000000000002],\n",
       " [1, 6, 0.91666666666666663],\n",
       " [1, 10, 0.91666666666666663],\n",
       " [5, 0.1, 0.53333333333333333],\n",
       " [5, 0.5, 0.90000000000000002],\n",
       " [5, 1, 0.91666666666666663],\n",
       " [5, 3, 0.91666666666666663],\n",
       " [5, 6, 0.94999999999999996],\n",
       " [5, 10, 0.94999999999999996],\n",
       " [10, 0.1, 0.5],\n",
       " [10, 0.5, 0.91666666666666663],\n",
       " [10, 1, 0.93333333333333335],\n",
       " [10, 3, 0.94999999999999996],\n",
       " [10, 6, 0.94999999999999996],\n",
       " [10, 10, 0.94999999999999996],\n",
       " [50, 0.1, 0.69999999999999996],\n",
       " [50, 0.5, 0.96666666666666667],\n",
       " [50, 1, 0.98333333333333328],\n",
       " [50, 3, 0.94999999999999996],\n",
       " [50, 6, 0.96666666666666667],\n",
       " [50, 10, 0.94999999999999996],\n",
       " [100, 0.1, 0.81666666666666665],\n",
       " [100, 0.5, 0.98333333333333328],\n",
       " [100, 1, 0.98333333333333328],\n",
       " [100, 3, 0.96666666666666667],\n",
       " [100, 6, 0.94999999999999996],\n",
       " [100, 10, 0.94999999999999996]]"
      ]
     },
     "execution_count": 40,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "accuracies"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "final_accuracy_poly = []\n",
    "\n",
    "for i in c_values:\n",
    "    for g in gamma_values:\n",
    "        count = 0\n",
    "        total = 0\n",
    "        for a in accuracies:\n",
    "            if a[0] == i and a[1] == g:\n",
    "                total = total + a[2]\n",
    "                count += 1\n",
    "                if count == splits_to_do:\n",
    "                    total = total / splits_to_do\n",
    "                    final_accuracy_poly.append([i, g, total])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[[0.1, 0.1, 0.59000000000000008],\n",
       " [0.1, 0.5, 0.59000000000000008],\n",
       " [0.1, 1, 0.70999999999999996],\n",
       " [0.1, 3, 0.80333333333333334],\n",
       " [0.1, 6, 0.69000000000000006],\n",
       " [0.1, 10, 0.59333333333333338],\n",
       " [0.5, 0.1, 0.56333333333333335],\n",
       " [0.5, 0.5, 0.82333333333333347],\n",
       " [0.5, 1, 0.90999999999999992],\n",
       " [0.5, 3, 0.90000000000000002],\n",
       " [0.5, 6, 0.92666666666666653],\n",
       " [0.5, 10, 0.92666666666666653],\n",
       " [1, 0.1, 0.57666666666666666],\n",
       " [1, 0.5, 0.87999999999999989],\n",
       " [1, 1, 0.91999999999999993],\n",
       " [1, 3, 0.90999999999999992],\n",
       " [1, 6, 0.92999999999999994],\n",
       " [1, 10, 0.92666666666666653],\n",
       " [5, 0.1, 0.66000000000000003],\n",
       " [5, 0.5, 0.90666666666666662],\n",
       " [5, 1, 0.92333333333333323],\n",
       " [5, 3, 0.91999999999999993],\n",
       " [5, 6, 0.91999999999999993],\n",
       " [5, 10, 0.91999999999999993],\n",
       " [10, 0.1, 0.66000000000000003],\n",
       " [10, 0.5, 0.90333333333333332],\n",
       " [10, 1, 0.93333333333333324],\n",
       " [10, 3, 0.93333333333333324],\n",
       " [10, 6, 0.91666666666666663],\n",
       " [10, 10, 0.92333333333333323],\n",
       " [50, 0.1, 0.77666666666666673],\n",
       " [50, 0.5, 0.92999999999999994],\n",
       " [50, 1, 0.93333333333333335],\n",
       " [50, 3, 0.92666666666666653],\n",
       " [50, 6, 0.92333333333333323],\n",
       " [50, 10, 0.92999999999999994],\n",
       " [100, 0.1, 0.80666666666666664],\n",
       " [100, 0.5, 0.94333333333333336],\n",
       " [100, 1, 0.93333333333333324],\n",
       " [100, 3, 0.93666666666666654],\n",
       " [100, 6, 0.92333333333333323],\n",
       " [100, 10, 0.92999999999999994]]"
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "final_accuracy_poly"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "top_accuracy_poly = []\n",
    "\n",
    "for f in range(len(final_accuracy_poly)):\n",
    "    top_accuracy_poly.append(final_accuracy_poly[f][2])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[0.59000000000000008,\n",
       " 0.59000000000000008,\n",
       " 0.70999999999999996,\n",
       " 0.80333333333333334,\n",
       " 0.69000000000000006,\n",
       " 0.59333333333333338,\n",
       " 0.56333333333333335,\n",
       " 0.82333333333333347,\n",
       " 0.90999999999999992,\n",
       " 0.90000000000000002,\n",
       " 0.92666666666666653,\n",
       " 0.92666666666666653,\n",
       " 0.57666666666666666,\n",
       " 0.87999999999999989,\n",
       " 0.91999999999999993,\n",
       " 0.90999999999999992,\n",
       " 0.92999999999999994,\n",
       " 0.92666666666666653,\n",
       " 0.66000000000000003,\n",
       " 0.90666666666666662,\n",
       " 0.92333333333333323,\n",
       " 0.91999999999999993,\n",
       " 0.91999999999999993,\n",
       " 0.91999999999999993,\n",
       " 0.66000000000000003,\n",
       " 0.90333333333333332,\n",
       " 0.93333333333333324,\n",
       " 0.93333333333333324,\n",
       " 0.91666666666666663,\n",
       " 0.92333333333333323,\n",
       " 0.77666666666666673,\n",
       " 0.92999999999999994,\n",
       " 0.93333333333333335,\n",
       " 0.92666666666666653,\n",
       " 0.92333333333333323,\n",
       " 0.92999999999999994,\n",
       " 0.80666666666666664,\n",
       " 0.94333333333333336,\n",
       " 0.93333333333333324,\n",
       " 0.93666666666666654,\n",
       " 0.92333333333333323,\n",
       " 0.92999999999999994]"
      ]
     },
     "execution_count": 45,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "top_accuracy_poly"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "top_accuracy_poly = max(top_accuracy_poly)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.94333333333333336"
      ]
     },
     "execution_count": 47,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "top_accuracy_poly"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "report.append(['rbf',top_accuracy_poly,run_model('rbf', training=points, training_labels=labels, validation_training=points_test, validation_labels=labels_test, s_c=100, s_gamma=.5)])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[['linear', 0.59000000000000008, 0.58999999999999997],\n",
       " ['poly', 0.66666666666666663, 0.67500000000000004],\n",
       " ['rbf', 0.94333333333333336, 0.95999999999999996]]"
      ]
     },
     "execution_count": 49,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "report"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "0it [00:00, ?it/s]\n",
      "  0%|          | 0/7 [00:00<?, ?it/s]\u001b[A\n",
      "100%|██████████| 7/7 [00:00<00:00, 785.89it/s]\u001b[A\n",
      "  0%|          | 0/7 [00:00<?, ?it/s]\u001b[A\n",
      "100%|██████████| 7/7 [00:00<00:00, 790.42it/s]\u001b[A\n",
      "  0%|          | 0/7 [00:00<?, ?it/s]\u001b[A\n",
      "100%|██████████| 7/7 [00:00<00:00, 801.66it/s]\u001b[A\n",
      "  0%|          | 0/7 [00:00<?, ?it/s]\u001b[A\n",
      "100%|██████████| 7/7 [00:00<00:00, 986.46it/s]\u001b[A\n",
      "  0%|          | 0/7 [00:00<?, ?it/s]\u001b[A\n",
      "5it [00:00, 93.45it/s]00:00<00:00, 732.14it/s]\u001b[A\n"
     ]
    }
   ],
   "source": [
    "splits_to_do = 5\n",
    "kf = KFold(n_splits=splits_to_do)\n",
    "\n",
    "X = np.array(points)\n",
    "y = np.array(labels)\n",
    "\n",
    "c_values = [0.1, 0.5, 1, 5, 10, 50, 100]\n",
    "\n",
    "accuracies = []\n",
    "for train_index, test_index in tqdm(kf.split(X)):\n",
    "    X_train, X_test = X[train_index], X[test_index]\n",
    "    y_train, y_test = y[train_index], y[test_index]\n",
    "    for i in tqdm(c_values):\n",
    "        temp_score = run_model_logistic(s_c=i, training=X_train, training_labels=y_train, validation_training=X_test, validation_labels=y_test)\n",
    "        accuracies.append([i,temp_score])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[[0.1, 0.58333333333333337],\n",
       " [0.5, 0.58333333333333337],\n",
       " [1, 0.58333333333333337],\n",
       " [5, 0.58333333333333337],\n",
       " [10, 0.58333333333333337],\n",
       " [50, 0.58333333333333337],\n",
       " [100, 0.58333333333333337],\n",
       " [0.1, 0.59999999999999998],\n",
       " [0.5, 0.59999999999999998],\n",
       " [1, 0.59999999999999998],\n",
       " [5, 0.59999999999999998],\n",
       " [10, 0.59999999999999998],\n",
       " [50, 0.59999999999999998],\n",
       " [100, 0.59999999999999998],\n",
       " [0.1, 0.6166666666666667],\n",
       " [0.5, 0.6166666666666667],\n",
       " [1, 0.6166666666666667],\n",
       " [5, 0.6166666666666667],\n",
       " [10, 0.6166666666666667],\n",
       " [50, 0.6166666666666667],\n",
       " [100, 0.6166666666666667],\n",
       " [0.1, 0.66666666666666663],\n",
       " [0.5, 0.66666666666666663],\n",
       " [1, 0.66666666666666663],\n",
       " [5, 0.66666666666666663],\n",
       " [10, 0.66666666666666663],\n",
       " [50, 0.66666666666666663],\n",
       " [100, 0.66666666666666663],\n",
       " [0.1, 0.48333333333333334],\n",
       " [0.5, 0.48333333333333334],\n",
       " [1, 0.48333333333333334],\n",
       " [5, 0.48333333333333334],\n",
       " [10, 0.48333333333333334],\n",
       " [50, 0.48333333333333334],\n",
       " [100, 0.48333333333333334]]"
      ]
     },
     "execution_count": 63,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "accuracies"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "final_accuracy_logistic = []\n",
    "\n",
    "for i in c_values:\n",
    "    count = 0\n",
    "    total = 0\n",
    "    for a in accuracies:\n",
    "        if a[0] == i:\n",
    "            total = total + a[1]\n",
    "            count += 1\n",
    "            if count == splits_to_do:\n",
    "                total = total / splits_to_do\n",
    "                final_accuracy_logistic.append([i, total])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 65,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[[0.1, 0.59000000000000008],\n",
       " [0.5, 0.59000000000000008],\n",
       " [1, 0.59000000000000008],\n",
       " [5, 0.59000000000000008],\n",
       " [10, 0.59000000000000008],\n",
       " [50, 0.59000000000000008],\n",
       " [100, 0.59000000000000008]]"
      ]
     },
     "execution_count": 65,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "final_accuracy_logistic"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "report.append(['logistic',final_accuracy_logistic[0][1],run_model_logistic(training=points, training_labels=labels, validation_training=points_test, validation_labels=labels_test, s_c=100)])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 77,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[['linear', 0.59000000000000008, 0.58999999999999997],\n",
       " ['poly', 0.66666666666666663, 0.67500000000000004],\n",
       " ['rbf', 0.94333333333333336, 0.95999999999999996],\n",
       " ['logistic', 0.59000000000000008, 0.58999999999999997]]"
      ]
     },
     "execution_count": 77,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "report"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 82,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "neigh_values = list(range(50))\n",
    "leaf_values = list(range(12))\n",
    "for l in range(len(leaf_values)):\n",
    "    leaf_values[l] = (leaf_values[l]+1)*5"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 84,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "0it [00:00, ?it/s]\n",
      "  0%|          | 0/50 [00:00<?, ?it/s]\u001b[A\n",
      "  2%|▏         | 1/50 [00:00<00:09,  5.08it/s]\u001b[A\n",
      " 12%|█▏        | 6/50 [00:00<00:06,  6.92it/s]\u001b[A\n",
      " 18%|█▊        | 9/50 [00:00<00:04,  8.66it/s]\u001b[A\n",
      " 26%|██▌       | 13/50 [00:00<00:03, 10.14it/s]\u001b[A\n",
      " 32%|███▏      | 16/50 [00:00<00:02, 12.53it/s]\u001b[A\n",
      " 38%|███▊      | 19/50 [00:00<00:02, 13.72it/s]\u001b[A\n",
      " 42%|████▏     | 21/50 [00:01<00:02, 14.29it/s]\u001b[A\n",
      " 48%|████▊     | 24/50 [00:01<00:01, 15.94it/s]\u001b[A\n",
      " 52%|█████▏    | 26/50 [00:01<00:01, 14.38it/s]\u001b[A\n",
      " 56%|█████▌    | 28/50 [00:01<00:01, 14.03it/s]\u001b[A\n",
      " 62%|██████▏   | 31/50 [00:01<00:01, 16.23it/s]\u001b[A\n",
      " 68%|██████▊   | 34/50 [00:01<00:00, 17.97it/s]\u001b[A\n",
      " 74%|███████▍  | 37/50 [00:02<00:00, 15.92it/s]\u001b[A\n",
      " 78%|███████▊  | 39/50 [00:02<00:00, 16.40it/s]\u001b[A\n",
      " 82%|████████▏ | 41/50 [00:02<00:00, 14.84it/s]\u001b[A\n",
      " 86%|████████▌ | 43/50 [00:02<00:00, 14.42it/s]\u001b[A\n",
      " 90%|█████████ | 45/50 [00:02<00:00, 15.61it/s]\u001b[A\n",
      " 96%|█████████▌| 48/50 [00:02<00:00, 17.34it/s]\u001b[A\n",
      "1it [00:02,  2.82s/it] [00:02<00:00, 17.93it/s]\u001b[A\n",
      "  0%|          | 0/50 [00:00<?, ?it/s]\u001b[A\n",
      "  6%|▌         | 3/50 [00:00<00:02, 22.57it/s]\u001b[A\n",
      " 12%|█▏        | 6/50 [00:00<00:01, 23.10it/s]\u001b[A\n",
      " 18%|█▊        | 9/50 [00:00<00:01, 24.62it/s]\u001b[A\n",
      " 24%|██▍       | 12/50 [00:00<00:01, 24.91it/s]\u001b[A\n",
      " 28%|██▊       | 14/50 [00:00<00:01, 20.38it/s]\u001b[A\n",
      " 34%|███▍      | 17/50 [00:00<00:01, 21.11it/s]\u001b[A\n",
      " 42%|████▏     | 21/50 [00:00<00:01, 22.76it/s]\u001b[A\n",
      " 48%|████▊     | 24/50 [00:01<00:01, 23.33it/s]\u001b[A\n",
      " 54%|█████▍    | 27/50 [00:01<00:01, 22.44it/s]\u001b[A\n",
      " 60%|██████    | 30/50 [00:01<00:00, 23.10it/s]\u001b[A\n",
      " 68%|██████▊   | 34/50 [00:01<00:00, 25.37it/s]\u001b[A\n",
      " 74%|███████▍  | 37/50 [00:01<00:00, 25.45it/s]\u001b[A\n",
      " 80%|████████  | 40/50 [00:01<00:00, 21.98it/s]\u001b[A\n",
      " 86%|████████▌ | 43/50 [00:01<00:00, 22.98it/s]\u001b[A\n",
      " 92%|█████████▏| 46/50 [00:01<00:00, 21.89it/s]\u001b[A\n",
      " 98%|█████████▊| 49/50 [00:02<00:00, 21.30it/s]\u001b[A\n",
      "2it [00:04,  2.62s/it] [00:02<00:00, 23.35it/s]\u001b[A\n",
      "  0%|          | 0/50 [00:00<?, ?it/s]\u001b[A\n",
      "  4%|▍         | 2/50 [00:00<00:02, 19.01it/s]\u001b[A\n",
      "  8%|▊         | 4/50 [00:00<00:02, 18.76it/s]\u001b[A\n",
      " 10%|█         | 5/50 [00:00<00:03, 14.27it/s]\u001b[A\n",
      " 14%|█▍        | 7/50 [00:00<00:02, 14.98it/s]\u001b[A\n",
      " 18%|█▊        | 9/50 [00:00<00:03, 12.52it/s]\u001b[A\n",
      " 22%|██▏       | 11/50 [00:00<00:03, 11.62it/s]\u001b[A\n",
      " 26%|██▌       | 13/50 [00:01<00:03, 12.07it/s]\u001b[A\n",
      " 30%|███       | 15/50 [00:01<00:03, 11.65it/s]\u001b[A\n",
      " 36%|███▌      | 18/50 [00:01<00:02, 13.90it/s]\u001b[A\n",
      " 42%|████▏     | 21/50 [00:01<00:01, 14.53it/s]\u001b[A\n",
      " 46%|████▌     | 23/50 [00:01<00:01, 13.66it/s]\u001b[A\n",
      " 50%|█████     | 25/50 [00:01<00:01, 13.28it/s]\u001b[A\n",
      " 54%|█████▍    | 27/50 [00:02<00:01, 11.74it/s]\u001b[A\n",
      " 58%|█████▊    | 29/50 [00:02<00:01, 12.95it/s]\u001b[A\n",
      " 62%|██████▏   | 31/50 [00:02<00:01, 12.97it/s]\u001b[A\n",
      " 66%|██████▌   | 33/50 [00:02<00:01, 12.59it/s]\u001b[A\n",
      " 70%|███████   | 35/50 [00:02<00:01, 12.28it/s]\u001b[A\n",
      " 74%|███████▍  | 37/50 [00:02<00:00, 13.44it/s]\u001b[A\n",
      " 78%|███████▊  | 39/50 [00:02<00:00, 14.34it/s]\u001b[A\n",
      " 82%|████████▏ | 41/50 [00:03<00:00, 13.14it/s]\u001b[A\n",
      " 86%|████████▌ | 43/50 [00:03<00:00, 13.14it/s]\u001b[A\n",
      " 90%|█████████ | 45/50 [00:03<00:00, 13.08it/s]\u001b[A\n",
      " 94%|█████████▍| 47/50 [00:03<00:00, 11.07it/s]\u001b[A\n",
      "100%|██████████| 50/50 [00:03<00:00, 12.99it/s]\u001b[A\n",
      "3it [00:08,  2.96s/it]\n",
      "  0%|          | 0/50 [00:00<?, ?it/s]\u001b[A\n",
      "  6%|▌         | 3/50 [00:00<00:02, 19.43it/s]\u001b[A\n",
      "  8%|▊         | 4/50 [00:00<00:03, 13.46it/s]\u001b[A\n",
      " 10%|█         | 5/50 [00:00<00:03, 11.46it/s]\u001b[A\n",
      " 12%|█▏        | 6/50 [00:00<00:04, 10.71it/s]\u001b[A\n",
      " 16%|█▌        | 8/50 [00:00<00:03, 10.91it/s]\u001b[A\n",
      " 20%|██        | 10/50 [00:00<00:03, 12.03it/s]\u001b[A\n",
      " 24%|██▍       | 12/50 [00:01<00:03, 10.41it/s]\u001b[A\n",
      " 28%|██▊       | 14/50 [00:01<00:02, 12.05it/s]\u001b[A\n",
      " 32%|███▏      | 16/50 [00:01<00:03, 10.26it/s]\u001b[A\n",
      " 38%|███▊      | 19/50 [00:01<00:02, 12.43it/s]\u001b[A\n",
      " 42%|████▏     | 21/50 [00:01<00:02, 13.79it/s]\u001b[A\n",
      " 46%|████▌     | 23/50 [00:01<00:02, 13.20it/s]\u001b[A\n",
      " 50%|█████     | 25/50 [00:01<00:01, 13.11it/s]\u001b[A\n",
      " 54%|█████▍    | 27/50 [00:02<00:01, 13.11it/s]\u001b[A\n",
      " 58%|█████▊    | 29/50 [00:02<00:01, 13.71it/s]\u001b[A\n",
      " 64%|██████▍   | 32/50 [00:02<00:01, 15.41it/s]\u001b[A\n",
      " 68%|██████▊   | 34/50 [00:02<00:01, 15.61it/s]\u001b[A\n",
      " 72%|███████▏  | 36/50 [00:02<00:01, 12.92it/s]\u001b[A\n",
      " 76%|███████▌  | 38/50 [00:02<00:00, 12.44it/s]\u001b[A\n",
      " 82%|████████▏ | 41/50 [00:03<00:00, 15.07it/s]\u001b[A\n",
      " 86%|████████▌ | 43/50 [00:03<00:00, 15.15it/s]\u001b[A\n",
      " 90%|█████████ | 45/50 [00:03<00:00, 16.10it/s]\u001b[A\n",
      " 94%|█████████▍| 47/50 [00:03<00:00, 16.27it/s]\u001b[A\n",
      " 98%|█████████▊| 49/50 [00:03<00:00, 15.81it/s]\u001b[A\n",
      "4it [00:12,  3.16s/it] [00:03<00:00, 13.88it/s]\u001b[A\n",
      "  0%|          | 0/50 [00:00<?, ?it/s]\u001b[A\n",
      "  4%|▍         | 2/50 [00:00<00:04, 11.35it/s]\u001b[A\n",
      "  6%|▌         | 3/50 [00:00<00:04, 10.63it/s]\u001b[A\n",
      " 10%|█         | 5/50 [00:00<00:03, 12.07it/s]\u001b[A\n",
      " 14%|█▍        | 7/50 [00:00<00:03, 11.79it/s]\u001b[A\n",
      " 16%|█▌        | 8/50 [00:00<00:04,  9.27it/s]\u001b[A\n",
      " 22%|██▏       | 11/50 [00:00<00:03, 11.31it/s]\u001b[A\n",
      " 26%|██▌       | 13/50 [00:01<00:03, 11.37it/s]\u001b[A\n",
      " 30%|███       | 15/50 [00:01<00:02, 12.70it/s]\u001b[A\n",
      " 34%|███▍      | 17/50 [00:01<00:02, 12.36it/s]\u001b[A\n",
      " 38%|███▊      | 19/50 [00:01<00:02, 13.18it/s]\u001b[A\n",
      " 42%|████▏     | 21/50 [00:01<00:02, 13.68it/s]\u001b[A\n",
      " 46%|████▌     | 23/50 [00:01<00:01, 14.83it/s]\u001b[A\n",
      " 50%|█████     | 25/50 [00:01<00:01, 14.89it/s]\u001b[A\n",
      " 54%|█████▍    | 27/50 [00:01<00:01, 15.81it/s]\u001b[A\n",
      " 58%|█████▊    | 29/50 [00:02<00:01, 13.02it/s]\u001b[A\n",
      " 64%|██████▍   | 32/50 [00:02<00:01, 15.41it/s]\u001b[A\n",
      " 68%|██████▊   | 34/50 [00:02<00:00, 16.33it/s]\u001b[A\n",
      " 72%|███████▏  | 36/50 [00:02<00:00, 16.99it/s]\u001b[A\n",
      " 76%|███████▌  | 38/50 [00:02<00:00, 14.92it/s]\u001b[A\n",
      " 82%|████████▏ | 41/50 [00:02<00:00, 17.53it/s]\u001b[A\n",
      " 90%|█████████ | 45/50 [00:02<00:00, 20.94it/s]\u001b[A\n",
      " 96%|█████████▌| 48/50 [00:02<00:00, 21.81it/s]\u001b[A\n",
      "5it [00:15,  3.20s/it] [00:03<00:00, 15.28it/s]\u001b[A\n"
     ]
    }
   ],
   "source": [
    "accuracies = []\n",
    "for train_index, test_index in tqdm(kf.split(X)):\n",
    "    X_train, X_test = X[train_index], X[test_index]\n",
    "    y_train, y_test = y[train_index], y[test_index]\n",
    "    for i in tqdm(neigh_values):\n",
    "        for l in leaf_values:\n",
    "            temp_score = run_model_kneighbors(s_neighbors=i+1, s_leaf=l, training=X_train, training_labels=y_train, validation_training=X_test, validation_labels=y_test)\n",
    "            accuracies.append([i,l,temp_score])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 85,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[[0, 5, 0.91666666666666663],\n",
       " [0, 10, 0.91666666666666663],\n",
       " [0, 15, 0.91666666666666663],\n",
       " [0, 20, 0.91666666666666663],\n",
       " [0, 25, 0.91666666666666663],\n",
       " [0, 30, 0.91666666666666663],\n",
       " [0, 35, 0.91666666666666663],\n",
       " [0, 40, 0.91666666666666663],\n",
       " [0, 45, 0.91666666666666663],\n",
       " [0, 50, 0.91666666666666663],\n",
       " [0, 55, 0.91666666666666663],\n",
       " [0, 60, 0.91666666666666663],\n",
       " [1, 5, 0.90000000000000002],\n",
       " [1, 10, 0.90000000000000002],\n",
       " [1, 15, 0.90000000000000002],\n",
       " [1, 20, 0.90000000000000002],\n",
       " [1, 25, 0.90000000000000002],\n",
       " [1, 30, 0.90000000000000002],\n",
       " [1, 35, 0.90000000000000002],\n",
       " [1, 40, 0.90000000000000002],\n",
       " [1, 45, 0.90000000000000002],\n",
       " [1, 50, 0.90000000000000002],\n",
       " [1, 55, 0.90000000000000002],\n",
       " [1, 60, 0.90000000000000002],\n",
       " [2, 5, 0.93333333333333335],\n",
       " [2, 10, 0.93333333333333335],\n",
       " [2, 15, 0.93333333333333335],\n",
       " [2, 20, 0.93333333333333335],\n",
       " [2, 25, 0.93333333333333335],\n",
       " [2, 30, 0.93333333333333335],\n",
       " [2, 35, 0.93333333333333335],\n",
       " [2, 40, 0.93333333333333335],\n",
       " [2, 45, 0.93333333333333335],\n",
       " [2, 50, 0.93333333333333335],\n",
       " [2, 55, 0.93333333333333335],\n",
       " [2, 60, 0.93333333333333335],\n",
       " [3, 5, 0.93333333333333335],\n",
       " [3, 10, 0.93333333333333335],\n",
       " [3, 15, 0.93333333333333335],\n",
       " [3, 20, 0.93333333333333335],\n",
       " [3, 25, 0.93333333333333335],\n",
       " [3, 30, 0.93333333333333335],\n",
       " [3, 35, 0.93333333333333335],\n",
       " [3, 40, 0.93333333333333335],\n",
       " [3, 45, 0.93333333333333335],\n",
       " [3, 50, 0.93333333333333335],\n",
       " [3, 55, 0.93333333333333335],\n",
       " [3, 60, 0.93333333333333335],\n",
       " [4, 5, 0.96666666666666667],\n",
       " [4, 10, 0.96666666666666667],\n",
       " [4, 15, 0.96666666666666667],\n",
       " [4, 20, 0.96666666666666667],\n",
       " [4, 25, 0.96666666666666667],\n",
       " [4, 30, 0.96666666666666667],\n",
       " [4, 35, 0.96666666666666667],\n",
       " [4, 40, 0.96666666666666667],\n",
       " [4, 45, 0.96666666666666667],\n",
       " [4, 50, 0.96666666666666667],\n",
       " [4, 55, 0.96666666666666667],\n",
       " [4, 60, 0.96666666666666667],\n",
       " [5, 5, 0.94999999999999996],\n",
       " [5, 10, 0.94999999999999996],\n",
       " [5, 15, 0.94999999999999996],\n",
       " [5, 20, 0.94999999999999996],\n",
       " [5, 25, 0.94999999999999996],\n",
       " [5, 30, 0.94999999999999996],\n",
       " [5, 35, 0.94999999999999996],\n",
       " [5, 40, 0.94999999999999996],\n",
       " [5, 45, 0.94999999999999996],\n",
       " [5, 50, 0.94999999999999996],\n",
       " [5, 55, 0.94999999999999996],\n",
       " [5, 60, 0.94999999999999996],\n",
       " [6, 5, 0.91666666666666663],\n",
       " [6, 10, 0.91666666666666663],\n",
       " [6, 15, 0.91666666666666663],\n",
       " [6, 20, 0.91666666666666663],\n",
       " [6, 25, 0.91666666666666663],\n",
       " [6, 30, 0.91666666666666663],\n",
       " [6, 35, 0.91666666666666663],\n",
       " [6, 40, 0.91666666666666663],\n",
       " [6, 45, 0.91666666666666663],\n",
       " [6, 50, 0.91666666666666663],\n",
       " [6, 55, 0.91666666666666663],\n",
       " [6, 60, 0.91666666666666663],\n",
       " [7, 5, 0.93333333333333335],\n",
       " [7, 10, 0.93333333333333335],\n",
       " [7, 15, 0.93333333333333335],\n",
       " [7, 20, 0.93333333333333335],\n",
       " [7, 25, 0.93333333333333335],\n",
       " [7, 30, 0.93333333333333335],\n",
       " [7, 35, 0.93333333333333335],\n",
       " [7, 40, 0.93333333333333335],\n",
       " [7, 45, 0.93333333333333335],\n",
       " [7, 50, 0.93333333333333335],\n",
       " [7, 55, 0.93333333333333335],\n",
       " [7, 60, 0.93333333333333335],\n",
       " [8, 5, 0.91666666666666663],\n",
       " [8, 10, 0.91666666666666663],\n",
       " [8, 15, 0.91666666666666663],\n",
       " [8, 20, 0.91666666666666663],\n",
       " [8, 25, 0.91666666666666663],\n",
       " [8, 30, 0.91666666666666663],\n",
       " [8, 35, 0.91666666666666663],\n",
       " [8, 40, 0.91666666666666663],\n",
       " [8, 45, 0.91666666666666663],\n",
       " [8, 50, 0.91666666666666663],\n",
       " [8, 55, 0.91666666666666663],\n",
       " [8, 60, 0.91666666666666663],\n",
       " [9, 5, 0.93333333333333335],\n",
       " [9, 10, 0.93333333333333335],\n",
       " [9, 15, 0.93333333333333335],\n",
       " [9, 20, 0.93333333333333335],\n",
       " [9, 25, 0.93333333333333335],\n",
       " [9, 30, 0.93333333333333335],\n",
       " [9, 35, 0.93333333333333335],\n",
       " [9, 40, 0.93333333333333335],\n",
       " [9, 45, 0.93333333333333335],\n",
       " [9, 50, 0.93333333333333335],\n",
       " [9, 55, 0.93333333333333335],\n",
       " [9, 60, 0.93333333333333335],\n",
       " [10, 5, 0.91666666666666663],\n",
       " [10, 10, 0.91666666666666663],\n",
       " [10, 15, 0.91666666666666663],\n",
       " [10, 20, 0.91666666666666663],\n",
       " [10, 25, 0.91666666666666663],\n",
       " [10, 30, 0.91666666666666663],\n",
       " [10, 35, 0.91666666666666663],\n",
       " [10, 40, 0.91666666666666663],\n",
       " [10, 45, 0.91666666666666663],\n",
       " [10, 50, 0.91666666666666663],\n",
       " [10, 55, 0.91666666666666663],\n",
       " [10, 60, 0.91666666666666663],\n",
       " [11, 5, 0.93333333333333335],\n",
       " [11, 10, 0.93333333333333335],\n",
       " [11, 15, 0.93333333333333335],\n",
       " [11, 20, 0.93333333333333335],\n",
       " [11, 25, 0.93333333333333335],\n",
       " [11, 30, 0.93333333333333335],\n",
       " [11, 35, 0.93333333333333335],\n",
       " [11, 40, 0.93333333333333335],\n",
       " [11, 45, 0.93333333333333335],\n",
       " [11, 50, 0.93333333333333335],\n",
       " [11, 55, 0.93333333333333335],\n",
       " [11, 60, 0.93333333333333335],\n",
       " [12, 5, 0.93333333333333335],\n",
       " [12, 10, 0.93333333333333335],\n",
       " [12, 15, 0.93333333333333335],\n",
       " [12, 20, 0.93333333333333335],\n",
       " [12, 25, 0.93333333333333335],\n",
       " [12, 30, 0.93333333333333335],\n",
       " [12, 35, 0.93333333333333335],\n",
       " [12, 40, 0.93333333333333335],\n",
       " [12, 45, 0.93333333333333335],\n",
       " [12, 50, 0.93333333333333335],\n",
       " [12, 55, 0.93333333333333335],\n",
       " [12, 60, 0.93333333333333335],\n",
       " [13, 5, 0.91666666666666663],\n",
       " [13, 10, 0.91666666666666663],\n",
       " [13, 15, 0.91666666666666663],\n",
       " [13, 20, 0.91666666666666663],\n",
       " [13, 25, 0.91666666666666663],\n",
       " [13, 30, 0.91666666666666663],\n",
       " [13, 35, 0.91666666666666663],\n",
       " [13, 40, 0.91666666666666663],\n",
       " [13, 45, 0.91666666666666663],\n",
       " [13, 50, 0.91666666666666663],\n",
       " [13, 55, 0.91666666666666663],\n",
       " [13, 60, 0.91666666666666663],\n",
       " [14, 5, 0.94999999999999996],\n",
       " [14, 10, 0.94999999999999996],\n",
       " [14, 15, 0.94999999999999996],\n",
       " [14, 20, 0.94999999999999996],\n",
       " [14, 25, 0.94999999999999996],\n",
       " [14, 30, 0.94999999999999996],\n",
       " [14, 35, 0.94999999999999996],\n",
       " [14, 40, 0.94999999999999996],\n",
       " [14, 45, 0.94999999999999996],\n",
       " [14, 50, 0.94999999999999996],\n",
       " [14, 55, 0.94999999999999996],\n",
       " [14, 60, 0.94999999999999996],\n",
       " [15, 5, 0.94999999999999996],\n",
       " [15, 10, 0.94999999999999996],\n",
       " [15, 15, 0.94999999999999996],\n",
       " [15, 20, 0.94999999999999996],\n",
       " [15, 25, 0.94999999999999996],\n",
       " [15, 30, 0.94999999999999996],\n",
       " [15, 35, 0.94999999999999996],\n",
       " [15, 40, 0.94999999999999996],\n",
       " [15, 45, 0.94999999999999996],\n",
       " [15, 50, 0.94999999999999996],\n",
       " [15, 55, 0.94999999999999996],\n",
       " [15, 60, 0.94999999999999996],\n",
       " [16, 5, 0.91666666666666663],\n",
       " [16, 10, 0.91666666666666663],\n",
       " [16, 15, 0.91666666666666663],\n",
       " [16, 20, 0.91666666666666663],\n",
       " [16, 25, 0.91666666666666663],\n",
       " [16, 30, 0.91666666666666663],\n",
       " [16, 35, 0.91666666666666663],\n",
       " [16, 40, 0.91666666666666663],\n",
       " [16, 45, 0.91666666666666663],\n",
       " [16, 50, 0.91666666666666663],\n",
       " [16, 55, 0.91666666666666663],\n",
       " [16, 60, 0.91666666666666663],\n",
       " [17, 5, 0.93333333333333335],\n",
       " [17, 10, 0.93333333333333335],\n",
       " [17, 15, 0.93333333333333335],\n",
       " [17, 20, 0.93333333333333335],\n",
       " [17, 25, 0.93333333333333335],\n",
       " [17, 30, 0.93333333333333335],\n",
       " [17, 35, 0.93333333333333335],\n",
       " [17, 40, 0.93333333333333335],\n",
       " [17, 45, 0.93333333333333335],\n",
       " [17, 50, 0.93333333333333335],\n",
       " [17, 55, 0.93333333333333335],\n",
       " [17, 60, 0.93333333333333335],\n",
       " [18, 5, 0.91666666666666663],\n",
       " [18, 10, 0.91666666666666663],\n",
       " [18, 15, 0.91666666666666663],\n",
       " [18, 20, 0.91666666666666663],\n",
       " [18, 25, 0.91666666666666663],\n",
       " [18, 30, 0.91666666666666663],\n",
       " [18, 35, 0.91666666666666663],\n",
       " [18, 40, 0.91666666666666663],\n",
       " [18, 45, 0.91666666666666663],\n",
       " [18, 50, 0.91666666666666663],\n",
       " [18, 55, 0.91666666666666663],\n",
       " [18, 60, 0.91666666666666663],\n",
       " [19, 5, 0.90000000000000002],\n",
       " [19, 10, 0.90000000000000002],\n",
       " [19, 15, 0.90000000000000002],\n",
       " [19, 20, 0.90000000000000002],\n",
       " [19, 25, 0.90000000000000002],\n",
       " [19, 30, 0.90000000000000002],\n",
       " [19, 35, 0.90000000000000002],\n",
       " [19, 40, 0.90000000000000002],\n",
       " [19, 45, 0.90000000000000002],\n",
       " [19, 50, 0.90000000000000002],\n",
       " [19, 55, 0.90000000000000002],\n",
       " [19, 60, 0.90000000000000002],\n",
       " [20, 5, 0.90000000000000002],\n",
       " [20, 10, 0.90000000000000002],\n",
       " [20, 15, 0.90000000000000002],\n",
       " [20, 20, 0.90000000000000002],\n",
       " [20, 25, 0.90000000000000002],\n",
       " [20, 30, 0.90000000000000002],\n",
       " [20, 35, 0.90000000000000002],\n",
       " [20, 40, 0.90000000000000002],\n",
       " [20, 45, 0.90000000000000002],\n",
       " [20, 50, 0.90000000000000002],\n",
       " [20, 55, 0.90000000000000002],\n",
       " [20, 60, 0.90000000000000002],\n",
       " [21, 5, 0.91666666666666663],\n",
       " [21, 10, 0.91666666666666663],\n",
       " [21, 15, 0.91666666666666663],\n",
       " [21, 20, 0.91666666666666663],\n",
       " [21, 25, 0.91666666666666663],\n",
       " [21, 30, 0.91666666666666663],\n",
       " [21, 35, 0.91666666666666663],\n",
       " [21, 40, 0.91666666666666663],\n",
       " [21, 45, 0.91666666666666663],\n",
       " [21, 50, 0.91666666666666663],\n",
       " [21, 55, 0.91666666666666663],\n",
       " [21, 60, 0.93333333333333335],\n",
       " [22, 5, 0.91666666666666663],\n",
       " [22, 10, 0.91666666666666663],\n",
       " [22, 15, 0.91666666666666663],\n",
       " [22, 20, 0.91666666666666663],\n",
       " [22, 25, 0.91666666666666663],\n",
       " [22, 30, 0.91666666666666663],\n",
       " [22, 35, 0.91666666666666663],\n",
       " [22, 40, 0.91666666666666663],\n",
       " [22, 45, 0.91666666666666663],\n",
       " [22, 50, 0.91666666666666663],\n",
       " [22, 55, 0.91666666666666663],\n",
       " [22, 60, 0.91666666666666663],\n",
       " [23, 5, 0.91666666666666663],\n",
       " [23, 10, 0.91666666666666663],\n",
       " [23, 15, 0.91666666666666663],\n",
       " [23, 20, 0.91666666666666663],\n",
       " [23, 25, 0.91666666666666663],\n",
       " [23, 30, 0.91666666666666663],\n",
       " [23, 35, 0.91666666666666663],\n",
       " [23, 40, 0.91666666666666663],\n",
       " [23, 45, 0.91666666666666663],\n",
       " [23, 50, 0.91666666666666663],\n",
       " [23, 55, 0.91666666666666663],\n",
       " [23, 60, 0.91666666666666663],\n",
       " [24, 5, 0.90000000000000002],\n",
       " [24, 10, 0.90000000000000002],\n",
       " [24, 15, 0.90000000000000002],\n",
       " [24, 20, 0.90000000000000002],\n",
       " [24, 25, 0.90000000000000002],\n",
       " [24, 30, 0.90000000000000002],\n",
       " [24, 35, 0.90000000000000002],\n",
       " [24, 40, 0.90000000000000002],\n",
       " [24, 45, 0.90000000000000002],\n",
       " [24, 50, 0.90000000000000002],\n",
       " [24, 55, 0.90000000000000002],\n",
       " [24, 60, 0.90000000000000002],\n",
       " [25, 5, 0.91666666666666663],\n",
       " [25, 10, 0.91666666666666663],\n",
       " [25, 15, 0.91666666666666663],\n",
       " [25, 20, 0.91666666666666663],\n",
       " [25, 25, 0.91666666666666663],\n",
       " [25, 30, 0.91666666666666663],\n",
       " [25, 35, 0.91666666666666663],\n",
       " [25, 40, 0.91666666666666663],\n",
       " [25, 45, 0.91666666666666663],\n",
       " [25, 50, 0.91666666666666663],\n",
       " [25, 55, 0.91666666666666663],\n",
       " [25, 60, 0.91666666666666663],\n",
       " [26, 5, 0.91666666666666663],\n",
       " [26, 10, 0.91666666666666663],\n",
       " [26, 15, 0.91666666666666663],\n",
       " [26, 20, 0.91666666666666663],\n",
       " [26, 25, 0.91666666666666663],\n",
       " [26, 30, 0.91666666666666663],\n",
       " [26, 35, 0.91666666666666663],\n",
       " [26, 40, 0.91666666666666663],\n",
       " [26, 45, 0.91666666666666663],\n",
       " [26, 50, 0.91666666666666663],\n",
       " [26, 55, 0.91666666666666663],\n",
       " [26, 60, 0.91666666666666663],\n",
       " [27, 5, 0.91666666666666663],\n",
       " [27, 10, 0.91666666666666663],\n",
       " [27, 15, 0.91666666666666663],\n",
       " [27, 20, 0.91666666666666663],\n",
       " [27, 25, 0.91666666666666663],\n",
       " [27, 30, 0.91666666666666663],\n",
       " [27, 35, 0.91666666666666663],\n",
       " [27, 40, 0.91666666666666663],\n",
       " [27, 45, 0.91666666666666663],\n",
       " [27, 50, 0.91666666666666663],\n",
       " [27, 55, 0.91666666666666663],\n",
       " [27, 60, 0.91666666666666663],\n",
       " [28, 5, 0.91666666666666663],\n",
       " [28, 10, 0.91666666666666663],\n",
       " [28, 15, 0.91666666666666663],\n",
       " [28, 20, 0.91666666666666663],\n",
       " [28, 25, 0.91666666666666663],\n",
       " [28, 30, 0.91666666666666663],\n",
       " [28, 35, 0.91666666666666663],\n",
       " [28, 40, 0.91666666666666663],\n",
       " [28, 45, 0.91666666666666663],\n",
       " [28, 50, 0.91666666666666663],\n",
       " [28, 55, 0.91666666666666663],\n",
       " [28, 60, 0.91666666666666663],\n",
       " [29, 5, 0.91666666666666663],\n",
       " [29, 10, 0.91666666666666663],\n",
       " [29, 15, 0.91666666666666663],\n",
       " [29, 20, 0.91666666666666663],\n",
       " [29, 25, 0.91666666666666663],\n",
       " [29, 30, 0.91666666666666663],\n",
       " [29, 35, 0.91666666666666663],\n",
       " [29, 40, 0.91666666666666663],\n",
       " [29, 45, 0.91666666666666663],\n",
       " [29, 50, 0.91666666666666663],\n",
       " [29, 55, 0.91666666666666663],\n",
       " [29, 60, 0.91666666666666663],\n",
       " [30, 5, 0.91666666666666663],\n",
       " [30, 10, 0.91666666666666663],\n",
       " [30, 15, 0.91666666666666663],\n",
       " [30, 20, 0.91666666666666663],\n",
       " [30, 25, 0.91666666666666663],\n",
       " [30, 30, 0.91666666666666663],\n",
       " [30, 35, 0.91666666666666663],\n",
       " [30, 40, 0.91666666666666663],\n",
       " [30, 45, 0.91666666666666663],\n",
       " [30, 50, 0.91666666666666663],\n",
       " [30, 55, 0.91666666666666663],\n",
       " [30, 60, 0.91666666666666663],\n",
       " [31, 5, 0.90000000000000002],\n",
       " [31, 10, 0.90000000000000002],\n",
       " [31, 15, 0.90000000000000002],\n",
       " [31, 20, 0.90000000000000002],\n",
       " [31, 25, 0.90000000000000002],\n",
       " [31, 30, 0.90000000000000002],\n",
       " [31, 35, 0.90000000000000002],\n",
       " [31, 40, 0.90000000000000002],\n",
       " [31, 45, 0.90000000000000002],\n",
       " [31, 50, 0.90000000000000002],\n",
       " [31, 55, 0.90000000000000002],\n",
       " [31, 60, 0.90000000000000002],\n",
       " [32, 5, 0.91666666666666663],\n",
       " [32, 10, 0.91666666666666663],\n",
       " [32, 15, 0.91666666666666663],\n",
       " [32, 20, 0.91666666666666663],\n",
       " [32, 25, 0.91666666666666663],\n",
       " [32, 30, 0.91666666666666663],\n",
       " [32, 35, 0.91666666666666663],\n",
       " [32, 40, 0.91666666666666663],\n",
       " [32, 45, 0.91666666666666663],\n",
       " [32, 50, 0.91666666666666663],\n",
       " [32, 55, 0.91666666666666663],\n",
       " [32, 60, 0.91666666666666663],\n",
       " [33, 5, 0.8833333333333333],\n",
       " [33, 10, 0.8833333333333333],\n",
       " [33, 15, 0.8833333333333333],\n",
       " [33, 20, 0.8833333333333333],\n",
       " [33, 25, 0.8833333333333333],\n",
       " [33, 30, 0.8833333333333333],\n",
       " [33, 35, 0.8833333333333333],\n",
       " [33, 40, 0.8833333333333333],\n",
       " [33, 45, 0.8833333333333333],\n",
       " [33, 50, 0.8833333333333333],\n",
       " [33, 55, 0.8833333333333333],\n",
       " [33, 60, 0.8833333333333333],\n",
       " [34, 5, 0.91666666666666663],\n",
       " [34, 10, 0.91666666666666663],\n",
       " [34, 15, 0.91666666666666663],\n",
       " [34, 20, 0.91666666666666663],\n",
       " [34, 25, 0.91666666666666663],\n",
       " [34, 30, 0.91666666666666663],\n",
       " [34, 35, 0.91666666666666663],\n",
       " [34, 40, 0.91666666666666663],\n",
       " [34, 45, 0.91666666666666663],\n",
       " [34, 50, 0.91666666666666663],\n",
       " [34, 55, 0.91666666666666663],\n",
       " [34, 60, 0.91666666666666663],\n",
       " [35, 5, 0.90000000000000002],\n",
       " [35, 10, 0.90000000000000002],\n",
       " [35, 15, 0.90000000000000002],\n",
       " [35, 20, 0.90000000000000002],\n",
       " [35, 25, 0.90000000000000002],\n",
       " [35, 30, 0.90000000000000002],\n",
       " [35, 35, 0.90000000000000002],\n",
       " [35, 40, 0.90000000000000002],\n",
       " [35, 45, 0.90000000000000002],\n",
       " [35, 50, 0.90000000000000002],\n",
       " [35, 55, 0.90000000000000002],\n",
       " [35, 60, 0.90000000000000002],\n",
       " [36, 5, 0.91666666666666663],\n",
       " [36, 10, 0.91666666666666663],\n",
       " [36, 15, 0.93333333333333335],\n",
       " [36, 20, 0.93333333333333335],\n",
       " [36, 25, 0.93333333333333335],\n",
       " [36, 30, 0.91666666666666663],\n",
       " [36, 35, 0.91666666666666663],\n",
       " [36, 40, 0.91666666666666663],\n",
       " [36, 45, 0.91666666666666663],\n",
       " [36, 50, 0.91666666666666663],\n",
       " [36, 55, 0.91666666666666663],\n",
       " [36, 60, 0.91666666666666663],\n",
       " [37, 5, 0.90000000000000002],\n",
       " [37, 10, 0.90000000000000002],\n",
       " [37, 15, 0.90000000000000002],\n",
       " [37, 20, 0.90000000000000002],\n",
       " [37, 25, 0.90000000000000002],\n",
       " [37, 30, 0.90000000000000002],\n",
       " [37, 35, 0.90000000000000002],\n",
       " [37, 40, 0.90000000000000002],\n",
       " [37, 45, 0.90000000000000002],\n",
       " [37, 50, 0.90000000000000002],\n",
       " [37, 55, 0.90000000000000002],\n",
       " [37, 60, 0.90000000000000002],\n",
       " [38, 5, 0.8666666666666667],\n",
       " [38, 10, 0.8666666666666667],\n",
       " [38, 15, 0.8666666666666667],\n",
       " [38, 20, 0.8666666666666667],\n",
       " [38, 25, 0.8666666666666667],\n",
       " [38, 30, 0.8666666666666667],\n",
       " [38, 35, 0.8666666666666667],\n",
       " [38, 40, 0.8666666666666667],\n",
       " [38, 45, 0.8666666666666667],\n",
       " [38, 50, 0.8666666666666667],\n",
       " [38, 55, 0.8666666666666667],\n",
       " [38, 60, 0.84999999999999998],\n",
       " [39, 5, 0.84999999999999998],\n",
       " [39, 10, 0.84999999999999998],\n",
       " [39, 15, 0.84999999999999998],\n",
       " [39, 20, 0.84999999999999998],\n",
       " [39, 25, 0.84999999999999998],\n",
       " [39, 30, 0.84999999999999998],\n",
       " [39, 35, 0.84999999999999998],\n",
       " [39, 40, 0.84999999999999998],\n",
       " [39, 45, 0.84999999999999998],\n",
       " [39, 50, 0.84999999999999998],\n",
       " [39, 55, 0.84999999999999998],\n",
       " [39, 60, 0.84999999999999998],\n",
       " [40, 5, 0.8666666666666667],\n",
       " [40, 10, 0.8666666666666667],\n",
       " [40, 15, 0.84999999999999998],\n",
       " [40, 20, 0.84999999999999998],\n",
       " [40, 25, 0.84999999999999998],\n",
       " [40, 30, 0.8666666666666667],\n",
       " [40, 35, 0.8666666666666667],\n",
       " [40, 40, 0.8666666666666667],\n",
       " [40, 45, 0.8666666666666667],\n",
       " [40, 50, 0.8666666666666667],\n",
       " [40, 55, 0.8666666666666667],\n",
       " [40, 60, 0.8666666666666667],\n",
       " [41, 5, 0.81666666666666665],\n",
       " [41, 10, 0.81666666666666665],\n",
       " [41, 15, 0.81666666666666665],\n",
       " [41, 20, 0.81666666666666665],\n",
       " [41, 25, 0.81666666666666665],\n",
       " [41, 30, 0.81666666666666665],\n",
       " [41, 35, 0.81666666666666665],\n",
       " [41, 40, 0.81666666666666665],\n",
       " [41, 45, 0.81666666666666665],\n",
       " [41, 50, 0.81666666666666665],\n",
       " [41, 55, 0.81666666666666665],\n",
       " [41, 60, 0.81666666666666665],\n",
       " [42, 5, 0.80000000000000004],\n",
       " [42, 10, 0.80000000000000004],\n",
       " [42, 15, 0.80000000000000004],\n",
       " [42, 20, 0.80000000000000004],\n",
       " [42, 25, 0.80000000000000004],\n",
       " [42, 30, 0.80000000000000004],\n",
       " [42, 35, 0.80000000000000004],\n",
       " [42, 40, 0.80000000000000004],\n",
       " [42, 45, 0.80000000000000004],\n",
       " [42, 50, 0.80000000000000004],\n",
       " [42, 55, 0.80000000000000004],\n",
       " [42, 60, 0.80000000000000004],\n",
       " [43, 5, 0.81666666666666665],\n",
       " [43, 10, 0.81666666666666665],\n",
       " [43, 15, 0.81666666666666665],\n",
       " [43, 20, 0.81666666666666665],\n",
       " [43, 25, 0.81666666666666665],\n",
       " [43, 30, 0.81666666666666665],\n",
       " [43, 35, 0.81666666666666665],\n",
       " [43, 40, 0.81666666666666665],\n",
       " [43, 45, 0.81666666666666665],\n",
       " [43, 50, 0.81666666666666665],\n",
       " [43, 55, 0.81666666666666665],\n",
       " [43, 60, 0.81666666666666665],\n",
       " [44, 5, 0.76666666666666672],\n",
       " [44, 10, 0.76666666666666672],\n",
       " [44, 15, 0.76666666666666672],\n",
       " [44, 20, 0.76666666666666672],\n",
       " [44, 25, 0.76666666666666672],\n",
       " [44, 30, 0.76666666666666672],\n",
       " [44, 35, 0.76666666666666672],\n",
       " [44, 40, 0.76666666666666672],\n",
       " [44, 45, 0.76666666666666672],\n",
       " [44, 50, 0.76666666666666672],\n",
       " [44, 55, 0.76666666666666672],\n",
       " [44, 60, 0.76666666666666672],\n",
       " [45, 5, 0.78333333333333333],\n",
       " [45, 10, 0.78333333333333333],\n",
       " [45, 15, 0.78333333333333333],\n",
       " [45, 20, 0.78333333333333333],\n",
       " [45, 25, 0.78333333333333333],\n",
       " [45, 30, 0.78333333333333333],\n",
       " [45, 35, 0.78333333333333333],\n",
       " [45, 40, 0.78333333333333333],\n",
       " [45, 45, 0.78333333333333333],\n",
       " [45, 50, 0.78333333333333333],\n",
       " [45, 55, 0.78333333333333333],\n",
       " [45, 60, 0.78333333333333333],\n",
       " [46, 5, 0.76666666666666672],\n",
       " [46, 10, 0.76666666666666672],\n",
       " [46, 15, 0.76666666666666672],\n",
       " [46, 20, 0.76666666666666672],\n",
       " [46, 25, 0.76666666666666672],\n",
       " [46, 30, 0.76666666666666672],\n",
       " [46, 35, 0.76666666666666672],\n",
       " [46, 40, 0.76666666666666672],\n",
       " [46, 45, 0.76666666666666672],\n",
       " [46, 50, 0.76666666666666672],\n",
       " [46, 55, 0.76666666666666672],\n",
       " [46, 60, 0.76666666666666672],\n",
       " [47, 5, 0.75],\n",
       " [47, 10, 0.76666666666666672],\n",
       " [47, 15, 0.76666666666666672],\n",
       " [47, 20, 0.76666666666666672],\n",
       " [47, 25, 0.76666666666666672],\n",
       " [47, 30, 0.75],\n",
       " [47, 35, 0.75],\n",
       " [47, 40, 0.75],\n",
       " [47, 45, 0.75],\n",
       " [47, 50, 0.75],\n",
       " [47, 55, 0.75],\n",
       " [47, 60, 0.75],\n",
       " [48, 5, 0.75],\n",
       " [48, 10, 0.75],\n",
       " [48, 15, 0.75],\n",
       " [48, 20, 0.75],\n",
       " [48, 25, 0.75],\n",
       " [48, 30, 0.75],\n",
       " [48, 35, 0.75],\n",
       " [48, 40, 0.75],\n",
       " [48, 45, 0.75],\n",
       " [48, 50, 0.75],\n",
       " [48, 55, 0.75],\n",
       " [48, 60, 0.75],\n",
       " [49, 5, 0.73333333333333328],\n",
       " [49, 10, 0.73333333333333328],\n",
       " [49, 15, 0.73333333333333328],\n",
       " [49, 20, 0.73333333333333328],\n",
       " [49, 25, 0.73333333333333328],\n",
       " [49, 30, 0.73333333333333328],\n",
       " [49, 35, 0.73333333333333328],\n",
       " [49, 40, 0.73333333333333328],\n",
       " [49, 45, 0.73333333333333328],\n",
       " [49, 50, 0.73333333333333328],\n",
       " [49, 55, 0.73333333333333328],\n",
       " [49, 60, 0.73333333333333328],\n",
       " [0, 5, 1.0],\n",
       " [0, 10, 0.98333333333333328],\n",
       " [0, 15, 0.98333333333333328],\n",
       " [0, 20, 0.98333333333333328],\n",
       " [0, 25, 0.98333333333333328],\n",
       " [0, 30, 0.98333333333333328],\n",
       " [0, 35, 0.98333333333333328],\n",
       " [0, 40, 0.98333333333333328],\n",
       " [0, 45, 0.98333333333333328],\n",
       " [0, 50, 0.98333333333333328],\n",
       " [0, 55, 0.98333333333333328],\n",
       " [0, 60, 0.98333333333333328],\n",
       " [1, 5, 0.91666666666666663],\n",
       " [1, 10, 0.91666666666666663],\n",
       " [1, 15, 0.91666666666666663],\n",
       " [1, 20, 0.91666666666666663],\n",
       " [1, 25, 0.91666666666666663],\n",
       " [1, 30, 0.91666666666666663],\n",
       " [1, 35, 0.91666666666666663],\n",
       " [1, 40, 0.91666666666666663],\n",
       " [1, 45, 0.91666666666666663],\n",
       " [1, 50, 0.91666666666666663],\n",
       " [1, 55, 0.91666666666666663],\n",
       " [1, 60, 0.91666666666666663],\n",
       " [2, 5, 0.98333333333333328],\n",
       " [2, 10, 0.98333333333333328],\n",
       " [2, 15, 0.98333333333333328],\n",
       " [2, 20, 0.98333333333333328],\n",
       " [2, 25, 0.98333333333333328],\n",
       " [2, 30, 0.98333333333333328],\n",
       " [2, 35, 0.98333333333333328],\n",
       " [2, 40, 0.98333333333333328],\n",
       " [2, 45, 0.98333333333333328],\n",
       " [2, 50, 0.98333333333333328],\n",
       " [2, 55, 0.98333333333333328],\n",
       " [2, 60, 0.98333333333333328],\n",
       " [3, 5, 0.94999999999999996],\n",
       " [3, 10, 0.94999999999999996],\n",
       " [3, 15, 0.94999999999999996],\n",
       " [3, 20, 0.94999999999999996],\n",
       " [3, 25, 0.94999999999999996],\n",
       " [3, 30, 0.94999999999999996],\n",
       " [3, 35, 0.94999999999999996],\n",
       " [3, 40, 0.94999999999999996],\n",
       " [3, 45, 0.94999999999999996],\n",
       " [3, 50, 0.94999999999999996],\n",
       " [3, 55, 0.94999999999999996],\n",
       " [3, 60, 0.94999999999999996],\n",
       " [4, 5, 0.93333333333333335],\n",
       " [4, 10, 0.93333333333333335],\n",
       " [4, 15, 0.93333333333333335],\n",
       " [4, 20, 0.93333333333333335],\n",
       " [4, 25, 0.93333333333333335],\n",
       " [4, 30, 0.93333333333333335],\n",
       " [4, 35, 0.93333333333333335],\n",
       " [4, 40, 0.93333333333333335],\n",
       " [4, 45, 0.93333333333333335],\n",
       " [4, 50, 0.93333333333333335],\n",
       " [4, 55, 0.93333333333333335],\n",
       " [4, 60, 0.93333333333333335],\n",
       " [5, 5, 0.93333333333333335],\n",
       " [5, 10, 0.93333333333333335],\n",
       " [5, 15, 0.93333333333333335],\n",
       " [5, 20, 0.93333333333333335],\n",
       " [5, 25, 0.93333333333333335],\n",
       " [5, 30, 0.93333333333333335],\n",
       " [5, 35, 0.93333333333333335],\n",
       " [5, 40, 0.93333333333333335],\n",
       " [5, 45, 0.93333333333333335],\n",
       " [5, 50, 0.93333333333333335],\n",
       " [5, 55, 0.93333333333333335],\n",
       " [5, 60, 0.93333333333333335],\n",
       " [6, 5, 0.94999999999999996],\n",
       " [6, 10, 0.94999999999999996],\n",
       " [6, 15, 0.94999999999999996],\n",
       " [6, 20, 0.94999999999999996],\n",
       " [6, 25, 0.94999999999999996],\n",
       " [6, 30, 0.94999999999999996],\n",
       " [6, 35, 0.94999999999999996],\n",
       " [6, 40, 0.94999999999999996],\n",
       " [6, 45, 0.94999999999999996],\n",
       " [6, 50, 0.94999999999999996],\n",
       " [6, 55, 0.94999999999999996],\n",
       " [6, 60, 0.94999999999999996],\n",
       " [7, 5, 0.90000000000000002],\n",
       " [7, 10, 0.90000000000000002],\n",
       " [7, 15, 0.90000000000000002],\n",
       " [7, 20, 0.90000000000000002],\n",
       " [7, 25, 0.90000000000000002],\n",
       " [7, 30, 0.90000000000000002],\n",
       " [7, 35, 0.90000000000000002],\n",
       " [7, 40, 0.90000000000000002],\n",
       " [7, 45, 0.90000000000000002],\n",
       " [7, 50, 0.90000000000000002],\n",
       " [7, 55, 0.90000000000000002],\n",
       " [7, 60, 0.90000000000000002],\n",
       " [8, 5, 0.91666666666666663],\n",
       " [8, 10, 0.91666666666666663],\n",
       " [8, 15, 0.91666666666666663],\n",
       " [8, 20, 0.91666666666666663],\n",
       " [8, 25, 0.91666666666666663],\n",
       " [8, 30, 0.91666666666666663],\n",
       " [8, 35, 0.91666666666666663],\n",
       " [8, 40, 0.91666666666666663],\n",
       " [8, 45, 0.91666666666666663],\n",
       " [8, 50, 0.91666666666666663],\n",
       " [8, 55, 0.91666666666666663],\n",
       " [8, 60, 0.91666666666666663],\n",
       " [9, 5, 0.8666666666666667],\n",
       " [9, 10, 0.8666666666666667],\n",
       " [9, 15, 0.8666666666666667],\n",
       " [9, 20, 0.8666666666666667],\n",
       " [9, 25, 0.8666666666666667],\n",
       " [9, 30, 0.8666666666666667],\n",
       " [9, 35, 0.8666666666666667],\n",
       " [9, 40, 0.8666666666666667],\n",
       " [9, 45, 0.8666666666666667],\n",
       " [9, 50, 0.8666666666666667],\n",
       " [9, 55, 0.8666666666666667],\n",
       " [9, 60, 0.8666666666666667],\n",
       " [10, 5, 0.8666666666666667],\n",
       " [10, 10, 0.8666666666666667],\n",
       " [10, 15, 0.8666666666666667],\n",
       " [10, 20, 0.8666666666666667],\n",
       " [10, 25, 0.8666666666666667],\n",
       " [10, 30, 0.8666666666666667],\n",
       " [10, 35, 0.8666666666666667],\n",
       " [10, 40, 0.8666666666666667],\n",
       " [10, 45, 0.8666666666666667],\n",
       " [10, 50, 0.8666666666666667],\n",
       " [10, 55, 0.8666666666666667],\n",
       " [10, 60, 0.8666666666666667],\n",
       " [11, 5, 0.8833333333333333],\n",
       " [11, 10, 0.8833333333333333],\n",
       " [11, 15, 0.8833333333333333],\n",
       " [11, 20, 0.8833333333333333],\n",
       " [11, 25, 0.8833333333333333],\n",
       " [11, 30, 0.8833333333333333],\n",
       " [11, 35, 0.8833333333333333],\n",
       " [11, 40, 0.8833333333333333],\n",
       " [11, 45, 0.8833333333333333],\n",
       " [11, 50, 0.8833333333333333],\n",
       " [11, 55, 0.8833333333333333],\n",
       " [11, 60, 0.8833333333333333],\n",
       " [12, 5, 0.91666666666666663],\n",
       " [12, 10, 0.91666666666666663],\n",
       " [12, 15, 0.91666666666666663],\n",
       " [12, 20, 0.91666666666666663],\n",
       " [12, 25, 0.91666666666666663],\n",
       " [12, 30, 0.91666666666666663],\n",
       " [12, 35, 0.91666666666666663],\n",
       " [12, 40, 0.91666666666666663],\n",
       " [12, 45, 0.91666666666666663],\n",
       " [12, 50, 0.91666666666666663],\n",
       " [12, 55, 0.91666666666666663],\n",
       " [12, 60, 0.91666666666666663],\n",
       " [13, 5, 0.93333333333333335],\n",
       " [13, 10, 0.93333333333333335],\n",
       " [13, 15, 0.93333333333333335],\n",
       " [13, 20, 0.93333333333333335],\n",
       " [13, 25, 0.93333333333333335],\n",
       " [13, 30, 0.93333333333333335],\n",
       " [13, 35, 0.93333333333333335],\n",
       " [13, 40, 0.93333333333333335],\n",
       " [13, 45, 0.93333333333333335],\n",
       " [13, 50, 0.93333333333333335],\n",
       " [13, 55, 0.93333333333333335],\n",
       " [13, 60, 0.93333333333333335],\n",
       " [14, 5, 0.91666666666666663],\n",
       " [14, 10, 0.91666666666666663],\n",
       " [14, 15, 0.91666666666666663],\n",
       " [14, 20, 0.91666666666666663],\n",
       " [14, 25, 0.91666666666666663],\n",
       " [14, 30, 0.91666666666666663],\n",
       " [14, 35, 0.91666666666666663],\n",
       " [14, 40, 0.91666666666666663],\n",
       " [14, 45, 0.91666666666666663],\n",
       " [14, 50, 0.91666666666666663],\n",
       " [14, 55, 0.91666666666666663],\n",
       " [14, 60, 0.91666666666666663],\n",
       " [15, 5, 0.91666666666666663],\n",
       " [15, 10, 0.91666666666666663],\n",
       " [15, 15, 0.91666666666666663],\n",
       " [15, 20, 0.91666666666666663],\n",
       " [15, 25, 0.91666666666666663],\n",
       " [15, 30, 0.91666666666666663],\n",
       " [15, 35, 0.91666666666666663],\n",
       " [15, 40, 0.91666666666666663],\n",
       " [15, 45, 0.91666666666666663],\n",
       " [15, 50, 0.91666666666666663],\n",
       " [15, 55, 0.91666666666666663],\n",
       " [15, 60, 0.91666666666666663],\n",
       " [16, 5, 0.8666666666666667],\n",
       " [16, 10, 0.8666666666666667],\n",
       " [16, 15, 0.8666666666666667],\n",
       " [16, 20, 0.8666666666666667],\n",
       " [16, 25, 0.8666666666666667],\n",
       " [16, 30, 0.8666666666666667],\n",
       " [16, 35, 0.8666666666666667],\n",
       " [16, 40, 0.8666666666666667],\n",
       " [16, 45, 0.8666666666666667],\n",
       " [16, 50, 0.8666666666666667],\n",
       " [16, 55, 0.8666666666666667],\n",
       " [16, 60, 0.8666666666666667],\n",
       " [17, 5, 0.90000000000000002],\n",
       " [17, 10, 0.90000000000000002],\n",
       " [17, 15, 0.90000000000000002],\n",
       " [17, 20, 0.90000000000000002],\n",
       " [17, 25, 0.90000000000000002],\n",
       " [17, 30, 0.90000000000000002],\n",
       " [17, 35, 0.90000000000000002],\n",
       " [17, 40, 0.90000000000000002],\n",
       " [17, 45, 0.90000000000000002],\n",
       " [17, 50, 0.90000000000000002],\n",
       " [17, 55, 0.90000000000000002],\n",
       " [17, 60, 0.90000000000000002],\n",
       " [18, 5, 0.91666666666666663],\n",
       " [18, 10, 0.91666666666666663],\n",
       " [18, 15, 0.91666666666666663],\n",
       " [18, 20, 0.91666666666666663],\n",
       " [18, 25, 0.91666666666666663],\n",
       " [18, 30, 0.91666666666666663],\n",
       " [18, 35, 0.91666666666666663],\n",
       " [18, 40, 0.91666666666666663],\n",
       " [18, 45, 0.91666666666666663],\n",
       " [18, 50, 0.91666666666666663],\n",
       " [18, 55, 0.91666666666666663],\n",
       " [18, 60, 0.91666666666666663],\n",
       " [19, 5, 0.91666666666666663],\n",
       " [19, 10, 0.91666666666666663],\n",
       " [19, 15, 0.91666666666666663],\n",
       " [19, 20, 0.91666666666666663],\n",
       " [19, 25, 0.91666666666666663],\n",
       " [19, 30, 0.91666666666666663],\n",
       " [19, 35, 0.91666666666666663],\n",
       " [19, 40, 0.91666666666666663],\n",
       " [19, 45, 0.91666666666666663],\n",
       " [19, 50, 0.91666666666666663],\n",
       " [19, 55, 0.91666666666666663],\n",
       " [19, 60, 0.91666666666666663],\n",
       " [20, 5, 0.93333333333333335],\n",
       " [20, 10, 0.93333333333333335],\n",
       " [20, 15, 0.93333333333333335],\n",
       " [20, 20, 0.93333333333333335],\n",
       " [20, 25, 0.93333333333333335],\n",
       " [20, 30, 0.93333333333333335],\n",
       " [20, 35, 0.93333333333333335],\n",
       " [20, 40, 0.93333333333333335],\n",
       " [20, 45, 0.93333333333333335],\n",
       " [20, 50, 0.93333333333333335],\n",
       " [20, 55, 0.93333333333333335],\n",
       " [20, 60, 0.93333333333333335],\n",
       " [21, 5, 0.93333333333333335],\n",
       " [21, 10, 0.93333333333333335],\n",
       " [21, 15, 0.93333333333333335],\n",
       " [21, 20, 0.93333333333333335],\n",
       " [21, 25, 0.93333333333333335],\n",
       " [21, 30, 0.93333333333333335],\n",
       " [21, 35, 0.93333333333333335],\n",
       " [21, 40, 0.93333333333333335],\n",
       " [21, 45, 0.93333333333333335],\n",
       " [21, 50, 0.93333333333333335],\n",
       " [21, 55, 0.93333333333333335],\n",
       " [21, 60, 0.93333333333333335],\n",
       " [22, 5, 0.94999999999999996],\n",
       " [22, 10, 0.94999999999999996],\n",
       " [22, 15, 0.94999999999999996],\n",
       " [22, 20, 0.94999999999999996],\n",
       " [22, 25, 0.94999999999999996],\n",
       " [22, 30, 0.94999999999999996],\n",
       " [22, 35, 0.94999999999999996],\n",
       " [22, 40, 0.94999999999999996],\n",
       " [22, 45, 0.94999999999999996],\n",
       " [22, 50, 0.94999999999999996],\n",
       " [22, 55, 0.94999999999999996],\n",
       " [22, 60, 0.94999999999999996],\n",
       " [23, 5, 0.93333333333333335],\n",
       " [23, 10, 0.93333333333333335],\n",
       " [23, 15, 0.93333333333333335],\n",
       " [23, 20, 0.93333333333333335],\n",
       " [23, 25, 0.93333333333333335],\n",
       " [23, 30, 0.93333333333333335],\n",
       " [23, 35, 0.93333333333333335],\n",
       " [23, 40, 0.93333333333333335],\n",
       " [23, 45, 0.93333333333333335],\n",
       " [23, 50, 0.93333333333333335],\n",
       " [23, 55, 0.93333333333333335],\n",
       " [23, 60, 0.93333333333333335],\n",
       " [24, 5, 0.91666666666666663],\n",
       " [24, 10, 0.91666666666666663],\n",
       " [24, 15, 0.91666666666666663],\n",
       " [24, 20, 0.91666666666666663],\n",
       " [24, 25, 0.91666666666666663],\n",
       " [24, 30, 0.91666666666666663],\n",
       " [24, 35, 0.91666666666666663],\n",
       " [24, 40, 0.91666666666666663],\n",
       " [24, 45, 0.91666666666666663],\n",
       " [24, 50, 0.91666666666666663],\n",
       " [24, 55, 0.91666666666666663],\n",
       " [24, 60, 0.91666666666666663],\n",
       " [25, 5, 0.90000000000000002],\n",
       " [25, 10, 0.90000000000000002],\n",
       " [25, 15, 0.90000000000000002],\n",
       " [25, 20, 0.90000000000000002],\n",
       " [25, 25, 0.90000000000000002],\n",
       " [25, 30, 0.90000000000000002],\n",
       " [25, 35, 0.90000000000000002],\n",
       " [25, 40, 0.90000000000000002],\n",
       " [25, 45, 0.90000000000000002],\n",
       " [25, 50, 0.90000000000000002],\n",
       " [25, 55, 0.90000000000000002],\n",
       " [25, 60, 0.90000000000000002],\n",
       " [26, 5, 0.90000000000000002],\n",
       " [26, 10, 0.90000000000000002],\n",
       " [26, 15, 0.90000000000000002],\n",
       " [26, 20, 0.90000000000000002],\n",
       " [26, 25, 0.90000000000000002],\n",
       " [26, 30, 0.90000000000000002],\n",
       " [26, 35, 0.90000000000000002],\n",
       " [26, 40, 0.90000000000000002],\n",
       " [26, 45, 0.90000000000000002],\n",
       " [26, 50, 0.90000000000000002],\n",
       " [26, 55, 0.90000000000000002],\n",
       " [26, 60, 0.90000000000000002],\n",
       " [27, 5, 0.8666666666666667],\n",
       " [27, 10, 0.8666666666666667],\n",
       " [27, 15, 0.8666666666666667],\n",
       " [27, 20, 0.8666666666666667],\n",
       " [27, 25, 0.8666666666666667],\n",
       " [27, 30, 0.8666666666666667],\n",
       " [27, 35, 0.8666666666666667],\n",
       " [27, 40, 0.8666666666666667],\n",
       " [27, 45, 0.8666666666666667],\n",
       " [27, 50, 0.8666666666666667],\n",
       " [27, 55, 0.8666666666666667],\n",
       " [27, 60, 0.8666666666666667],\n",
       " [28, 5, 0.8833333333333333],\n",
       " [28, 10, 0.8833333333333333],\n",
       " [28, 15, 0.8833333333333333],\n",
       " [28, 20, 0.8833333333333333],\n",
       " [28, 25, 0.8833333333333333],\n",
       " [28, 30, 0.8833333333333333],\n",
       " [28, 35, 0.8833333333333333],\n",
       " [28, 40, 0.8833333333333333],\n",
       " [28, 45, 0.8833333333333333],\n",
       " [28, 50, 0.8833333333333333],\n",
       " [28, 55, 0.8833333333333333],\n",
       " [28, 60, 0.8833333333333333],\n",
       " [29, 5, 0.8666666666666667],\n",
       " [29, 10, 0.8666666666666667],\n",
       " [29, 15, 0.8666666666666667],\n",
       " [29, 20, 0.8666666666666667],\n",
       " [29, 25, 0.8666666666666667],\n",
       " [29, 30, 0.8666666666666667],\n",
       " [29, 35, 0.8666666666666667],\n",
       " [29, 40, 0.8666666666666667],\n",
       " [29, 45, 0.8666666666666667],\n",
       " [29, 50, 0.8666666666666667],\n",
       " [29, 55, 0.8666666666666667],\n",
       " [29, 60, 0.8666666666666667],\n",
       " [30, 5, 0.8833333333333333],\n",
       " [30, 10, 0.8833333333333333],\n",
       " [30, 15, 0.8833333333333333],\n",
       " [30, 20, 0.8833333333333333],\n",
       " [30, 25, 0.8833333333333333],\n",
       " [30, 30, 0.8833333333333333],\n",
       " [30, 35, 0.8833333333333333],\n",
       " [30, 40, 0.8833333333333333],\n",
       " [30, 45, 0.8833333333333333],\n",
       " [30, 50, 0.8833333333333333],\n",
       " [30, 55, 0.8833333333333333],\n",
       " [30, 60, 0.8833333333333333],\n",
       " [31, 5, 0.8666666666666667],\n",
       " [31, 10, 0.8666666666666667],\n",
       " [31, 15, 0.8666666666666667],\n",
       " [31, 20, 0.8666666666666667],\n",
       " [31, 25, 0.8666666666666667],\n",
       " [31, 30, 0.8666666666666667],\n",
       " [31, 35, 0.8666666666666667],\n",
       " [31, 40, 0.8666666666666667],\n",
       " [31, 45, 0.8666666666666667],\n",
       " [31, 50, 0.8666666666666667],\n",
       " [31, 55, 0.8666666666666667],\n",
       " [31, 60, 0.8666666666666667],\n",
       " [32, 5, 0.8833333333333333],\n",
       " [32, 10, 0.8833333333333333],\n",
       " [32, 15, 0.8833333333333333],\n",
       " [32, 20, 0.8833333333333333],\n",
       " [32, 25, 0.8833333333333333],\n",
       " [32, 30, 0.8833333333333333],\n",
       " [32, 35, 0.8833333333333333],\n",
       " [32, 40, 0.8833333333333333],\n",
       " [32, 45, 0.8833333333333333],\n",
       " [32, 50, 0.8833333333333333],\n",
       " [32, 55, 0.8833333333333333],\n",
       " [32, 60, 0.8833333333333333],\n",
       " [33, 5, 0.84999999999999998],\n",
       " [33, 10, 0.84999999999999998],\n",
       " [33, 15, 0.84999999999999998],\n",
       " [33, 20, 0.84999999999999998],\n",
       " ...]"
      ]
     },
     "execution_count": 85,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "accuracies"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 86,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "final_accuracy_kneigh = []\n",
    "\n",
    "for i in neigh_values:\n",
    "    for l in leaf_values:\n",
    "        count = 0\n",
    "        total = 0\n",
    "        for a in accuracies:\n",
    "            if a[0] == i and a[1] == l:\n",
    "                total = total + a[2]\n",
    "                count += 1\n",
    "                if count == splits_to_do:\n",
    "                    total = total / splits_to_do\n",
    "                    final_accuracy_kneigh.append([i, l, total])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 87,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[[0, 5, 0.92333333333333323],\n",
       " [0, 10, 0.91999999999999993],\n",
       " [0, 15, 0.91999999999999993],\n",
       " [0, 20, 0.91999999999999993],\n",
       " [0, 25, 0.91999999999999993],\n",
       " [0, 30, 0.91999999999999993],\n",
       " [0, 35, 0.91999999999999993],\n",
       " [0, 40, 0.91999999999999993],\n",
       " [0, 45, 0.91999999999999993],\n",
       " [0, 50, 0.91999999999999993],\n",
       " [0, 55, 0.91999999999999993],\n",
       " [0, 60, 0.91999999999999993],\n",
       " [1, 5, 0.89333333333333331],\n",
       " [1, 10, 0.89333333333333331],\n",
       " [1, 15, 0.89333333333333331],\n",
       " [1, 20, 0.89333333333333331],\n",
       " [1, 25, 0.89333333333333331],\n",
       " [1, 30, 0.89333333333333331],\n",
       " [1, 35, 0.89333333333333331],\n",
       " [1, 40, 0.89333333333333331],\n",
       " [1, 45, 0.89333333333333331],\n",
       " [1, 50, 0.89333333333333331],\n",
       " [1, 55, 0.89333333333333331],\n",
       " [1, 60, 0.89333333333333331],\n",
       " [2, 5, 0.91999999999999993],\n",
       " [2, 10, 0.91999999999999993],\n",
       " [2, 15, 0.91999999999999993],\n",
       " [2, 20, 0.91999999999999993],\n",
       " [2, 25, 0.91999999999999993],\n",
       " [2, 30, 0.91999999999999993],\n",
       " [2, 35, 0.91999999999999993],\n",
       " [2, 40, 0.91999999999999993],\n",
       " [2, 45, 0.91999999999999993],\n",
       " [2, 50, 0.91999999999999993],\n",
       " [2, 55, 0.91999999999999993],\n",
       " [2, 60, 0.91999999999999993],\n",
       " [3, 5, 0.90999999999999992],\n",
       " [3, 10, 0.91333333333333333],\n",
       " [3, 15, 0.91333333333333333],\n",
       " [3, 20, 0.91333333333333333],\n",
       " [3, 25, 0.91333333333333333],\n",
       " [3, 30, 0.90999999999999992],\n",
       " [3, 35, 0.90999999999999992],\n",
       " [3, 40, 0.90999999999999992],\n",
       " [3, 45, 0.90999999999999992],\n",
       " [3, 50, 0.90999999999999992],\n",
       " [3, 55, 0.90999999999999992],\n",
       " [3, 60, 0.90999999999999992],\n",
       " [4, 5, 0.91333333333333333],\n",
       " [4, 10, 0.91333333333333333],\n",
       " [4, 15, 0.91333333333333333],\n",
       " [4, 20, 0.91333333333333333],\n",
       " [4, 25, 0.91333333333333333],\n",
       " [4, 30, 0.91333333333333333],\n",
       " [4, 35, 0.91333333333333333],\n",
       " [4, 40, 0.91333333333333333],\n",
       " [4, 45, 0.91333333333333333],\n",
       " [4, 50, 0.91333333333333333],\n",
       " [4, 55, 0.91333333333333333],\n",
       " [4, 60, 0.91333333333333333],\n",
       " [5, 5, 0.91333333333333333],\n",
       " [5, 10, 0.91333333333333333],\n",
       " [5, 15, 0.90999999999999992],\n",
       " [5, 20, 0.90999999999999992],\n",
       " [5, 25, 0.90999999999999992],\n",
       " [5, 30, 0.91333333333333333],\n",
       " [5, 35, 0.91333333333333333],\n",
       " [5, 40, 0.91333333333333333],\n",
       " [5, 45, 0.91333333333333333],\n",
       " [5, 50, 0.91333333333333333],\n",
       " [5, 55, 0.91333333333333333],\n",
       " [5, 60, 0.91333333333333333],\n",
       " [6, 5, 0.90999999999999992],\n",
       " [6, 10, 0.90999999999999992],\n",
       " [6, 15, 0.90999999999999992],\n",
       " [6, 20, 0.90999999999999992],\n",
       " [6, 25, 0.90999999999999992],\n",
       " [6, 30, 0.90999999999999992],\n",
       " [6, 35, 0.90999999999999992],\n",
       " [6, 40, 0.90999999999999992],\n",
       " [6, 45, 0.90999999999999992],\n",
       " [6, 50, 0.90999999999999992],\n",
       " [6, 55, 0.90999999999999992],\n",
       " [6, 60, 0.90999999999999992],\n",
       " [7, 5, 0.90000000000000002],\n",
       " [7, 10, 0.90000000000000002],\n",
       " [7, 15, 0.90000000000000002],\n",
       " [7, 20, 0.90000000000000002],\n",
       " [7, 25, 0.90000000000000002],\n",
       " [7, 30, 0.90000000000000002],\n",
       " [7, 35, 0.90000000000000002],\n",
       " [7, 40, 0.90000000000000002],\n",
       " [7, 45, 0.90000000000000002],\n",
       " [7, 50, 0.90000000000000002],\n",
       " [7, 55, 0.90000000000000002],\n",
       " [7, 60, 0.90000000000000002],\n",
       " [8, 5, 0.90666666666666662],\n",
       " [8, 10, 0.90666666666666662],\n",
       " [8, 15, 0.90666666666666662],\n",
       " [8, 20, 0.90666666666666662],\n",
       " [8, 25, 0.90666666666666662],\n",
       " [8, 30, 0.90666666666666662],\n",
       " [8, 35, 0.90666666666666662],\n",
       " [8, 40, 0.90666666666666662],\n",
       " [8, 45, 0.90666666666666662],\n",
       " [8, 50, 0.90666666666666662],\n",
       " [8, 55, 0.90666666666666662],\n",
       " [8, 60, 0.90333333333333332],\n",
       " [9, 5, 0.89000000000000001],\n",
       " [9, 10, 0.89000000000000001],\n",
       " [9, 15, 0.89000000000000001],\n",
       " [9, 20, 0.89000000000000001],\n",
       " [9, 25, 0.89000000000000001],\n",
       " [9, 30, 0.89000000000000001],\n",
       " [9, 35, 0.89000000000000001],\n",
       " [9, 40, 0.89000000000000001],\n",
       " [9, 45, 0.89000000000000001],\n",
       " [9, 50, 0.89000000000000001],\n",
       " [9, 55, 0.89000000000000001],\n",
       " [9, 60, 0.89000000000000001],\n",
       " [10, 5, 0.8933333333333332],\n",
       " [10, 10, 0.8933333333333332],\n",
       " [10, 15, 0.8933333333333332],\n",
       " [10, 20, 0.8933333333333332],\n",
       " [10, 25, 0.8933333333333332],\n",
       " [10, 30, 0.8933333333333332],\n",
       " [10, 35, 0.8933333333333332],\n",
       " [10, 40, 0.8933333333333332],\n",
       " [10, 45, 0.8933333333333332],\n",
       " [10, 50, 0.8933333333333332],\n",
       " [10, 55, 0.8933333333333332],\n",
       " [10, 60, 0.8933333333333332],\n",
       " [11, 5, 0.90000000000000002],\n",
       " [11, 10, 0.90000000000000002],\n",
       " [11, 15, 0.90000000000000002],\n",
       " [11, 20, 0.90000000000000002],\n",
       " [11, 25, 0.90000000000000002],\n",
       " [11, 30, 0.90000000000000002],\n",
       " [11, 35, 0.90000000000000002],\n",
       " [11, 40, 0.90000000000000002],\n",
       " [11, 45, 0.90000000000000002],\n",
       " [11, 50, 0.90000000000000002],\n",
       " [11, 55, 0.90000000000000002],\n",
       " [11, 60, 0.90000000000000002],\n",
       " [12, 5, 0.90333333333333332],\n",
       " [12, 10, 0.90333333333333332],\n",
       " [12, 15, 0.90333333333333332],\n",
       " [12, 20, 0.90333333333333332],\n",
       " [12, 25, 0.90333333333333332],\n",
       " [12, 30, 0.90333333333333332],\n",
       " [12, 35, 0.90333333333333332],\n",
       " [12, 40, 0.90333333333333332],\n",
       " [12, 45, 0.90333333333333332],\n",
       " [12, 50, 0.90333333333333332],\n",
       " [12, 55, 0.90333333333333332],\n",
       " [12, 60, 0.90333333333333332],\n",
       " [13, 5, 0.89666666666666672],\n",
       " [13, 10, 0.89666666666666672],\n",
       " [13, 15, 0.89666666666666672],\n",
       " [13, 20, 0.89666666666666672],\n",
       " [13, 25, 0.89666666666666672],\n",
       " [13, 30, 0.89666666666666672],\n",
       " [13, 35, 0.89666666666666672],\n",
       " [13, 40, 0.89666666666666672],\n",
       " [13, 45, 0.89666666666666672],\n",
       " [13, 50, 0.89666666666666672],\n",
       " [13, 55, 0.89666666666666672],\n",
       " [13, 60, 0.89666666666666672],\n",
       " [14, 5, 0.90999999999999992],\n",
       " [14, 10, 0.90999999999999992],\n",
       " [14, 15, 0.90999999999999992],\n",
       " [14, 20, 0.90999999999999992],\n",
       " [14, 25, 0.90999999999999992],\n",
       " [14, 30, 0.90999999999999992],\n",
       " [14, 35, 0.90999999999999992],\n",
       " [14, 40, 0.90999999999999992],\n",
       " [14, 45, 0.90999999999999992],\n",
       " [14, 50, 0.90999999999999992],\n",
       " [14, 55, 0.90999999999999992],\n",
       " [14, 60, 0.90999999999999992],\n",
       " [15, 5, 0.90000000000000002],\n",
       " [15, 10, 0.90000000000000002],\n",
       " [15, 15, 0.90000000000000002],\n",
       " [15, 20, 0.90000000000000002],\n",
       " [15, 25, 0.90000000000000002],\n",
       " [15, 30, 0.90000000000000002],\n",
       " [15, 35, 0.90000000000000002],\n",
       " [15, 40, 0.90000000000000002],\n",
       " [15, 45, 0.90000000000000002],\n",
       " [15, 50, 0.90000000000000002],\n",
       " [15, 55, 0.90000000000000002],\n",
       " [15, 60, 0.90000000000000002],\n",
       " [16, 5, 0.87333333333333329],\n",
       " [16, 10, 0.87333333333333329],\n",
       " [16, 15, 0.87333333333333329],\n",
       " [16, 20, 0.87333333333333329],\n",
       " [16, 25, 0.87333333333333329],\n",
       " [16, 30, 0.87333333333333329],\n",
       " [16, 35, 0.87333333333333329],\n",
       " [16, 40, 0.87333333333333329],\n",
       " [16, 45, 0.87333333333333329],\n",
       " [16, 50, 0.87333333333333329],\n",
       " [16, 55, 0.87333333333333329],\n",
       " [16, 60, 0.87333333333333329],\n",
       " [17, 5, 0.89333333333333331],\n",
       " [17, 10, 0.89333333333333331],\n",
       " [17, 15, 0.89333333333333331],\n",
       " [17, 20, 0.89333333333333331],\n",
       " [17, 25, 0.89333333333333331],\n",
       " [17, 30, 0.89333333333333331],\n",
       " [17, 35, 0.89333333333333331],\n",
       " [17, 40, 0.89333333333333331],\n",
       " [17, 45, 0.89333333333333331],\n",
       " [17, 50, 0.89333333333333331],\n",
       " [17, 55, 0.89333333333333331],\n",
       " [17, 60, 0.89333333333333331],\n",
       " [18, 5, 0.89333333333333331],\n",
       " [18, 10, 0.89333333333333331],\n",
       " [18, 15, 0.89333333333333331],\n",
       " [18, 20, 0.89333333333333331],\n",
       " [18, 25, 0.89333333333333331],\n",
       " [18, 30, 0.89333333333333331],\n",
       " [18, 35, 0.89333333333333331],\n",
       " [18, 40, 0.89333333333333331],\n",
       " [18, 45, 0.89333333333333331],\n",
       " [18, 50, 0.89333333333333331],\n",
       " [18, 55, 0.89333333333333331],\n",
       " [18, 60, 0.89333333333333331],\n",
       " [19, 5, 0.89333333333333331],\n",
       " [19, 10, 0.89333333333333331],\n",
       " [19, 15, 0.89333333333333331],\n",
       " [19, 20, 0.89333333333333331],\n",
       " [19, 25, 0.89333333333333331],\n",
       " [19, 30, 0.89333333333333331],\n",
       " [19, 35, 0.89333333333333331],\n",
       " [19, 40, 0.89333333333333331],\n",
       " [19, 45, 0.89333333333333331],\n",
       " [19, 50, 0.89333333333333331],\n",
       " [19, 55, 0.89333333333333331],\n",
       " [19, 60, 0.89333333333333331],\n",
       " [20, 5, 0.88666666666666671],\n",
       " [20, 10, 0.88666666666666671],\n",
       " [20, 15, 0.88666666666666671],\n",
       " [20, 20, 0.88666666666666671],\n",
       " [20, 25, 0.88666666666666671],\n",
       " [20, 30, 0.88666666666666671],\n",
       " [20, 35, 0.88666666666666671],\n",
       " [20, 40, 0.88666666666666671],\n",
       " [20, 45, 0.88666666666666671],\n",
       " [20, 50, 0.88666666666666671],\n",
       " [20, 55, 0.88666666666666671],\n",
       " [20, 60, 0.88666666666666671],\n",
       " [21, 5, 0.89000000000000001],\n",
       " [21, 10, 0.89000000000000001],\n",
       " [21, 15, 0.89000000000000001],\n",
       " [21, 20, 0.89000000000000001],\n",
       " [21, 25, 0.89000000000000001],\n",
       " [21, 30, 0.89000000000000001],\n",
       " [21, 35, 0.89000000000000001],\n",
       " [21, 40, 0.89000000000000001],\n",
       " [21, 45, 0.89000000000000001],\n",
       " [21, 50, 0.89000000000000001],\n",
       " [21, 55, 0.89000000000000001],\n",
       " [21, 60, 0.89333333333333331],\n",
       " [22, 5, 0.89666666666666672],\n",
       " [22, 10, 0.89666666666666672],\n",
       " [22, 15, 0.89666666666666672],\n",
       " [22, 20, 0.89666666666666672],\n",
       " [22, 25, 0.89666666666666672],\n",
       " [22, 30, 0.89666666666666672],\n",
       " [22, 35, 0.89666666666666672],\n",
       " [22, 40, 0.89666666666666672],\n",
       " [22, 45, 0.89666666666666672],\n",
       " [22, 50, 0.89666666666666672],\n",
       " [22, 55, 0.89666666666666672],\n",
       " [22, 60, 0.89666666666666672],\n",
       " [23, 5, 0.89333333333333331],\n",
       " [23, 10, 0.89333333333333331],\n",
       " [23, 15, 0.89333333333333331],\n",
       " [23, 20, 0.89333333333333331],\n",
       " [23, 25, 0.89333333333333331],\n",
       " [23, 30, 0.89333333333333331],\n",
       " [23, 35, 0.89333333333333331],\n",
       " [23, 40, 0.89333333333333331],\n",
       " [23, 45, 0.89333333333333331],\n",
       " [23, 50, 0.89333333333333331],\n",
       " [23, 55, 0.89333333333333331],\n",
       " [23, 60, 0.89000000000000001],\n",
       " [24, 5, 0.88666666666666671],\n",
       " [24, 10, 0.88666666666666671],\n",
       " [24, 15, 0.88666666666666671],\n",
       " [24, 20, 0.88666666666666671],\n",
       " [24, 25, 0.88666666666666671],\n",
       " [24, 30, 0.88666666666666671],\n",
       " [24, 35, 0.88666666666666671],\n",
       " [24, 40, 0.88666666666666671],\n",
       " [24, 45, 0.88666666666666671],\n",
       " [24, 50, 0.88666666666666671],\n",
       " [24, 55, 0.88666666666666671],\n",
       " [24, 60, 0.88666666666666671],\n",
       " [25, 5, 0.89666666666666672],\n",
       " [25, 10, 0.89666666666666672],\n",
       " [25, 15, 0.89666666666666672],\n",
       " [25, 20, 0.89666666666666672],\n",
       " [25, 25, 0.89666666666666672],\n",
       " [25, 30, 0.89666666666666672],\n",
       " [25, 35, 0.89666666666666672],\n",
       " [25, 40, 0.89666666666666672],\n",
       " [25, 45, 0.89666666666666672],\n",
       " [25, 50, 0.89666666666666672],\n",
       " [25, 55, 0.89666666666666672],\n",
       " [25, 60, 0.89666666666666672],\n",
       " [26, 5, 0.88333333333333319],\n",
       " [26, 10, 0.88333333333333319],\n",
       " [26, 15, 0.88333333333333319],\n",
       " [26, 20, 0.88333333333333319],\n",
       " [26, 25, 0.88333333333333319],\n",
       " [26, 30, 0.88333333333333319],\n",
       " [26, 35, 0.88333333333333319],\n",
       " [26, 40, 0.88333333333333319],\n",
       " [26, 45, 0.88333333333333319],\n",
       " [26, 50, 0.88333333333333319],\n",
       " [26, 55, 0.88333333333333319],\n",
       " [26, 60, 0.88333333333333319],\n",
       " [27, 5, 0.87666666666666671],\n",
       " [27, 10, 0.87666666666666671],\n",
       " [27, 15, 0.87666666666666671],\n",
       " [27, 20, 0.87666666666666671],\n",
       " [27, 25, 0.87666666666666671],\n",
       " [27, 30, 0.87666666666666671],\n",
       " [27, 35, 0.87666666666666671],\n",
       " [27, 40, 0.87666666666666671],\n",
       " [27, 45, 0.87666666666666671],\n",
       " [27, 50, 0.87666666666666671],\n",
       " [27, 55, 0.87666666666666671],\n",
       " [27, 60, 0.87666666666666671],\n",
       " [28, 5, 0.87666666666666659],\n",
       " [28, 10, 0.87666666666666659],\n",
       " [28, 15, 0.87666666666666659],\n",
       " [28, 20, 0.87666666666666659],\n",
       " [28, 25, 0.87666666666666659],\n",
       " [28, 30, 0.87666666666666659],\n",
       " [28, 35, 0.87666666666666659],\n",
       " [28, 40, 0.87666666666666659],\n",
       " [28, 45, 0.87666666666666659],\n",
       " [28, 50, 0.87666666666666659],\n",
       " [28, 55, 0.87666666666666659],\n",
       " [28, 60, 0.87666666666666659],\n",
       " [29, 5, 0.87666666666666659],\n",
       " [29, 10, 0.87666666666666659],\n",
       " [29, 15, 0.87666666666666659],\n",
       " [29, 20, 0.87666666666666659],\n",
       " [29, 25, 0.87666666666666659],\n",
       " [29, 30, 0.87666666666666659],\n",
       " [29, 35, 0.87666666666666659],\n",
       " [29, 40, 0.87666666666666659],\n",
       " [29, 45, 0.87666666666666659],\n",
       " [29, 50, 0.87666666666666659],\n",
       " [29, 55, 0.87666666666666659],\n",
       " [29, 60, 0.87666666666666659],\n",
       " [30, 5, 0.86666666666666659],\n",
       " [30, 10, 0.86666666666666659],\n",
       " [30, 15, 0.86666666666666659],\n",
       " [30, 20, 0.86666666666666659],\n",
       " [30, 25, 0.86666666666666659],\n",
       " [30, 30, 0.86666666666666659],\n",
       " [30, 35, 0.86666666666666659],\n",
       " [30, 40, 0.86666666666666659],\n",
       " [30, 45, 0.86666666666666659],\n",
       " [30, 50, 0.86666666666666659],\n",
       " [30, 55, 0.86666666666666659],\n",
       " [30, 60, 0.86666666666666659],\n",
       " [31, 5, 0.86333333333333329],\n",
       " [31, 10, 0.86333333333333329],\n",
       " [31, 15, 0.86333333333333329],\n",
       " [31, 20, 0.86333333333333329],\n",
       " [31, 25, 0.86333333333333329],\n",
       " [31, 30, 0.86333333333333329],\n",
       " [31, 35, 0.86333333333333329],\n",
       " [31, 40, 0.86333333333333329],\n",
       " [31, 45, 0.86333333333333329],\n",
       " [31, 50, 0.86333333333333329],\n",
       " [31, 55, 0.86333333333333329],\n",
       " [31, 60, 0.86333333333333329],\n",
       " [32, 5, 0.86666666666666659],\n",
       " [32, 10, 0.85999999999999999],\n",
       " [32, 15, 0.86333333333333329],\n",
       " [32, 20, 0.86333333333333329],\n",
       " [32, 25, 0.86333333333333329],\n",
       " [32, 30, 0.86333333333333329],\n",
       " [32, 35, 0.86333333333333329],\n",
       " [32, 40, 0.86333333333333329],\n",
       " [32, 45, 0.86333333333333329],\n",
       " [32, 50, 0.86333333333333329],\n",
       " [32, 55, 0.86333333333333329],\n",
       " [32, 60, 0.85999999999999999],\n",
       " [33, 5, 0.86333333333333329],\n",
       " [33, 10, 0.86333333333333329],\n",
       " [33, 15, 0.86333333333333329],\n",
       " [33, 20, 0.86333333333333329],\n",
       " [33, 25, 0.86333333333333329],\n",
       " [33, 30, 0.86333333333333329],\n",
       " [33, 35, 0.86333333333333329],\n",
       " [33, 40, 0.86333333333333329],\n",
       " [33, 45, 0.86333333333333329],\n",
       " [33, 50, 0.86333333333333329],\n",
       " [33, 55, 0.86333333333333329],\n",
       " [33, 60, 0.86333333333333329],\n",
       " [34, 5, 0.84999999999999998],\n",
       " [34, 10, 0.84999999999999998],\n",
       " [34, 15, 0.84999999999999998],\n",
       " [34, 20, 0.84999999999999998],\n",
       " [34, 25, 0.84999999999999998],\n",
       " [34, 30, 0.84999999999999998],\n",
       " [34, 35, 0.84999999999999998],\n",
       " [34, 40, 0.84999999999999998],\n",
       " [34, 45, 0.84999999999999998],\n",
       " [34, 50, 0.84999999999999998],\n",
       " [34, 55, 0.84999999999999998],\n",
       " [34, 60, 0.84999999999999998],\n",
       " [35, 5, 0.86333333333333329],\n",
       " [35, 10, 0.86333333333333329],\n",
       " [35, 15, 0.86333333333333329],\n",
       " [35, 20, 0.86333333333333329],\n",
       " [35, 25, 0.86333333333333329],\n",
       " [35, 30, 0.86333333333333329],\n",
       " [35, 35, 0.86333333333333329],\n",
       " [35, 40, 0.86333333333333329],\n",
       " [35, 45, 0.86333333333333329],\n",
       " [35, 50, 0.86333333333333329],\n",
       " [35, 55, 0.86333333333333329],\n",
       " [35, 60, 0.86333333333333329],\n",
       " [36, 5, 0.84666666666666668],\n",
       " [36, 10, 0.84666666666666668],\n",
       " [36, 15, 0.84999999999999998],\n",
       " [36, 20, 0.84999999999999998],\n",
       " [36, 25, 0.84999999999999998],\n",
       " [36, 30, 0.84333333333333338],\n",
       " [36, 35, 0.84333333333333338],\n",
       " [36, 40, 0.84333333333333338],\n",
       " [36, 45, 0.84333333333333338],\n",
       " [36, 50, 0.84333333333333338],\n",
       " [36, 55, 0.84333333333333338],\n",
       " [36, 60, 0.84666666666666668],\n",
       " [37, 5, 0.85333333333333328],\n",
       " [37, 10, 0.85333333333333328],\n",
       " [37, 15, 0.85333333333333328],\n",
       " [37, 20, 0.85333333333333328],\n",
       " [37, 25, 0.85333333333333328],\n",
       " [37, 30, 0.85333333333333328],\n",
       " [37, 35, 0.85333333333333328],\n",
       " [37, 40, 0.85333333333333328],\n",
       " [37, 45, 0.85333333333333328],\n",
       " [37, 50, 0.85333333333333328],\n",
       " [37, 55, 0.85333333333333328],\n",
       " [37, 60, 0.85333333333333328],\n",
       " [38, 5, 0.83000000000000007],\n",
       " [38, 10, 0.83000000000000007],\n",
       " [38, 15, 0.83000000000000007],\n",
       " [38, 20, 0.83000000000000007],\n",
       " [38, 25, 0.83000000000000007],\n",
       " [38, 30, 0.83000000000000007],\n",
       " [38, 35, 0.83000000000000007],\n",
       " [38, 40, 0.83000000000000007],\n",
       " [38, 45, 0.83000000000000007],\n",
       " [38, 50, 0.83000000000000007],\n",
       " [38, 55, 0.83000000000000007],\n",
       " [38, 60, 0.82666666666666655],\n",
       " [39, 5, 0.83666666666666667],\n",
       " [39, 10, 0.83666666666666667],\n",
       " [39, 15, 0.83666666666666667],\n",
       " [39, 20, 0.83666666666666667],\n",
       " [39, 25, 0.83666666666666667],\n",
       " [39, 30, 0.83666666666666667],\n",
       " [39, 35, 0.83666666666666667],\n",
       " [39, 40, 0.83666666666666667],\n",
       " [39, 45, 0.83666666666666667],\n",
       " [39, 50, 0.83666666666666667],\n",
       " [39, 55, 0.83666666666666667],\n",
       " [39, 60, 0.83666666666666667],\n",
       " [40, 5, 0.81999999999999995],\n",
       " [40, 10, 0.81666666666666676],\n",
       " [40, 15, 0.81333333333333324],\n",
       " [40, 20, 0.81333333333333324],\n",
       " [40, 25, 0.81333333333333324],\n",
       " [40, 30, 0.81666666666666676],\n",
       " [40, 35, 0.81666666666666676],\n",
       " [40, 40, 0.81666666666666676],\n",
       " [40, 45, 0.81666666666666676],\n",
       " [40, 50, 0.81666666666666676],\n",
       " [40, 55, 0.81666666666666676],\n",
       " [40, 60, 0.81666666666666676],\n",
       " [41, 5, 0.80666666666666664],\n",
       " [41, 10, 0.80666666666666664],\n",
       " [41, 15, 0.80666666666666664],\n",
       " [41, 20, 0.80666666666666664],\n",
       " [41, 25, 0.80666666666666664],\n",
       " [41, 30, 0.80666666666666664],\n",
       " [41, 35, 0.80666666666666664],\n",
       " [41, 40, 0.80666666666666664],\n",
       " [41, 45, 0.80666666666666664],\n",
       " [41, 50, 0.80666666666666664],\n",
       " [41, 55, 0.80666666666666664],\n",
       " [41, 60, 0.80666666666666664],\n",
       " [42, 5, 0.80999999999999994],\n",
       " [42, 10, 0.80666666666666664],\n",
       " [42, 15, 0.80999999999999994],\n",
       " [42, 20, 0.80999999999999994],\n",
       " [42, 25, 0.80999999999999994],\n",
       " [42, 30, 0.80666666666666664],\n",
       " [42, 35, 0.80666666666666664],\n",
       " [42, 40, 0.80666666666666664],\n",
       " [42, 45, 0.80666666666666664],\n",
       " [42, 50, 0.80666666666666664],\n",
       " [42, 55, 0.80666666666666664],\n",
       " [42, 60, 0.80666666666666664],\n",
       " [43, 5, 0.80666666666666664],\n",
       " [43, 10, 0.80666666666666664],\n",
       " [43, 15, 0.80666666666666664],\n",
       " [43, 20, 0.80666666666666664],\n",
       " [43, 25, 0.80666666666666664],\n",
       " [43, 30, 0.80666666666666664],\n",
       " [43, 35, 0.80666666666666664],\n",
       " [43, 40, 0.80666666666666664],\n",
       " [43, 45, 0.80666666666666664],\n",
       " [43, 50, 0.80666666666666664],\n",
       " [43, 55, 0.80666666666666664],\n",
       " [43, 60, 0.80666666666666664],\n",
       " [44, 5, 0.79000000000000004],\n",
       " [44, 10, 0.79000000000000004],\n",
       " [44, 15, 0.79000000000000004],\n",
       " [44, 20, 0.79000000000000004],\n",
       " [44, 25, 0.79000000000000004],\n",
       " [44, 30, 0.79000000000000004],\n",
       " [44, 35, 0.79000000000000004],\n",
       " [44, 40, 0.79000000000000004],\n",
       " [44, 45, 0.79000000000000004],\n",
       " [44, 50, 0.79000000000000004],\n",
       " [44, 55, 0.79000000000000004],\n",
       " [44, 60, 0.79000000000000004],\n",
       " [45, 5, 0.78999999999999992],\n",
       " [45, 10, 0.78999999999999992],\n",
       " [45, 15, 0.78999999999999992],\n",
       " [45, 20, 0.78999999999999992],\n",
       " [45, 25, 0.78999999999999992],\n",
       " [45, 30, 0.78999999999999992],\n",
       " [45, 35, 0.78999999999999992],\n",
       " [45, 40, 0.78999999999999992],\n",
       " [45, 45, 0.78999999999999992],\n",
       " [45, 50, 0.78999999999999992],\n",
       " [45, 55, 0.78999999999999992],\n",
       " [45, 60, 0.78999999999999992],\n",
       " [46, 5, 0.77000000000000002],\n",
       " [46, 10, 0.77000000000000002],\n",
       " [46, 15, 0.77000000000000002],\n",
       " [46, 20, 0.77000000000000002],\n",
       " [46, 25, 0.77000000000000002],\n",
       " [46, 30, 0.77000000000000002],\n",
       " [46, 35, 0.77000000000000002],\n",
       " [46, 40, 0.77000000000000002],\n",
       " [46, 45, 0.77000000000000002],\n",
       " [46, 50, 0.77000000000000002],\n",
       " [46, 55, 0.77000000000000002],\n",
       " [46, 60, 0.77000000000000002],\n",
       " [47, 5, 0.77000000000000002],\n",
       " [47, 10, 0.77333333333333332],\n",
       " [47, 15, 0.77333333333333332],\n",
       " [47, 20, 0.77333333333333332],\n",
       " [47, 25, 0.77333333333333332],\n",
       " [47, 30, 0.77000000000000002],\n",
       " [47, 35, 0.77000000000000002],\n",
       " [47, 40, 0.77000000000000002],\n",
       " [47, 45, 0.77000000000000002],\n",
       " [47, 50, 0.77000000000000002],\n",
       " [47, 55, 0.77000000000000002],\n",
       " [47, 60, 0.77000000000000002],\n",
       " [48, 5, 0.7533333333333333],\n",
       " [48, 10, 0.75],\n",
       " [48, 15, 0.7533333333333333],\n",
       " [48, 20, 0.7533333333333333],\n",
       " [48, 25, 0.7533333333333333],\n",
       " [48, 30, 0.75],\n",
       " [48, 35, 0.75],\n",
       " [48, 40, 0.75],\n",
       " [48, 45, 0.75],\n",
       " [48, 50, 0.75],\n",
       " [48, 55, 0.75],\n",
       " [48, 60, 0.75],\n",
       " [49, 5, 0.75],\n",
       " [49, 10, 0.75],\n",
       " [49, 15, 0.75],\n",
       " [49, 20, 0.75],\n",
       " [49, 25, 0.75],\n",
       " [49, 30, 0.75],\n",
       " [49, 35, 0.75],\n",
       " [49, 40, 0.75],\n",
       " [49, 45, 0.75],\n",
       " [49, 50, 0.75],\n",
       " [49, 55, 0.75],\n",
       " [49, 60, 0.75]]"
      ]
     },
     "execution_count": 87,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "final_accuracy_kneigh"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 88,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "top_accuracy_kneigh = []\n",
    "\n",
    "for f in range(len(final_accuracy_kneigh)):\n",
    "    top_accuracy_kneigh.append(final_accuracy_kneigh[f][2])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 90,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "top_accuracy_kneigh = max(top_accuracy_kneigh)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 91,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.92333333333333323"
      ]
     },
     "execution_count": 91,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "top_accuracy_kneigh"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 93,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "report.append(['KNeighbors',top_accuracy_kneigh,run_model_kneighbors(training=points, training_labels=labels, validation_training=points_test, validation_labels=labels_test, s_leaf=5, s_neighbors=1)])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 94,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[['linear', 0.59000000000000008, 0.58999999999999997],\n",
       " ['poly', 0.66666666666666663, 0.67500000000000004],\n",
       " ['rbf', 0.94333333333333336, 0.95999999999999996],\n",
       " ['logistic', 0.59000000000000008, 0.58999999999999997],\n",
       " ['KNeighbors', 0.92333333333333323, 0.93500000000000005]]"
      ]
     },
     "execution_count": 94,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "report"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 95,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "depth_values = list(range(50))\n",
    "min_samples_values = list(range(10))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 108,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "0it [00:00, ?it/s]\n",
      "  0%|          | 0/50 [00:00<?, ?it/s]\u001b[A\n",
      " 30%|███       | 15/50 [00:00<00:00, 126.16it/s]\u001b[A\n",
      " 42%|████▏     | 21/50 [00:00<00:00, 93.88it/s] \u001b[A\n",
      " 64%|██████▍   | 32/50 [00:00<00:00, 96.65it/s]\u001b[A\n",
      " 78%|███████▊  | 39/50 [00:00<00:00, 58.63it/s]\u001b[A\n",
      " 92%|█████████▏| 46/50 [00:00<00:00, 61.22it/s]\u001b[A\n",
      "1it [00:00,  1.39it/s] [00:00<00:00, 69.69it/s]\u001b[A\n",
      "  0%|          | 0/50 [00:00<?, ?it/s]\u001b[A\n",
      " 12%|█▏        | 6/50 [00:00<00:00, 54.78it/s]\u001b[A\n",
      " 24%|██▍       | 12/50 [00:00<00:00, 55.10it/s]\u001b[A\n",
      " 42%|████▏     | 21/50 [00:00<00:00, 60.58it/s]\u001b[A\n",
      " 54%|█████▍    | 27/50 [00:00<00:00, 58.04it/s]\u001b[A\n",
      " 64%|██████▍   | 32/50 [00:00<00:00, 51.66it/s]\u001b[A\n",
      " 76%|███████▌  | 38/50 [00:00<00:00, 53.45it/s]\u001b[A\n",
      " 86%|████████▌ | 43/50 [00:00<00:00, 52.08it/s]\u001b[A\n",
      "100%|██████████| 50/50 [00:00<00:00, 54.25it/s]\u001b[A\n",
      "2it [00:01,  1.30it/s]\n",
      "  0%|          | 0/50 [00:00<?, ?it/s]\u001b[A\n",
      " 22%|██▏       | 11/50 [00:00<00:00, 101.91it/s]\u001b[A\n",
      " 42%|████▏     | 21/50 [00:00<00:00, 99.62it/s] \u001b[A\n",
      " 54%|█████▍    | 27/50 [00:00<00:00, 81.31it/s]\u001b[A\n",
      " 72%|███████▏  | 36/50 [00:00<00:00, 83.10it/s]\u001b[A\n",
      " 86%|████████▌ | 43/50 [00:00<00:00, 76.42it/s]\u001b[A\n",
      "3it [00:02,  1.38it/s] [00:00<00:00, 80.61it/s]\u001b[A\n",
      "  0%|          | 0/50 [00:00<?, ?it/s]\u001b[A\n",
      " 14%|█▍        | 7/50 [00:00<00:00, 57.91it/s]\u001b[A\n",
      " 20%|██        | 10/50 [00:00<00:00, 40.77it/s]\u001b[A\n",
      " 28%|██▊       | 14/50 [00:00<00:00, 36.25it/s]\u001b[A\n",
      " 36%|███▌      | 18/50 [00:00<00:00, 37.10it/s]\u001b[A\n",
      " 52%|█████▏    | 26/50 [00:00<00:00, 42.73it/s]\u001b[A\n",
      " 66%|██████▌   | 33/50 [00:00<00:00, 47.98it/s]\u001b[A\n",
      " 78%|███████▊  | 39/50 [00:00<00:00, 50.54it/s]\u001b[A\n",
      " 94%|█████████▍| 47/50 [00:00<00:00, 56.76it/s]\u001b[A\n",
      "4it [00:03,  1.25it/s] [00:00<00:00, 52.14it/s]\u001b[A\n",
      "  0%|          | 0/50 [00:00<?, ?it/s]\u001b[A\n",
      " 14%|█▍        | 7/50 [00:00<00:00, 64.04it/s]\u001b[A\n",
      " 28%|██▊       | 14/50 [00:00<00:00, 63.09it/s]\u001b[A\n",
      " 36%|███▌      | 18/50 [00:00<00:00, 48.47it/s]\u001b[A\n",
      " 50%|█████     | 25/50 [00:00<00:00, 52.57it/s]\u001b[A\n",
      " 66%|██████▌   | 33/50 [00:00<00:00, 56.88it/s]\u001b[A\n",
      " 78%|███████▊  | 39/50 [00:00<00:00, 50.62it/s]\u001b[A\n",
      " 88%|████████▊ | 44/50 [00:00<00:00, 50.20it/s]\u001b[A\n",
      " 98%|█████████▊| 49/50 [00:00<00:00, 49.92it/s]\u001b[A\n",
      "5it [00:04,  1.19it/s] [00:00<00:00, 53.13it/s]\u001b[A\n"
     ]
    }
   ],
   "source": [
    "accuracies = []\n",
    "for train_index, test_index in tqdm(kf.split(X)):\n",
    "    for i in tqdm(depth_values):\n",
    "        for s in min_samples_values:\n",
    "            temp_score = run_model_dtree(s_depth=i+1, s_split=s+2, training=X_train, training_labels=y_train, validation_training=X_test, validation_labels=y_test)\n",
    "            accuracies.append([i,s,temp_score])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 109,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[[0, 0, 0.48333333333333334],\n",
       " [0, 1, 0.48333333333333334],\n",
       " [0, 2, 0.48333333333333334],\n",
       " [0, 3, 0.48333333333333334],\n",
       " [0, 4, 0.48333333333333334],\n",
       " [0, 5, 0.48333333333333334],\n",
       " [0, 6, 0.48333333333333334],\n",
       " [0, 7, 0.48333333333333334],\n",
       " [0, 8, 0.48333333333333334],\n",
       " [0, 9, 0.48333333333333334],\n",
       " [1, 0, 0.59999999999999998],\n",
       " [1, 1, 0.59999999999999998],\n",
       " [1, 2, 0.59999999999999998],\n",
       " [1, 3, 0.59999999999999998],\n",
       " [1, 4, 0.59999999999999998],\n",
       " [1, 5, 0.59999999999999998],\n",
       " [1, 6, 0.59999999999999998],\n",
       " [1, 7, 0.59999999999999998],\n",
       " [1, 8, 0.59999999999999998],\n",
       " [1, 9, 0.59999999999999998],\n",
       " [2, 0, 0.73333333333333328],\n",
       " [2, 1, 0.73333333333333328],\n",
       " [2, 2, 0.73333333333333328],\n",
       " [2, 3, 0.73333333333333328],\n",
       " [2, 4, 0.73333333333333328],\n",
       " [2, 5, 0.73333333333333328],\n",
       " [2, 6, 0.73333333333333328],\n",
       " [2, 7, 0.73333333333333328],\n",
       " [2, 8, 0.73333333333333328],\n",
       " [2, 9, 0.73333333333333328],\n",
       " [3, 0, 1.0],\n",
       " [3, 1, 1.0],\n",
       " [3, 2, 1.0],\n",
       " [3, 3, 1.0],\n",
       " [3, 4, 1.0],\n",
       " [3, 5, 1.0],\n",
       " [3, 6, 1.0],\n",
       " [3, 7, 1.0],\n",
       " [3, 8, 1.0],\n",
       " [3, 9, 1.0],\n",
       " [4, 0, 1.0],\n",
       " [4, 1, 1.0],\n",
       " [4, 2, 1.0],\n",
       " [4, 3, 1.0],\n",
       " [4, 4, 1.0],\n",
       " [4, 5, 1.0],\n",
       " [4, 6, 1.0],\n",
       " [4, 7, 1.0],\n",
       " [4, 8, 1.0],\n",
       " [4, 9, 1.0],\n",
       " [5, 0, 1.0],\n",
       " [5, 1, 1.0],\n",
       " [5, 2, 1.0],\n",
       " [5, 3, 1.0],\n",
       " [5, 4, 1.0],\n",
       " [5, 5, 1.0],\n",
       " [5, 6, 1.0],\n",
       " [5, 7, 1.0],\n",
       " [5, 8, 1.0],\n",
       " [5, 9, 1.0],\n",
       " [6, 0, 1.0],\n",
       " [6, 1, 1.0],\n",
       " [6, 2, 1.0],\n",
       " [6, 3, 1.0],\n",
       " [6, 4, 1.0],\n",
       " [6, 5, 1.0],\n",
       " [6, 6, 1.0],\n",
       " [6, 7, 1.0],\n",
       " [6, 8, 1.0],\n",
       " [6, 9, 1.0],\n",
       " [7, 0, 1.0],\n",
       " [7, 1, 1.0],\n",
       " [7, 2, 1.0],\n",
       " [7, 3, 1.0],\n",
       " [7, 4, 1.0],\n",
       " [7, 5, 1.0],\n",
       " [7, 6, 1.0],\n",
       " [7, 7, 1.0],\n",
       " [7, 8, 1.0],\n",
       " [7, 9, 1.0],\n",
       " [8, 0, 1.0],\n",
       " [8, 1, 1.0],\n",
       " [8, 2, 1.0],\n",
       " [8, 3, 1.0],\n",
       " [8, 4, 1.0],\n",
       " [8, 5, 1.0],\n",
       " [8, 6, 1.0],\n",
       " [8, 7, 1.0],\n",
       " [8, 8, 1.0],\n",
       " [8, 9, 1.0],\n",
       " [9, 0, 1.0],\n",
       " [9, 1, 1.0],\n",
       " [9, 2, 1.0],\n",
       " [9, 3, 1.0],\n",
       " [9, 4, 1.0],\n",
       " [9, 5, 1.0],\n",
       " [9, 6, 1.0],\n",
       " [9, 7, 1.0],\n",
       " [9, 8, 1.0],\n",
       " [9, 9, 1.0],\n",
       " [10, 0, 1.0],\n",
       " [10, 1, 1.0],\n",
       " [10, 2, 1.0],\n",
       " [10, 3, 1.0],\n",
       " [10, 4, 1.0],\n",
       " [10, 5, 1.0],\n",
       " [10, 6, 1.0],\n",
       " [10, 7, 1.0],\n",
       " [10, 8, 1.0],\n",
       " [10, 9, 1.0],\n",
       " [11, 0, 1.0],\n",
       " [11, 1, 1.0],\n",
       " [11, 2, 1.0],\n",
       " [11, 3, 1.0],\n",
       " [11, 4, 1.0],\n",
       " [11, 5, 1.0],\n",
       " [11, 6, 1.0],\n",
       " [11, 7, 1.0],\n",
       " [11, 8, 1.0],\n",
       " [11, 9, 1.0],\n",
       " [12, 0, 1.0],\n",
       " [12, 1, 1.0],\n",
       " [12, 2, 1.0],\n",
       " [12, 3, 1.0],\n",
       " [12, 4, 1.0],\n",
       " [12, 5, 1.0],\n",
       " [12, 6, 1.0],\n",
       " [12, 7, 1.0],\n",
       " [12, 8, 1.0],\n",
       " [12, 9, 1.0],\n",
       " [13, 0, 1.0],\n",
       " [13, 1, 1.0],\n",
       " [13, 2, 1.0],\n",
       " [13, 3, 1.0],\n",
       " [13, 4, 1.0],\n",
       " [13, 5, 1.0],\n",
       " [13, 6, 1.0],\n",
       " [13, 7, 1.0],\n",
       " [13, 8, 1.0],\n",
       " [13, 9, 1.0],\n",
       " [14, 0, 1.0],\n",
       " [14, 1, 1.0],\n",
       " [14, 2, 1.0],\n",
       " [14, 3, 1.0],\n",
       " [14, 4, 1.0],\n",
       " [14, 5, 1.0],\n",
       " [14, 6, 1.0],\n",
       " [14, 7, 1.0],\n",
       " [14, 8, 1.0],\n",
       " [14, 9, 1.0],\n",
       " [15, 0, 1.0],\n",
       " [15, 1, 1.0],\n",
       " [15, 2, 1.0],\n",
       " [15, 3, 1.0],\n",
       " [15, 4, 1.0],\n",
       " [15, 5, 1.0],\n",
       " [15, 6, 1.0],\n",
       " [15, 7, 1.0],\n",
       " [15, 8, 1.0],\n",
       " [15, 9, 1.0],\n",
       " [16, 0, 1.0],\n",
       " [16, 1, 1.0],\n",
       " [16, 2, 1.0],\n",
       " [16, 3, 1.0],\n",
       " [16, 4, 1.0],\n",
       " [16, 5, 1.0],\n",
       " [16, 6, 1.0],\n",
       " [16, 7, 1.0],\n",
       " [16, 8, 1.0],\n",
       " [16, 9, 1.0],\n",
       " [17, 0, 1.0],\n",
       " [17, 1, 1.0],\n",
       " [17, 2, 1.0],\n",
       " [17, 3, 1.0],\n",
       " [17, 4, 1.0],\n",
       " [17, 5, 1.0],\n",
       " [17, 6, 1.0],\n",
       " [17, 7, 1.0],\n",
       " [17, 8, 1.0],\n",
       " [17, 9, 1.0],\n",
       " [18, 0, 1.0],\n",
       " [18, 1, 1.0],\n",
       " [18, 2, 1.0],\n",
       " [18, 3, 1.0],\n",
       " [18, 4, 1.0],\n",
       " [18, 5, 1.0],\n",
       " [18, 6, 1.0],\n",
       " [18, 7, 1.0],\n",
       " [18, 8, 1.0],\n",
       " [18, 9, 1.0],\n",
       " [19, 0, 1.0],\n",
       " [19, 1, 1.0],\n",
       " [19, 2, 1.0],\n",
       " [19, 3, 1.0],\n",
       " [19, 4, 1.0],\n",
       " [19, 5, 1.0],\n",
       " [19, 6, 1.0],\n",
       " [19, 7, 1.0],\n",
       " [19, 8, 1.0],\n",
       " [19, 9, 1.0],\n",
       " [20, 0, 1.0],\n",
       " [20, 1, 1.0],\n",
       " [20, 2, 1.0],\n",
       " [20, 3, 1.0],\n",
       " [20, 4, 1.0],\n",
       " [20, 5, 1.0],\n",
       " [20, 6, 1.0],\n",
       " [20, 7, 1.0],\n",
       " [20, 8, 1.0],\n",
       " [20, 9, 1.0],\n",
       " [21, 0, 1.0],\n",
       " [21, 1, 1.0],\n",
       " [21, 2, 1.0],\n",
       " [21, 3, 1.0],\n",
       " [21, 4, 1.0],\n",
       " [21, 5, 1.0],\n",
       " [21, 6, 1.0],\n",
       " [21, 7, 1.0],\n",
       " [21, 8, 1.0],\n",
       " [21, 9, 1.0],\n",
       " [22, 0, 1.0],\n",
       " [22, 1, 1.0],\n",
       " [22, 2, 1.0],\n",
       " [22, 3, 1.0],\n",
       " [22, 4, 1.0],\n",
       " [22, 5, 1.0],\n",
       " [22, 6, 1.0],\n",
       " [22, 7, 1.0],\n",
       " [22, 8, 1.0],\n",
       " [22, 9, 1.0],\n",
       " [23, 0, 1.0],\n",
       " [23, 1, 1.0],\n",
       " [23, 2, 1.0],\n",
       " [23, 3, 1.0],\n",
       " [23, 4, 1.0],\n",
       " [23, 5, 1.0],\n",
       " [23, 6, 1.0],\n",
       " [23, 7, 1.0],\n",
       " [23, 8, 1.0],\n",
       " [23, 9, 1.0],\n",
       " [24, 0, 1.0],\n",
       " [24, 1, 1.0],\n",
       " [24, 2, 1.0],\n",
       " [24, 3, 1.0],\n",
       " [24, 4, 1.0],\n",
       " [24, 5, 1.0],\n",
       " [24, 6, 1.0],\n",
       " [24, 7, 1.0],\n",
       " [24, 8, 1.0],\n",
       " [24, 9, 1.0],\n",
       " [25, 0, 1.0],\n",
       " [25, 1, 1.0],\n",
       " [25, 2, 1.0],\n",
       " [25, 3, 1.0],\n",
       " [25, 4, 1.0],\n",
       " [25, 5, 1.0],\n",
       " [25, 6, 1.0],\n",
       " [25, 7, 1.0],\n",
       " [25, 8, 1.0],\n",
       " [25, 9, 1.0],\n",
       " [26, 0, 1.0],\n",
       " [26, 1, 1.0],\n",
       " [26, 2, 1.0],\n",
       " [26, 3, 1.0],\n",
       " [26, 4, 1.0],\n",
       " [26, 5, 1.0],\n",
       " [26, 6, 1.0],\n",
       " [26, 7, 1.0],\n",
       " [26, 8, 1.0],\n",
       " [26, 9, 1.0],\n",
       " [27, 0, 1.0],\n",
       " [27, 1, 1.0],\n",
       " [27, 2, 1.0],\n",
       " [27, 3, 1.0],\n",
       " [27, 4, 1.0],\n",
       " [27, 5, 1.0],\n",
       " [27, 6, 1.0],\n",
       " [27, 7, 1.0],\n",
       " [27, 8, 1.0],\n",
       " [27, 9, 1.0],\n",
       " [28, 0, 1.0],\n",
       " [28, 1, 1.0],\n",
       " [28, 2, 1.0],\n",
       " [28, 3, 1.0],\n",
       " [28, 4, 1.0],\n",
       " [28, 5, 1.0],\n",
       " [28, 6, 1.0],\n",
       " [28, 7, 1.0],\n",
       " [28, 8, 1.0],\n",
       " [28, 9, 1.0],\n",
       " [29, 0, 1.0],\n",
       " [29, 1, 1.0],\n",
       " [29, 2, 1.0],\n",
       " [29, 3, 1.0],\n",
       " [29, 4, 1.0],\n",
       " [29, 5, 1.0],\n",
       " [29, 6, 1.0],\n",
       " [29, 7, 1.0],\n",
       " [29, 8, 1.0],\n",
       " [29, 9, 1.0],\n",
       " [30, 0, 1.0],\n",
       " [30, 1, 1.0],\n",
       " [30, 2, 1.0],\n",
       " [30, 3, 1.0],\n",
       " [30, 4, 1.0],\n",
       " [30, 5, 1.0],\n",
       " [30, 6, 1.0],\n",
       " [30, 7, 1.0],\n",
       " [30, 8, 1.0],\n",
       " [30, 9, 1.0],\n",
       " [31, 0, 1.0],\n",
       " [31, 1, 1.0],\n",
       " [31, 2, 1.0],\n",
       " [31, 3, 1.0],\n",
       " [31, 4, 1.0],\n",
       " [31, 5, 1.0],\n",
       " [31, 6, 1.0],\n",
       " [31, 7, 1.0],\n",
       " [31, 8, 1.0],\n",
       " [31, 9, 1.0],\n",
       " [32, 0, 1.0],\n",
       " [32, 1, 1.0],\n",
       " [32, 2, 1.0],\n",
       " [32, 3, 1.0],\n",
       " [32, 4, 1.0],\n",
       " [32, 5, 1.0],\n",
       " [32, 6, 1.0],\n",
       " [32, 7, 1.0],\n",
       " [32, 8, 1.0],\n",
       " [32, 9, 1.0],\n",
       " [33, 0, 1.0],\n",
       " [33, 1, 1.0],\n",
       " [33, 2, 1.0],\n",
       " [33, 3, 1.0],\n",
       " [33, 4, 1.0],\n",
       " [33, 5, 1.0],\n",
       " [33, 6, 1.0],\n",
       " [33, 7, 1.0],\n",
       " [33, 8, 1.0],\n",
       " [33, 9, 1.0],\n",
       " [34, 0, 1.0],\n",
       " [34, 1, 1.0],\n",
       " [34, 2, 1.0],\n",
       " [34, 3, 1.0],\n",
       " [34, 4, 1.0],\n",
       " [34, 5, 1.0],\n",
       " [34, 6, 1.0],\n",
       " [34, 7, 1.0],\n",
       " [34, 8, 1.0],\n",
       " [34, 9, 1.0],\n",
       " [35, 0, 1.0],\n",
       " [35, 1, 1.0],\n",
       " [35, 2, 1.0],\n",
       " [35, 3, 1.0],\n",
       " [35, 4, 1.0],\n",
       " [35, 5, 1.0],\n",
       " [35, 6, 1.0],\n",
       " [35, 7, 1.0],\n",
       " [35, 8, 1.0],\n",
       " [35, 9, 1.0],\n",
       " [36, 0, 1.0],\n",
       " [36, 1, 1.0],\n",
       " [36, 2, 1.0],\n",
       " [36, 3, 1.0],\n",
       " [36, 4, 1.0],\n",
       " [36, 5, 1.0],\n",
       " [36, 6, 1.0],\n",
       " [36, 7, 1.0],\n",
       " [36, 8, 1.0],\n",
       " [36, 9, 1.0],\n",
       " [37, 0, 1.0],\n",
       " [37, 1, 1.0],\n",
       " [37, 2, 1.0],\n",
       " [37, 3, 1.0],\n",
       " [37, 4, 1.0],\n",
       " [37, 5, 1.0],\n",
       " [37, 6, 1.0],\n",
       " [37, 7, 1.0],\n",
       " [37, 8, 1.0],\n",
       " [37, 9, 1.0],\n",
       " [38, 0, 1.0],\n",
       " [38, 1, 1.0],\n",
       " [38, 2, 1.0],\n",
       " [38, 3, 1.0],\n",
       " [38, 4, 1.0],\n",
       " [38, 5, 1.0],\n",
       " [38, 6, 1.0],\n",
       " [38, 7, 1.0],\n",
       " [38, 8, 1.0],\n",
       " [38, 9, 1.0],\n",
       " [39, 0, 1.0],\n",
       " [39, 1, 1.0],\n",
       " [39, 2, 1.0],\n",
       " [39, 3, 1.0],\n",
       " [39, 4, 1.0],\n",
       " [39, 5, 1.0],\n",
       " [39, 6, 1.0],\n",
       " [39, 7, 1.0],\n",
       " [39, 8, 1.0],\n",
       " [39, 9, 1.0],\n",
       " [40, 0, 1.0],\n",
       " [40, 1, 1.0],\n",
       " [40, 2, 1.0],\n",
       " [40, 3, 1.0],\n",
       " [40, 4, 1.0],\n",
       " [40, 5, 1.0],\n",
       " [40, 6, 1.0],\n",
       " [40, 7, 1.0],\n",
       " [40, 8, 1.0],\n",
       " [40, 9, 1.0],\n",
       " [41, 0, 1.0],\n",
       " [41, 1, 1.0],\n",
       " [41, 2, 1.0],\n",
       " [41, 3, 1.0],\n",
       " [41, 4, 1.0],\n",
       " [41, 5, 1.0],\n",
       " [41, 6, 1.0],\n",
       " [41, 7, 1.0],\n",
       " [41, 8, 1.0],\n",
       " [41, 9, 1.0],\n",
       " [42, 0, 1.0],\n",
       " [42, 1, 1.0],\n",
       " [42, 2, 1.0],\n",
       " [42, 3, 1.0],\n",
       " [42, 4, 1.0],\n",
       " [42, 5, 1.0],\n",
       " [42, 6, 1.0],\n",
       " [42, 7, 1.0],\n",
       " [42, 8, 1.0],\n",
       " [42, 9, 1.0],\n",
       " [43, 0, 1.0],\n",
       " [43, 1, 1.0],\n",
       " [43, 2, 1.0],\n",
       " [43, 3, 1.0],\n",
       " [43, 4, 1.0],\n",
       " [43, 5, 1.0],\n",
       " [43, 6, 1.0],\n",
       " [43, 7, 1.0],\n",
       " [43, 8, 1.0],\n",
       " [43, 9, 1.0],\n",
       " [44, 0, 1.0],\n",
       " [44, 1, 1.0],\n",
       " [44, 2, 1.0],\n",
       " [44, 3, 1.0],\n",
       " [44, 4, 1.0],\n",
       " [44, 5, 1.0],\n",
       " [44, 6, 1.0],\n",
       " [44, 7, 1.0],\n",
       " [44, 8, 1.0],\n",
       " [44, 9, 1.0],\n",
       " [45, 0, 1.0],\n",
       " [45, 1, 1.0],\n",
       " [45, 2, 1.0],\n",
       " [45, 3, 1.0],\n",
       " [45, 4, 1.0],\n",
       " [45, 5, 1.0],\n",
       " [45, 6, 1.0],\n",
       " [45, 7, 1.0],\n",
       " [45, 8, 1.0],\n",
       " [45, 9, 1.0],\n",
       " [46, 0, 1.0],\n",
       " [46, 1, 1.0],\n",
       " [46, 2, 1.0],\n",
       " [46, 3, 1.0],\n",
       " [46, 4, 1.0],\n",
       " [46, 5, 1.0],\n",
       " [46, 6, 1.0],\n",
       " [46, 7, 1.0],\n",
       " [46, 8, 1.0],\n",
       " [46, 9, 1.0],\n",
       " [47, 0, 1.0],\n",
       " [47, 1, 1.0],\n",
       " [47, 2, 1.0],\n",
       " [47, 3, 1.0],\n",
       " [47, 4, 1.0],\n",
       " [47, 5, 1.0],\n",
       " [47, 6, 1.0],\n",
       " [47, 7, 1.0],\n",
       " [47, 8, 1.0],\n",
       " [47, 9, 1.0],\n",
       " [48, 0, 1.0],\n",
       " [48, 1, 1.0],\n",
       " [48, 2, 1.0],\n",
       " [48, 3, 1.0],\n",
       " [48, 4, 1.0],\n",
       " [48, 5, 1.0],\n",
       " [48, 6, 1.0],\n",
       " [48, 7, 1.0],\n",
       " [48, 8, 1.0],\n",
       " [48, 9, 1.0],\n",
       " [49, 0, 1.0],\n",
       " [49, 1, 1.0],\n",
       " [49, 2, 1.0],\n",
       " [49, 3, 1.0],\n",
       " [49, 4, 1.0],\n",
       " [49, 5, 1.0],\n",
       " [49, 6, 1.0],\n",
       " [49, 7, 1.0],\n",
       " [49, 8, 1.0],\n",
       " [49, 9, 1.0],\n",
       " [0, 0, 0.48333333333333334],\n",
       " [0, 1, 0.48333333333333334],\n",
       " [0, 2, 0.48333333333333334],\n",
       " [0, 3, 0.48333333333333334],\n",
       " [0, 4, 0.48333333333333334],\n",
       " [0, 5, 0.48333333333333334],\n",
       " [0, 6, 0.48333333333333334],\n",
       " [0, 7, 0.48333333333333334],\n",
       " [0, 8, 0.48333333333333334],\n",
       " [0, 9, 0.48333333333333334],\n",
       " [1, 0, 0.59999999999999998],\n",
       " [1, 1, 0.59999999999999998],\n",
       " [1, 2, 0.59999999999999998],\n",
       " [1, 3, 0.59999999999999998],\n",
       " [1, 4, 0.59999999999999998],\n",
       " [1, 5, 0.59999999999999998],\n",
       " [1, 6, 0.59999999999999998],\n",
       " [1, 7, 0.59999999999999998],\n",
       " [1, 8, 0.59999999999999998],\n",
       " [1, 9, 0.59999999999999998],\n",
       " [2, 0, 0.73333333333333328],\n",
       " [2, 1, 0.73333333333333328],\n",
       " [2, 2, 0.73333333333333328],\n",
       " [2, 3, 0.73333333333333328],\n",
       " [2, 4, 0.73333333333333328],\n",
       " [2, 5, 0.73333333333333328],\n",
       " [2, 6, 0.73333333333333328],\n",
       " [2, 7, 0.73333333333333328],\n",
       " [2, 8, 0.73333333333333328],\n",
       " [2, 9, 0.73333333333333328],\n",
       " [3, 0, 1.0],\n",
       " [3, 1, 1.0],\n",
       " [3, 2, 1.0],\n",
       " [3, 3, 1.0],\n",
       " [3, 4, 1.0],\n",
       " [3, 5, 1.0],\n",
       " [3, 6, 1.0],\n",
       " [3, 7, 1.0],\n",
       " [3, 8, 1.0],\n",
       " [3, 9, 1.0],\n",
       " [4, 0, 1.0],\n",
       " [4, 1, 1.0],\n",
       " [4, 2, 1.0],\n",
       " [4, 3, 1.0],\n",
       " [4, 4, 1.0],\n",
       " [4, 5, 1.0],\n",
       " [4, 6, 1.0],\n",
       " [4, 7, 1.0],\n",
       " [4, 8, 1.0],\n",
       " [4, 9, 1.0],\n",
       " [5, 0, 1.0],\n",
       " [5, 1, 1.0],\n",
       " [5, 2, 1.0],\n",
       " [5, 3, 1.0],\n",
       " [5, 4, 1.0],\n",
       " [5, 5, 1.0],\n",
       " [5, 6, 1.0],\n",
       " [5, 7, 1.0],\n",
       " [5, 8, 1.0],\n",
       " [5, 9, 1.0],\n",
       " [6, 0, 1.0],\n",
       " [6, 1, 1.0],\n",
       " [6, 2, 1.0],\n",
       " [6, 3, 1.0],\n",
       " [6, 4, 1.0],\n",
       " [6, 5, 1.0],\n",
       " [6, 6, 1.0],\n",
       " [6, 7, 1.0],\n",
       " [6, 8, 1.0],\n",
       " [6, 9, 1.0],\n",
       " [7, 0, 1.0],\n",
       " [7, 1, 1.0],\n",
       " [7, 2, 1.0],\n",
       " [7, 3, 1.0],\n",
       " [7, 4, 1.0],\n",
       " [7, 5, 1.0],\n",
       " [7, 6, 1.0],\n",
       " [7, 7, 1.0],\n",
       " [7, 8, 1.0],\n",
       " [7, 9, 1.0],\n",
       " [8, 0, 1.0],\n",
       " [8, 1, 1.0],\n",
       " [8, 2, 1.0],\n",
       " [8, 3, 1.0],\n",
       " [8, 4, 1.0],\n",
       " [8, 5, 1.0],\n",
       " [8, 6, 1.0],\n",
       " [8, 7, 1.0],\n",
       " [8, 8, 1.0],\n",
       " [8, 9, 1.0],\n",
       " [9, 0, 1.0],\n",
       " [9, 1, 1.0],\n",
       " [9, 2, 1.0],\n",
       " [9, 3, 1.0],\n",
       " [9, 4, 1.0],\n",
       " [9, 5, 1.0],\n",
       " [9, 6, 1.0],\n",
       " [9, 7, 1.0],\n",
       " [9, 8, 1.0],\n",
       " [9, 9, 1.0],\n",
       " [10, 0, 1.0],\n",
       " [10, 1, 1.0],\n",
       " [10, 2, 1.0],\n",
       " [10, 3, 1.0],\n",
       " [10, 4, 1.0],\n",
       " [10, 5, 1.0],\n",
       " [10, 6, 1.0],\n",
       " [10, 7, 1.0],\n",
       " [10, 8, 1.0],\n",
       " [10, 9, 1.0],\n",
       " [11, 0, 1.0],\n",
       " [11, 1, 1.0],\n",
       " [11, 2, 1.0],\n",
       " [11, 3, 1.0],\n",
       " [11, 4, 1.0],\n",
       " [11, 5, 1.0],\n",
       " [11, 6, 1.0],\n",
       " [11, 7, 1.0],\n",
       " [11, 8, 1.0],\n",
       " [11, 9, 1.0],\n",
       " [12, 0, 1.0],\n",
       " [12, 1, 1.0],\n",
       " [12, 2, 1.0],\n",
       " [12, 3, 1.0],\n",
       " [12, 4, 1.0],\n",
       " [12, 5, 1.0],\n",
       " [12, 6, 1.0],\n",
       " [12, 7, 1.0],\n",
       " [12, 8, 1.0],\n",
       " [12, 9, 1.0],\n",
       " [13, 0, 1.0],\n",
       " [13, 1, 1.0],\n",
       " [13, 2, 1.0],\n",
       " [13, 3, 1.0],\n",
       " [13, 4, 1.0],\n",
       " [13, 5, 1.0],\n",
       " [13, 6, 1.0],\n",
       " [13, 7, 1.0],\n",
       " [13, 8, 1.0],\n",
       " [13, 9, 1.0],\n",
       " [14, 0, 1.0],\n",
       " [14, 1, 1.0],\n",
       " [14, 2, 1.0],\n",
       " [14, 3, 1.0],\n",
       " [14, 4, 1.0],\n",
       " [14, 5, 1.0],\n",
       " [14, 6, 1.0],\n",
       " [14, 7, 1.0],\n",
       " [14, 8, 1.0],\n",
       " [14, 9, 1.0],\n",
       " [15, 0, 1.0],\n",
       " [15, 1, 1.0],\n",
       " [15, 2, 1.0],\n",
       " [15, 3, 1.0],\n",
       " [15, 4, 1.0],\n",
       " [15, 5, 1.0],\n",
       " [15, 6, 1.0],\n",
       " [15, 7, 1.0],\n",
       " [15, 8, 1.0],\n",
       " [15, 9, 1.0],\n",
       " [16, 0, 1.0],\n",
       " [16, 1, 1.0],\n",
       " [16, 2, 1.0],\n",
       " [16, 3, 1.0],\n",
       " [16, 4, 1.0],\n",
       " [16, 5, 1.0],\n",
       " [16, 6, 1.0],\n",
       " [16, 7, 1.0],\n",
       " [16, 8, 1.0],\n",
       " [16, 9, 1.0],\n",
       " [17, 0, 1.0],\n",
       " [17, 1, 1.0],\n",
       " [17, 2, 1.0],\n",
       " [17, 3, 1.0],\n",
       " [17, 4, 1.0],\n",
       " [17, 5, 1.0],\n",
       " [17, 6, 1.0],\n",
       " [17, 7, 1.0],\n",
       " [17, 8, 1.0],\n",
       " [17, 9, 1.0],\n",
       " [18, 0, 1.0],\n",
       " [18, 1, 1.0],\n",
       " [18, 2, 1.0],\n",
       " [18, 3, 1.0],\n",
       " [18, 4, 1.0],\n",
       " [18, 5, 1.0],\n",
       " [18, 6, 1.0],\n",
       " [18, 7, 1.0],\n",
       " [18, 8, 1.0],\n",
       " [18, 9, 1.0],\n",
       " [19, 0, 1.0],\n",
       " [19, 1, 1.0],\n",
       " [19, 2, 1.0],\n",
       " [19, 3, 1.0],\n",
       " [19, 4, 1.0],\n",
       " [19, 5, 1.0],\n",
       " [19, 6, 1.0],\n",
       " [19, 7, 1.0],\n",
       " [19, 8, 1.0],\n",
       " [19, 9, 1.0],\n",
       " [20, 0, 1.0],\n",
       " [20, 1, 1.0],\n",
       " [20, 2, 1.0],\n",
       " [20, 3, 1.0],\n",
       " [20, 4, 1.0],\n",
       " [20, 5, 1.0],\n",
       " [20, 6, 1.0],\n",
       " [20, 7, 1.0],\n",
       " [20, 8, 1.0],\n",
       " [20, 9, 1.0],\n",
       " [21, 0, 1.0],\n",
       " [21, 1, 1.0],\n",
       " [21, 2, 1.0],\n",
       " [21, 3, 1.0],\n",
       " [21, 4, 1.0],\n",
       " [21, 5, 1.0],\n",
       " [21, 6, 1.0],\n",
       " [21, 7, 1.0],\n",
       " [21, 8, 1.0],\n",
       " [21, 9, 1.0],\n",
       " [22, 0, 1.0],\n",
       " [22, 1, 1.0],\n",
       " [22, 2, 1.0],\n",
       " [22, 3, 1.0],\n",
       " [22, 4, 1.0],\n",
       " [22, 5, 1.0],\n",
       " [22, 6, 1.0],\n",
       " [22, 7, 1.0],\n",
       " [22, 8, 1.0],\n",
       " [22, 9, 1.0],\n",
       " [23, 0, 1.0],\n",
       " [23, 1, 1.0],\n",
       " [23, 2, 1.0],\n",
       " [23, 3, 1.0],\n",
       " [23, 4, 1.0],\n",
       " [23, 5, 1.0],\n",
       " [23, 6, 1.0],\n",
       " [23, 7, 1.0],\n",
       " [23, 8, 1.0],\n",
       " [23, 9, 1.0],\n",
       " [24, 0, 1.0],\n",
       " [24, 1, 1.0],\n",
       " [24, 2, 1.0],\n",
       " [24, 3, 1.0],\n",
       " [24, 4, 1.0],\n",
       " [24, 5, 1.0],\n",
       " [24, 6, 1.0],\n",
       " [24, 7, 1.0],\n",
       " [24, 8, 1.0],\n",
       " [24, 9, 1.0],\n",
       " [25, 0, 1.0],\n",
       " [25, 1, 1.0],\n",
       " [25, 2, 1.0],\n",
       " [25, 3, 1.0],\n",
       " [25, 4, 1.0],\n",
       " [25, 5, 1.0],\n",
       " [25, 6, 1.0],\n",
       " [25, 7, 1.0],\n",
       " [25, 8, 1.0],\n",
       " [25, 9, 1.0],\n",
       " [26, 0, 1.0],\n",
       " [26, 1, 1.0],\n",
       " [26, 2, 1.0],\n",
       " [26, 3, 1.0],\n",
       " [26, 4, 1.0],\n",
       " [26, 5, 1.0],\n",
       " [26, 6, 1.0],\n",
       " [26, 7, 1.0],\n",
       " [26, 8, 1.0],\n",
       " [26, 9, 1.0],\n",
       " [27, 0, 1.0],\n",
       " [27, 1, 1.0],\n",
       " [27, 2, 1.0],\n",
       " [27, 3, 1.0],\n",
       " [27, 4, 1.0],\n",
       " [27, 5, 1.0],\n",
       " [27, 6, 1.0],\n",
       " [27, 7, 1.0],\n",
       " [27, 8, 1.0],\n",
       " [27, 9, 1.0],\n",
       " [28, 0, 1.0],\n",
       " [28, 1, 1.0],\n",
       " [28, 2, 1.0],\n",
       " [28, 3, 1.0],\n",
       " [28, 4, 1.0],\n",
       " [28, 5, 1.0],\n",
       " [28, 6, 1.0],\n",
       " [28, 7, 1.0],\n",
       " [28, 8, 1.0],\n",
       " [28, 9, 1.0],\n",
       " [29, 0, 1.0],\n",
       " [29, 1, 1.0],\n",
       " [29, 2, 1.0],\n",
       " [29, 3, 1.0],\n",
       " [29, 4, 1.0],\n",
       " [29, 5, 1.0],\n",
       " [29, 6, 1.0],\n",
       " [29, 7, 1.0],\n",
       " [29, 8, 1.0],\n",
       " [29, 9, 1.0],\n",
       " [30, 0, 1.0],\n",
       " [30, 1, 1.0],\n",
       " [30, 2, 1.0],\n",
       " [30, 3, 1.0],\n",
       " [30, 4, 1.0],\n",
       " [30, 5, 1.0],\n",
       " [30, 6, 1.0],\n",
       " [30, 7, 1.0],\n",
       " [30, 8, 1.0],\n",
       " [30, 9, 1.0],\n",
       " [31, 0, 1.0],\n",
       " [31, 1, 1.0],\n",
       " [31, 2, 1.0],\n",
       " [31, 3, 1.0],\n",
       " [31, 4, 1.0],\n",
       " [31, 5, 1.0],\n",
       " [31, 6, 1.0],\n",
       " [31, 7, 1.0],\n",
       " [31, 8, 1.0],\n",
       " [31, 9, 1.0],\n",
       " [32, 0, 1.0],\n",
       " [32, 1, 1.0],\n",
       " [32, 2, 1.0],\n",
       " [32, 3, 1.0],\n",
       " [32, 4, 1.0],\n",
       " [32, 5, 1.0],\n",
       " [32, 6, 1.0],\n",
       " [32, 7, 1.0],\n",
       " [32, 8, 1.0],\n",
       " [32, 9, 1.0],\n",
       " [33, 0, 1.0],\n",
       " [33, 1, 1.0],\n",
       " [33, 2, 1.0],\n",
       " [33, 3, 1.0],\n",
       " [33, 4, 1.0],\n",
       " [33, 5, 1.0],\n",
       " [33, 6, 1.0],\n",
       " [33, 7, 1.0],\n",
       " [33, 8, 1.0],\n",
       " [33, 9, 1.0],\n",
       " [34, 0, 1.0],\n",
       " [34, 1, 1.0],\n",
       " [34, 2, 1.0],\n",
       " [34, 3, 1.0],\n",
       " [34, 4, 1.0],\n",
       " [34, 5, 1.0],\n",
       " [34, 6, 1.0],\n",
       " [34, 7, 1.0],\n",
       " [34, 8, 1.0],\n",
       " [34, 9, 1.0],\n",
       " [35, 0, 1.0],\n",
       " [35, 1, 1.0],\n",
       " [35, 2, 1.0],\n",
       " [35, 3, 1.0],\n",
       " [35, 4, 1.0],\n",
       " [35, 5, 1.0],\n",
       " [35, 6, 1.0],\n",
       " [35, 7, 1.0],\n",
       " [35, 8, 1.0],\n",
       " [35, 9, 1.0],\n",
       " [36, 0, 1.0],\n",
       " [36, 1, 1.0],\n",
       " [36, 2, 1.0],\n",
       " [36, 3, 1.0],\n",
       " [36, 4, 1.0],\n",
       " [36, 5, 1.0],\n",
       " [36, 6, 1.0],\n",
       " [36, 7, 1.0],\n",
       " [36, 8, 1.0],\n",
       " [36, 9, 1.0],\n",
       " [37, 0, 1.0],\n",
       " [37, 1, 1.0],\n",
       " [37, 2, 1.0],\n",
       " [37, 3, 1.0],\n",
       " [37, 4, 1.0],\n",
       " [37, 5, 1.0],\n",
       " [37, 6, 1.0],\n",
       " [37, 7, 1.0],\n",
       " [37, 8, 1.0],\n",
       " [37, 9, 1.0],\n",
       " [38, 0, 1.0],\n",
       " [38, 1, 1.0],\n",
       " [38, 2, 1.0],\n",
       " [38, 3, 1.0],\n",
       " [38, 4, 1.0],\n",
       " [38, 5, 1.0],\n",
       " [38, 6, 1.0],\n",
       " [38, 7, 1.0],\n",
       " [38, 8, 1.0],\n",
       " [38, 9, 1.0],\n",
       " [39, 0, 1.0],\n",
       " [39, 1, 1.0],\n",
       " [39, 2, 1.0],\n",
       " [39, 3, 1.0],\n",
       " [39, 4, 1.0],\n",
       " [39, 5, 1.0],\n",
       " [39, 6, 1.0],\n",
       " [39, 7, 1.0],\n",
       " [39, 8, 1.0],\n",
       " [39, 9, 1.0],\n",
       " [40, 0, 1.0],\n",
       " [40, 1, 1.0],\n",
       " [40, 2, 1.0],\n",
       " [40, 3, 1.0],\n",
       " [40, 4, 1.0],\n",
       " [40, 5, 1.0],\n",
       " [40, 6, 1.0],\n",
       " [40, 7, 1.0],\n",
       " [40, 8, 1.0],\n",
       " [40, 9, 1.0],\n",
       " [41, 0, 1.0],\n",
       " [41, 1, 1.0],\n",
       " [41, 2, 1.0],\n",
       " [41, 3, 1.0],\n",
       " [41, 4, 1.0],\n",
       " [41, 5, 1.0],\n",
       " [41, 6, 1.0],\n",
       " [41, 7, 1.0],\n",
       " [41, 8, 1.0],\n",
       " [41, 9, 1.0],\n",
       " [42, 0, 1.0],\n",
       " [42, 1, 1.0],\n",
       " [42, 2, 1.0],\n",
       " [42, 3, 1.0],\n",
       " [42, 4, 1.0],\n",
       " [42, 5, 1.0],\n",
       " [42, 6, 1.0],\n",
       " [42, 7, 1.0],\n",
       " [42, 8, 1.0],\n",
       " [42, 9, 1.0],\n",
       " [43, 0, 1.0],\n",
       " [43, 1, 1.0],\n",
       " [43, 2, 1.0],\n",
       " [43, 3, 1.0],\n",
       " [43, 4, 1.0],\n",
       " [43, 5, 1.0],\n",
       " [43, 6, 1.0],\n",
       " [43, 7, 1.0],\n",
       " [43, 8, 1.0],\n",
       " [43, 9, 1.0],\n",
       " [44, 0, 1.0],\n",
       " [44, 1, 1.0],\n",
       " [44, 2, 1.0],\n",
       " [44, 3, 1.0],\n",
       " [44, 4, 1.0],\n",
       " [44, 5, 1.0],\n",
       " [44, 6, 1.0],\n",
       " [44, 7, 1.0],\n",
       " [44, 8, 1.0],\n",
       " [44, 9, 1.0],\n",
       " [45, 0, 1.0],\n",
       " [45, 1, 1.0],\n",
       " [45, 2, 1.0],\n",
       " [45, 3, 1.0],\n",
       " [45, 4, 1.0],\n",
       " [45, 5, 1.0],\n",
       " [45, 6, 1.0],\n",
       " [45, 7, 1.0],\n",
       " [45, 8, 1.0],\n",
       " [45, 9, 1.0],\n",
       " [46, 0, 1.0],\n",
       " [46, 1, 1.0],\n",
       " [46, 2, 1.0],\n",
       " [46, 3, 1.0],\n",
       " [46, 4, 1.0],\n",
       " [46, 5, 1.0],\n",
       " [46, 6, 1.0],\n",
       " [46, 7, 1.0],\n",
       " [46, 8, 1.0],\n",
       " [46, 9, 1.0],\n",
       " [47, 0, 1.0],\n",
       " [47, 1, 1.0],\n",
       " [47, 2, 1.0],\n",
       " [47, 3, 1.0],\n",
       " [47, 4, 1.0],\n",
       " [47, 5, 1.0],\n",
       " [47, 6, 1.0],\n",
       " [47, 7, 1.0],\n",
       " [47, 8, 1.0],\n",
       " [47, 9, 1.0],\n",
       " [48, 0, 1.0],\n",
       " [48, 1, 1.0],\n",
       " [48, 2, 1.0],\n",
       " [48, 3, 1.0],\n",
       " [48, 4, 1.0],\n",
       " [48, 5, 1.0],\n",
       " [48, 6, 1.0],\n",
       " [48, 7, 1.0],\n",
       " [48, 8, 1.0],\n",
       " [48, 9, 1.0],\n",
       " [49, 0, 1.0],\n",
       " [49, 1, 1.0],\n",
       " [49, 2, 1.0],\n",
       " [49, 3, 1.0],\n",
       " [49, 4, 1.0],\n",
       " [49, 5, 1.0],\n",
       " [49, 6, 1.0],\n",
       " [49, 7, 1.0],\n",
       " [49, 8, 1.0],\n",
       " [49, 9, 1.0],\n",
       " ...]"
      ]
     },
     "execution_count": 109,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "accuracies"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 105,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "report.append(['DecisionTreeClassifier','1.0','1.0'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 111,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "0it [00:00, ?it/s]\n",
      "  0%|          | 0/50 [00:00<?, ?it/s]\u001b[A\n",
      "  2%|▏         | 1/50 [00:00<00:11,  4.40it/s]\u001b[A\n",
      "  4%|▍         | 2/50 [00:00<00:12,  3.91it/s]\u001b[A\n",
      "  6%|▌         | 3/50 [00:00<00:11,  4.10it/s]\u001b[A\n",
      "  8%|▊         | 4/50 [00:00<00:10,  4.33it/s]\u001b[A\n",
      " 10%|█         | 5/50 [00:01<00:10,  4.45it/s]\u001b[A\n",
      " 12%|█▏        | 6/50 [00:01<00:10,  4.20it/s]\u001b[A\n",
      " 14%|█▍        | 7/50 [00:01<00:09,  4.64it/s]\u001b[A\n",
      " 16%|█▌        | 8/50 [00:01<00:10,  4.06it/s]\u001b[A\n",
      " 18%|█▊        | 9/50 [00:02<00:10,  3.88it/s]\u001b[A\n",
      " 20%|██        | 10/50 [00:02<00:11,  3.34it/s]\u001b[A\n",
      " 22%|██▏       | 11/50 [00:02<00:11,  3.36it/s]\u001b[A\n",
      " 24%|██▍       | 12/50 [00:03<00:10,  3.70it/s]\u001b[A\n",
      " 26%|██▌       | 13/50 [00:03<00:11,  3.21it/s]\u001b[A\n",
      " 28%|██▊       | 14/50 [00:03<00:11,  3.21it/s]\u001b[A\n",
      " 30%|███       | 15/50 [00:04<00:09,  3.56it/s]\u001b[A\n",
      " 32%|███▏      | 16/50 [00:04<00:09,  3.45it/s]\u001b[A\n",
      " 34%|███▍      | 17/50 [00:04<00:09,  3.45it/s]\u001b[A\n",
      " 36%|███▌      | 18/50 [00:04<00:09,  3.42it/s]\u001b[A\n",
      " 38%|███▊      | 19/50 [00:05<00:08,  3.51it/s]\u001b[A\n",
      " 40%|████      | 20/50 [00:05<00:08,  3.42it/s]\u001b[A\n",
      " 42%|████▏     | 21/50 [00:05<00:07,  3.70it/s]\u001b[A\n",
      " 44%|████▍     | 22/50 [00:05<00:07,  3.75it/s]\u001b[A\n",
      " 46%|████▌     | 23/50 [00:06<00:06,  3.90it/s]\u001b[A\n",
      " 48%|████▊     | 24/50 [00:06<00:08,  3.17it/s]\u001b[A\n",
      " 50%|█████     | 25/50 [00:07<00:08,  3.10it/s]\u001b[A\n",
      " 52%|█████▏    | 26/50 [00:07<00:08,  2.92it/s]\u001b[A\n",
      " 54%|█████▍    | 27/50 [00:07<00:07,  2.97it/s]\u001b[A\n",
      " 56%|█████▌    | 28/50 [00:08<00:07,  2.91it/s]\u001b[A\n",
      " 58%|█████▊    | 29/50 [00:08<00:07,  2.96it/s]\u001b[A\n",
      " 60%|██████    | 30/50 [00:08<00:06,  3.04it/s]\u001b[A\n",
      " 62%|██████▏   | 31/50 [00:09<00:06,  2.82it/s]\u001b[A\n",
      " 64%|██████▍   | 32/50 [00:09<00:06,  2.87it/s]\u001b[A\n",
      " 66%|██████▌   | 33/50 [00:09<00:06,  2.82it/s]\u001b[A\n",
      " 68%|██████▊   | 34/50 [00:10<00:04,  3.22it/s]\u001b[A\n",
      " 70%|███████   | 35/50 [00:10<00:05,  2.72it/s]\u001b[A\n",
      " 72%|███████▏  | 36/50 [00:10<00:04,  2.87it/s]\u001b[A\n",
      " 74%|███████▍  | 37/50 [00:11<00:04,  3.24it/s]\u001b[A\n",
      " 76%|███████▌  | 38/50 [00:11<00:03,  3.16it/s]\u001b[A\n",
      " 78%|███████▊  | 39/50 [00:11<00:03,  3.51it/s]\u001b[A\n",
      " 80%|████████  | 40/50 [00:11<00:02,  3.48it/s]\u001b[A\n",
      " 82%|████████▏ | 41/50 [00:12<00:02,  3.07it/s]\u001b[A\n",
      " 84%|████████▍ | 42/50 [00:12<00:02,  3.06it/s]\u001b[A\n",
      " 86%|████████▌ | 43/50 [00:13<00:02,  2.95it/s]\u001b[A\n",
      " 88%|████████▊ | 44/50 [00:13<00:01,  3.32it/s]\u001b[A\n",
      " 90%|█████████ | 45/50 [00:13<00:01,  3.16it/s]\u001b[A\n",
      " 92%|█████████▏| 46/50 [00:13<00:01,  3.09it/s]\u001b[A\n",
      " 94%|█████████▍| 47/50 [00:14<00:00,  3.36it/s]\u001b[A\n",
      " 96%|█████████▌| 48/50 [00:14<00:00,  3.35it/s]\u001b[A\n",
      " 98%|█████████▊| 49/50 [00:14<00:00,  3.55it/s]\u001b[A\n",
      "100%|██████████| 50/50 [00:14<00:00,  3.82it/s]\u001b[A\n",
      "1it [00:14, 14.92s/it]\n",
      "  0%|          | 0/50 [00:00<?, ?it/s]\u001b[A\n",
      "  2%|▏         | 1/50 [00:00<00:10,  4.63it/s]\u001b[A\n",
      "  4%|▍         | 2/50 [00:00<00:10,  4.74it/s]\u001b[A\n",
      "  6%|▌         | 3/50 [00:00<00:11,  4.23it/s]\u001b[A\n",
      "  8%|▊         | 4/50 [00:00<00:10,  4.22it/s]\u001b[A\n",
      " 10%|█         | 5/50 [00:01<00:10,  4.32it/s]\u001b[A\n",
      " 12%|█▏        | 6/50 [00:01<00:10,  4.01it/s]\u001b[A\n",
      " 14%|█▍        | 7/50 [00:01<00:09,  4.37it/s]\u001b[A\n",
      " 16%|█▌        | 8/50 [00:01<00:09,  4.56it/s]\u001b[A\n",
      " 18%|█▊        | 9/50 [00:02<00:09,  4.37it/s]\u001b[A\n",
      " 20%|██        | 10/50 [00:02<00:08,  4.49it/s]\u001b[A\n",
      " 22%|██▏       | 11/50 [00:02<00:09,  4.32it/s]\u001b[A\n",
      " 24%|██▍       | 12/50 [00:02<00:08,  4.32it/s]\u001b[A\n",
      " 26%|██▌       | 13/50 [00:02<00:08,  4.50it/s]\u001b[A\n",
      " 28%|██▊       | 14/50 [00:03<00:07,  4.75it/s]\u001b[A\n",
      " 30%|███       | 15/50 [00:03<00:07,  4.66it/s]\u001b[A\n",
      " 32%|███▏      | 16/50 [00:03<00:07,  4.70it/s]\u001b[A\n",
      " 34%|███▍      | 17/50 [00:03<00:06,  4.78it/s]\u001b[A\n",
      " 36%|███▌      | 18/50 [00:04<00:07,  4.56it/s]\u001b[A\n",
      " 38%|███▊      | 19/50 [00:04<00:06,  4.89it/s]\u001b[A\n",
      " 40%|████      | 20/50 [00:04<00:06,  4.78it/s]\u001b[A\n",
      " 42%|████▏     | 21/50 [00:04<00:05,  4.94it/s]\u001b[A\n",
      " 44%|████▍     | 22/50 [00:04<00:06,  4.25it/s]\u001b[A\n",
      " 46%|████▌     | 23/50 [00:05<00:06,  4.32it/s]\u001b[A\n",
      " 48%|████▊     | 24/50 [00:05<00:07,  3.50it/s]\u001b[A\n",
      " 50%|█████     | 25/50 [00:06<00:09,  2.71it/s]\u001b[A\n",
      " 52%|█████▏    | 26/50 [00:06<00:09,  2.67it/s]\u001b[A\n",
      " 54%|█████▍    | 27/50 [00:07<00:10,  2.10it/s]\u001b[A\n",
      " 56%|█████▌    | 28/50 [00:07<00:10,  2.18it/s]\u001b[A\n",
      " 58%|█████▊    | 29/50 [00:07<00:08,  2.56it/s]\u001b[A\n",
      " 60%|██████    | 30/50 [00:08<00:07,  2.81it/s]\u001b[A\n",
      " 62%|██████▏   | 31/50 [00:08<00:06,  2.97it/s]\u001b[A\n",
      " 64%|██████▍   | 32/50 [00:08<00:05,  3.07it/s]\u001b[A\n",
      " 66%|██████▌   | 33/50 [00:08<00:05,  3.33it/s]\u001b[A\n",
      " 68%|██████▊   | 34/50 [00:09<00:04,  3.40it/s]\u001b[A\n",
      " 70%|███████   | 35/50 [00:09<00:04,  3.27it/s]\u001b[A\n",
      " 72%|███████▏  | 36/50 [00:09<00:04,  3.36it/s]\u001b[A\n",
      " 74%|███████▍  | 37/50 [00:10<00:03,  3.68it/s]\u001b[A\n",
      " 76%|███████▌  | 38/50 [00:10<00:03,  3.54it/s]\u001b[A\n",
      " 78%|███████▊  | 39/50 [00:10<00:02,  3.67it/s]\u001b[A\n",
      " 80%|████████  | 40/50 [00:10<00:02,  3.69it/s]\u001b[A\n",
      " 82%|████████▏ | 41/50 [00:11<00:02,  3.72it/s]\u001b[A\n",
      " 84%|████████▍ | 42/50 [00:11<00:02,  3.67it/s]\u001b[A\n",
      " 86%|████████▌ | 43/50 [00:11<00:01,  3.83it/s]\u001b[A\n",
      " 88%|████████▊ | 44/50 [00:11<00:01,  3.96it/s]\u001b[A\n",
      " 90%|█████████ | 45/50 [00:12<00:01,  4.10it/s]\u001b[A\n",
      " 92%|█████████▏| 46/50 [00:12<00:01,  3.60it/s]\u001b[A\n",
      " 94%|█████████▍| 47/50 [00:12<00:00,  3.02it/s]\u001b[A\n",
      " 96%|█████████▌| 48/50 [00:13<00:00,  3.30it/s]\u001b[A\n",
      " 98%|█████████▊| 49/50 [00:13<00:00,  3.04it/s]\u001b[A\n",
      "100%|██████████| 50/50 [00:13<00:00,  3.20it/s]\u001b[A\n",
      "2it [00:28, 14.60s/it]\n",
      "  0%|          | 0/50 [00:00<?, ?it/s]\u001b[A\n",
      "  2%|▏         | 1/50 [00:00<00:09,  5.02it/s]\u001b[A\n",
      "  4%|▍         | 2/50 [00:00<00:11,  4.22it/s]\u001b[A\n",
      "  6%|▌         | 3/50 [00:00<00:14,  3.26it/s]\u001b[A\n",
      "  8%|▊         | 4/50 [00:01<00:13,  3.31it/s]\u001b[A\n",
      " 10%|█         | 5/50 [00:01<00:15,  2.94it/s]\u001b[A\n",
      " 12%|█▏        | 6/50 [00:01<00:13,  3.22it/s]\u001b[A\n",
      " 14%|█▍        | 7/50 [00:02<00:12,  3.47it/s]\u001b[A\n",
      " 16%|█▌        | 8/50 [00:02<00:10,  3.84it/s]\u001b[A\n",
      " 18%|█▊        | 9/50 [00:02<00:11,  3.60it/s]\u001b[A\n",
      " 20%|██        | 10/50 [00:03<00:11,  3.44it/s]\u001b[A\n",
      " 22%|██▏       | 11/50 [00:03<00:10,  3.57it/s]\u001b[A\n",
      " 24%|██▍       | 12/50 [00:03<00:10,  3.54it/s]\u001b[A\n",
      " 26%|██▌       | 13/50 [00:03<00:10,  3.60it/s]\u001b[A\n",
      " 28%|██▊       | 14/50 [00:04<00:09,  3.66it/s]\u001b[A\n",
      " 30%|███       | 15/50 [00:04<00:08,  3.93it/s]\u001b[A\n",
      " 32%|███▏      | 16/50 [00:04<00:10,  3.35it/s]\u001b[A\n",
      " 34%|███▍      | 17/50 [00:04<00:09,  3.50it/s]\u001b[A\n",
      " 36%|███▌      | 18/50 [00:05<00:09,  3.33it/s]\u001b[A\n",
      " 38%|███▊      | 19/50 [00:05<00:10,  3.05it/s]\u001b[A\n",
      " 40%|████      | 20/50 [00:06<00:09,  3.00it/s]\u001b[A\n",
      " 42%|████▏     | 21/50 [00:06<00:09,  3.01it/s]\u001b[A\n",
      " 44%|████▍     | 22/50 [00:06<00:09,  2.98it/s]\u001b[A\n",
      " 46%|████▌     | 23/50 [00:06<00:08,  3.20it/s]\u001b[A\n",
      " 48%|████▊     | 24/50 [00:07<00:07,  3.63it/s]\u001b[A\n",
      " 50%|█████     | 25/50 [00:07<00:06,  3.79it/s]\u001b[A\n",
      " 52%|█████▏    | 26/50 [00:07<00:06,  3.93it/s]\u001b[A\n",
      " 54%|█████▍    | 27/50 [00:07<00:05,  3.99it/s]\u001b[A\n",
      " 56%|█████▌    | 28/50 [00:08<00:05,  4.06it/s]\u001b[A\n",
      " 58%|█████▊    | 29/50 [00:08<00:07,  2.92it/s]\u001b[A\n",
      " 60%|██████    | 30/50 [00:08<00:06,  3.16it/s]\u001b[A\n",
      " 62%|██████▏   | 31/50 [00:09<00:06,  3.10it/s]\u001b[A\n",
      " 64%|██████▍   | 32/50 [00:09<00:05,  3.53it/s]\u001b[A\n",
      " 66%|██████▌   | 33/50 [00:09<00:04,  3.61it/s]\u001b[A\n",
      " 68%|██████▊   | 34/50 [00:09<00:04,  3.97it/s]\u001b[A\n",
      " 70%|███████   | 35/50 [00:10<00:03,  3.83it/s]\u001b[A\n",
      " 72%|███████▏  | 36/50 [00:10<00:03,  4.19it/s]\u001b[A\n",
      " 74%|███████▍  | 37/50 [00:10<00:03,  3.97it/s]\u001b[A\n",
      " 76%|███████▌  | 38/50 [00:10<00:02,  4.27it/s]\u001b[A\n",
      " 78%|███████▊  | 39/50 [00:11<00:02,  4.22it/s]\u001b[A\n",
      " 80%|████████  | 40/50 [00:11<00:02,  4.47it/s]\u001b[A\n",
      " 82%|████████▏ | 41/50 [00:11<00:01,  4.65it/s]\u001b[A\n",
      " 84%|████████▍ | 42/50 [00:11<00:01,  4.52it/s]\u001b[A\n",
      " 86%|████████▌ | 43/50 [00:11<00:01,  4.64it/s]\u001b[A\n",
      " 88%|████████▊ | 44/50 [00:12<00:01,  4.76it/s]\u001b[A\n",
      " 90%|█████████ | 45/50 [00:12<00:00,  5.02it/s]\u001b[A\n",
      " 92%|█████████▏| 46/50 [00:12<00:00,  4.59it/s]\u001b[A\n",
      " 94%|█████████▍| 47/50 [00:12<00:00,  4.16it/s]\u001b[A\n",
      " 96%|█████████▌| 48/50 [00:13<00:00,  4.51it/s]\u001b[A\n",
      " 98%|█████████▊| 49/50 [00:13<00:00,  4.53it/s]\u001b[A\n",
      "100%|██████████| 50/50 [00:13<00:00,  4.81it/s]\u001b[A\n",
      "3it [00:42, 14.25s/it]\n",
      "  0%|          | 0/50 [00:00<?, ?it/s]\u001b[A\n",
      "  2%|▏         | 1/50 [00:00<00:12,  3.88it/s]\u001b[A\n",
      "  4%|▍         | 2/50 [00:00<00:11,  4.10it/s]\u001b[A\n",
      "  6%|▌         | 3/50 [00:00<00:10,  4.29it/s]\u001b[A\n",
      "  8%|▊         | 4/50 [00:00<00:10,  4.26it/s]\u001b[A\n",
      " 10%|█         | 5/50 [00:01<00:10,  4.31it/s]\u001b[A\n",
      " 12%|█▏        | 6/50 [00:01<00:10,  4.31it/s]\u001b[A\n",
      " 14%|█▍        | 7/50 [00:01<00:09,  4.55it/s]\u001b[A\n",
      " 16%|█▌        | 8/50 [00:01<00:09,  4.66it/s]\u001b[A\n",
      " 18%|█▊        | 9/50 [00:01<00:08,  5.10it/s]\u001b[A\n",
      " 20%|██        | 10/50 [00:02<00:07,  5.22it/s]\u001b[A\n",
      " 22%|██▏       | 11/50 [00:02<00:07,  5.32it/s]\u001b[A\n",
      " 24%|██▍       | 12/50 [00:02<00:07,  5.35it/s]\u001b[A\n",
      " 26%|██▌       | 13/50 [00:02<00:06,  5.55it/s]\u001b[A\n",
      " 28%|██▊       | 14/50 [00:02<00:06,  5.52it/s]\u001b[A\n",
      " 30%|███       | 15/50 [00:02<00:06,  5.65it/s]\u001b[A\n",
      " 32%|███▏      | 16/50 [00:03<00:06,  5.39it/s]\u001b[A\n",
      " 34%|███▍      | 17/50 [00:03<00:05,  5.64it/s]\u001b[A\n",
      " 36%|███▌      | 18/50 [00:03<00:06,  5.20it/s]\u001b[A\n",
      " 38%|███▊      | 19/50 [00:03<00:05,  5.26it/s]\u001b[A\n",
      " 40%|████      | 20/50 [00:03<00:05,  5.11it/s]\u001b[A\n",
      " 42%|████▏     | 21/50 [00:04<00:05,  5.14it/s]\u001b[A\n",
      " 44%|████▍     | 22/50 [00:04<00:05,  5.52it/s]\u001b[A\n",
      " 46%|████▌     | 23/50 [00:04<00:04,  5.57it/s]\u001b[A\n",
      " 48%|████▊     | 24/50 [00:04<00:04,  5.65it/s]\u001b[A\n",
      " 50%|█████     | 25/50 [00:04<00:04,  5.79it/s]\u001b[A\n",
      " 52%|█████▏    | 26/50 [00:04<00:04,  5.82it/s]\u001b[A\n",
      " 54%|█████▍    | 27/50 [00:05<00:04,  5.29it/s]\u001b[A\n",
      " 56%|█████▌    | 28/50 [00:05<00:04,  5.49it/s]\u001b[A\n",
      " 58%|█████▊    | 29/50 [00:05<00:03,  5.50it/s]\u001b[A\n",
      " 60%|██████    | 30/50 [00:05<00:03,  5.68it/s]\u001b[A\n",
      " 62%|██████▏   | 31/50 [00:05<00:03,  5.88it/s]\u001b[A\n",
      " 64%|██████▍   | 32/50 [00:06<00:02,  6.06it/s]\u001b[A\n",
      " 66%|██████▌   | 33/50 [00:06<00:03,  5.59it/s]\u001b[A\n",
      " 68%|██████▊   | 34/50 [00:06<00:02,  5.75it/s]\u001b[A\n",
      " 70%|███████   | 35/50 [00:06<00:02,  5.24it/s]\u001b[A\n",
      " 72%|███████▏  | 36/50 [00:06<00:02,  5.54it/s]\u001b[A\n",
      " 74%|███████▍  | 37/50 [00:06<00:02,  5.51it/s]\u001b[A\n",
      " 76%|███████▌  | 38/50 [00:07<00:02,  4.94it/s]\u001b[A\n",
      " 78%|███████▊  | 39/50 [00:07<00:02,  5.23it/s]\u001b[A\n",
      " 80%|████████  | 40/50 [00:07<00:01,  5.20it/s]\u001b[A\n",
      " 82%|████████▏ | 41/50 [00:07<00:01,  5.35it/s]\u001b[A\n",
      " 84%|████████▍ | 42/50 [00:07<00:01,  5.36it/s]\u001b[A\n",
      " 86%|████████▌ | 43/50 [00:08<00:01,  5.33it/s]\u001b[A\n",
      " 88%|████████▊ | 44/50 [00:08<00:01,  5.31it/s]\u001b[A\n",
      " 90%|█████████ | 45/50 [00:08<00:00,  5.39it/s]\u001b[A\n",
      " 92%|█████████▏| 46/50 [00:08<00:00,  5.48it/s]\u001b[A\n",
      " 94%|█████████▍| 47/50 [00:08<00:00,  5.53it/s]\u001b[A\n",
      " 96%|█████████▌| 48/50 [00:09<00:00,  5.70it/s]\u001b[A\n",
      " 98%|█████████▊| 49/50 [00:09<00:00,  5.58it/s]\u001b[A\n",
      "100%|██████████| 50/50 [00:09<00:00,  5.60it/s]\u001b[A\n",
      "4it [00:51, 12.79s/it]\n",
      "  0%|          | 0/50 [00:00<?, ?it/s]\u001b[A\n",
      "  2%|▏         | 1/50 [00:00<00:07,  6.19it/s]\u001b[A\n",
      "  4%|▍         | 2/50 [00:00<00:07,  6.09it/s]\u001b[A\n",
      "  6%|▌         | 3/50 [00:00<00:07,  6.07it/s]\u001b[A\n",
      "  8%|▊         | 4/50 [00:00<00:07,  6.04it/s]\u001b[A\n",
      " 10%|█         | 5/50 [00:00<00:07,  5.85it/s]\u001b[A\n",
      " 12%|█▏        | 6/50 [00:01<00:07,  5.53it/s]\u001b[A\n",
      " 14%|█▍        | 7/50 [00:01<00:07,  5.81it/s]\u001b[A\n",
      " 16%|█▌        | 8/50 [00:01<00:07,  5.91it/s]\u001b[A\n",
      " 18%|█▊        | 9/50 [00:01<00:06,  5.97it/s]\u001b[A\n",
      " 20%|██        | 10/50 [00:01<00:06,  5.88it/s]\u001b[A\n",
      " 22%|██▏       | 11/50 [00:01<00:06,  5.77it/s]\u001b[A\n",
      " 24%|██▍       | 12/50 [00:02<00:06,  5.77it/s]\u001b[A\n",
      " 26%|██▌       | 13/50 [00:02<00:06,  5.85it/s]\u001b[A\n",
      " 28%|██▊       | 14/50 [00:02<00:06,  5.55it/s]\u001b[A\n",
      " 30%|███       | 15/50 [00:02<00:06,  5.05it/s]\u001b[A\n",
      " 32%|███▏      | 16/50 [00:02<00:06,  4.90it/s]\u001b[A\n",
      " 34%|███▍      | 17/50 [00:03<00:07,  4.60it/s]\u001b[A\n",
      " 36%|███▌      | 18/50 [00:03<00:06,  4.62it/s]\u001b[A\n",
      " 38%|███▊      | 19/50 [00:03<00:06,  4.72it/s]\u001b[A\n",
      " 40%|████      | 20/50 [00:03<00:07,  4.28it/s]\u001b[A\n",
      " 42%|████▏     | 21/50 [00:04<00:06,  4.41it/s]\u001b[A\n",
      " 44%|████▍     | 22/50 [00:04<00:06,  4.02it/s]\u001b[A\n",
      " 46%|████▌     | 23/50 [00:04<00:06,  4.34it/s]\u001b[A\n",
      " 48%|████▊     | 24/50 [00:04<00:06,  4.17it/s]\u001b[A\n",
      " 50%|█████     | 25/50 [00:05<00:06,  4.14it/s]\u001b[A\n",
      " 52%|█████▏    | 26/50 [00:05<00:05,  4.40it/s]\u001b[A\n",
      " 54%|█████▍    | 27/50 [00:05<00:04,  4.62it/s]\u001b[A\n",
      " 56%|█████▌    | 28/50 [00:05<00:04,  4.69it/s]\u001b[A\n",
      " 58%|█████▊    | 29/50 [00:05<00:04,  4.29it/s]\u001b[A\n",
      " 60%|██████    | 30/50 [00:06<00:04,  4.49it/s]\u001b[A\n",
      " 62%|██████▏   | 31/50 [00:06<00:04,  4.45it/s]\u001b[A\n",
      " 64%|██████▍   | 32/50 [00:06<00:03,  4.64it/s]\u001b[A\n",
      " 66%|██████▌   | 33/50 [00:06<00:03,  4.41it/s]\u001b[A\n",
      " 68%|██████▊   | 34/50 [00:06<00:03,  4.69it/s]\u001b[A\n",
      " 70%|███████   | 35/50 [00:07<00:03,  4.66it/s]\u001b[A\n",
      " 72%|███████▏  | 36/50 [00:07<00:02,  4.76it/s]\u001b[A\n",
      " 74%|███████▍  | 37/50 [00:07<00:02,  4.81it/s]\u001b[A\n",
      " 76%|███████▌  | 38/50 [00:07<00:02,  4.15it/s]\u001b[A\n",
      " 78%|███████▊  | 39/50 [00:08<00:02,  4.17it/s]\u001b[A\n",
      " 80%|████████  | 40/50 [00:08<00:02,  4.00it/s]\u001b[A\n",
      " 82%|████████▏ | 41/50 [00:08<00:02,  4.18it/s]\u001b[A\n",
      " 84%|████████▍ | 42/50 [00:08<00:01,  4.02it/s]\u001b[A\n",
      " 86%|████████▌ | 43/50 [00:09<00:01,  4.11it/s]\u001b[A\n",
      " 88%|████████▊ | 44/50 [00:09<00:01,  4.03it/s]\u001b[A\n",
      " 90%|█████████ | 45/50 [00:09<00:01,  4.31it/s]\u001b[A\n",
      " 92%|█████████▏| 46/50 [00:09<00:00,  4.18it/s]\u001b[A\n",
      " 94%|█████████▍| 47/50 [00:10<00:00,  4.41it/s]\u001b[A\n",
      " 96%|█████████▌| 48/50 [00:10<00:00,  4.73it/s]\u001b[A\n",
      " 98%|█████████▊| 49/50 [00:10<00:00,  5.02it/s]\u001b[A\n",
      "100%|██████████| 50/50 [00:10<00:00,  5.22it/s]\u001b[A\n",
      "5it [01:02, 12.12s/it]\n"
     ]
    }
   ],
   "source": [
    "accuracies = []\n",
    "for train_index, test_index in tqdm(kf.split(X)):\n",
    "    for i in tqdm(depth_values):\n",
    "        for s in min_samples_values:\n",
    "            temp_score = run_model_rforrest(s_depth=i+1, s_split=s+2, training=X_train, training_labels=y_train, validation_training=X_test, validation_labels=y_test)\n",
    "            accuracies.append([i,s,temp_score])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 112,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[[0, 0, 0.48333333333333334],\n",
       " [0, 1, 0.48333333333333334],\n",
       " [0, 2, 0.48333333333333334],\n",
       " [0, 3, 0.48333333333333334],\n",
       " [0, 4, 0.48333333333333334],\n",
       " [0, 5, 0.48333333333333334],\n",
       " [0, 6, 0.48333333333333334],\n",
       " [0, 7, 0.48333333333333334],\n",
       " [0, 8, 0.48333333333333334],\n",
       " [0, 9, 0.48333333333333334],\n",
       " [1, 0, 0.38333333333333336],\n",
       " [1, 1, 0.41666666666666669],\n",
       " [1, 2, 0.41666666666666669],\n",
       " [1, 3, 0.5],\n",
       " [1, 4, 0.46666666666666667],\n",
       " [1, 5, 0.5],\n",
       " [1, 6, 0.41666666666666669],\n",
       " [1, 7, 0.56666666666666665],\n",
       " [1, 8, 0.46666666666666667],\n",
       " [1, 9, 0.43333333333333335],\n",
       " [2, 0, 0.48333333333333334],\n",
       " [2, 1, 0.5],\n",
       " [2, 2, 0.51666666666666672],\n",
       " [2, 3, 0.53333333333333333],\n",
       " [2, 4, 0.51666666666666672],\n",
       " [2, 5, 0.58333333333333337],\n",
       " [2, 6, 0.48333333333333334],\n",
       " [2, 7, 0.51666666666666672],\n",
       " [2, 8, 0.58333333333333337],\n",
       " [2, 9, 0.56666666666666665],\n",
       " [3, 0, 0.81666666666666665],\n",
       " [3, 1, 0.75],\n",
       " [3, 2, 0.69999999999999996],\n",
       " [3, 3, 0.71666666666666667],\n",
       " [3, 4, 0.73333333333333328],\n",
       " [3, 5, 0.73333333333333328],\n",
       " [3, 6, 0.6333333333333333],\n",
       " [3, 7, 0.8833333333333333],\n",
       " [3, 8, 0.80000000000000004],\n",
       " [3, 9, 0.69999999999999996],\n",
       " [4, 0, 0.84999999999999998],\n",
       " [4, 1, 0.81666666666666665],\n",
       " [4, 2, 0.76666666666666672],\n",
       " [4, 3, 0.80000000000000004],\n",
       " [4, 4, 0.76666666666666672],\n",
       " [4, 5, 0.81666666666666665],\n",
       " [4, 6, 0.8833333333333333],\n",
       " [4, 7, 0.91666666666666663],\n",
       " [4, 8, 0.90000000000000002],\n",
       " [4, 9, 0.76666666666666672],\n",
       " [5, 0, 0.94999999999999996],\n",
       " [5, 1, 0.90000000000000002],\n",
       " [5, 2, 0.93333333333333335],\n",
       " [5, 3, 0.90000000000000002],\n",
       " [5, 4, 0.94999999999999996],\n",
       " [5, 5, 0.93333333333333335],\n",
       " [5, 6, 0.84999999999999998],\n",
       " [5, 7, 0.78333333333333333],\n",
       " [5, 8, 0.90000000000000002],\n",
       " [5, 9, 0.91666666666666663],\n",
       " [6, 0, 0.96666666666666667],\n",
       " [6, 1, 0.94999999999999996],\n",
       " [6, 2, 0.81666666666666665],\n",
       " [6, 3, 0.78333333333333333],\n",
       " [6, 4, 0.93333333333333335],\n",
       " [6, 5, 0.93333333333333335],\n",
       " [6, 6, 0.81666666666666665],\n",
       " [6, 7, 0.83333333333333337],\n",
       " [6, 8, 0.98333333333333328],\n",
       " [6, 9, 0.8833333333333333],\n",
       " [7, 0, 0.93333333333333335],\n",
       " [7, 1, 0.90000000000000002],\n",
       " [7, 2, 0.84999999999999998],\n",
       " [7, 3, 0.91666666666666663],\n",
       " [7, 4, 0.94999999999999996],\n",
       " [7, 5, 0.8833333333333333],\n",
       " [7, 6, 0.96666666666666667],\n",
       " [7, 7, 0.83333333333333337],\n",
       " [7, 8, 0.91666666666666663],\n",
       " [7, 9, 0.93333333333333335],\n",
       " [8, 0, 0.90000000000000002],\n",
       " [8, 1, 0.94999999999999996],\n",
       " [8, 2, 0.93333333333333335],\n",
       " [8, 3, 0.94999999999999996],\n",
       " [8, 4, 0.8666666666666667],\n",
       " [8, 5, 0.90000000000000002],\n",
       " [8, 6, 0.93333333333333335],\n",
       " [8, 7, 0.98333333333333328],\n",
       " [8, 8, 0.83333333333333337],\n",
       " [8, 9, 0.8666666666666667],\n",
       " [9, 0, 0.90000000000000002],\n",
       " [9, 1, 0.94999999999999996],\n",
       " [9, 2, 0.90000000000000002],\n",
       " [9, 3, 0.93333333333333335],\n",
       " [9, 4, 0.91666666666666663],\n",
       " [9, 5, 0.8666666666666667],\n",
       " [9, 6, 0.94999999999999996],\n",
       " [9, 7, 0.96666666666666667],\n",
       " [9, 8, 0.84999999999999998],\n",
       " [9, 9, 0.78333333333333333],\n",
       " [10, 0, 0.90000000000000002],\n",
       " [10, 1, 0.94999999999999996],\n",
       " [10, 2, 0.94999999999999996],\n",
       " [10, 3, 0.8833333333333333],\n",
       " [10, 4, 0.91666666666666663],\n",
       " [10, 5, 0.96666666666666667],\n",
       " [10, 6, 0.93333333333333335],\n",
       " [10, 7, 0.81666666666666665],\n",
       " [10, 8, 0.8833333333333333],\n",
       " [10, 9, 0.8666666666666667],\n",
       " [11, 0, 0.93333333333333335],\n",
       " [11, 1, 0.94999999999999996],\n",
       " [11, 2, 0.8833333333333333],\n",
       " [11, 3, 0.93333333333333335],\n",
       " [11, 4, 0.94999999999999996],\n",
       " [11, 5, 0.98333333333333328],\n",
       " [11, 6, 0.93333333333333335],\n",
       " [11, 7, 0.93333333333333335],\n",
       " [11, 8, 0.90000000000000002],\n",
       " [11, 9, 0.81666666666666665],\n",
       " [12, 0, 0.98333333333333328],\n",
       " [12, 1, 0.94999999999999996],\n",
       " [12, 2, 0.98333333333333328],\n",
       " [12, 3, 0.8833333333333333],\n",
       " [12, 4, 0.93333333333333335],\n",
       " [12, 5, 0.81666666666666665],\n",
       " [12, 6, 0.8833333333333333],\n",
       " [12, 7, 0.98333333333333328],\n",
       " [12, 8, 0.91666666666666663],\n",
       " [12, 9, 0.80000000000000004],\n",
       " [13, 0, 0.94999999999999996],\n",
       " [13, 1, 0.8666666666666667],\n",
       " [13, 2, 0.91666666666666663],\n",
       " [13, 3, 0.93333333333333335],\n",
       " [13, 4, 0.94999999999999996],\n",
       " [13, 5, 0.94999999999999996],\n",
       " [13, 6, 0.93333333333333335],\n",
       " [13, 7, 0.93333333333333335],\n",
       " [13, 8, 0.91666666666666663],\n",
       " [13, 9, 0.90000000000000002],\n",
       " [14, 0, 0.8833333333333333],\n",
       " [14, 1, 0.93333333333333335],\n",
       " [14, 2, 0.96666666666666667],\n",
       " [14, 3, 0.90000000000000002],\n",
       " [14, 4, 0.90000000000000002],\n",
       " [14, 5, 0.94999999999999996],\n",
       " [14, 6, 0.94999999999999996],\n",
       " [14, 7, 0.84999999999999998],\n",
       " [14, 8, 0.8666666666666667],\n",
       " [14, 9, 0.93333333333333335],\n",
       " [15, 0, 0.93333333333333335],\n",
       " [15, 1, 0.96666666666666667],\n",
       " [15, 2, 0.96666666666666667],\n",
       " [15, 3, 0.90000000000000002],\n",
       " [15, 4, 0.94999999999999996],\n",
       " [15, 5, 0.94999999999999996],\n",
       " [15, 6, 0.8833333333333333],\n",
       " [15, 7, 0.94999999999999996],\n",
       " [15, 8, 0.8666666666666667],\n",
       " [15, 9, 0.96666666666666667],\n",
       " [16, 0, 0.96666666666666667],\n",
       " [16, 1, 0.91666666666666663],\n",
       " [16, 2, 0.8833333333333333],\n",
       " [16, 3, 0.98333333333333328],\n",
       " [16, 4, 0.91666666666666663],\n",
       " [16, 5, 0.93333333333333335],\n",
       " [16, 6, 0.90000000000000002],\n",
       " [16, 7, 0.78333333333333333],\n",
       " [16, 8, 0.91666666666666663],\n",
       " [16, 9, 0.80000000000000004],\n",
       " [17, 0, 0.96666666666666667],\n",
       " [17, 1, 0.94999999999999996],\n",
       " [17, 2, 0.91666666666666663],\n",
       " [17, 3, 0.93333333333333335],\n",
       " [17, 4, 0.84999999999999998],\n",
       " [17, 5, 0.80000000000000004],\n",
       " [17, 6, 0.8666666666666667],\n",
       " [17, 7, 0.8666666666666667],\n",
       " [17, 8, 0.91666666666666663],\n",
       " [17, 9, 0.96666666666666667],\n",
       " [18, 0, 0.91666666666666663],\n",
       " [18, 1, 0.94999999999999996],\n",
       " [18, 2, 0.90000000000000002],\n",
       " [18, 3, 0.8666666666666667],\n",
       " [18, 4, 0.94999999999999996],\n",
       " [18, 5, 0.98333333333333328],\n",
       " [18, 6, 0.94999999999999996],\n",
       " [18, 7, 0.8666666666666667],\n",
       " [18, 8, 0.90000000000000002],\n",
       " [18, 9, 0.75],\n",
       " [19, 0, 0.96666666666666667],\n",
       " [19, 1, 0.96666666666666667],\n",
       " [19, 2, 0.84999999999999998],\n",
       " [19, 3, 0.91666666666666663],\n",
       " [19, 4, 0.8666666666666667],\n",
       " [19, 5, 0.90000000000000002],\n",
       " [19, 6, 0.8666666666666667],\n",
       " [19, 7, 0.91666666666666663],\n",
       " [19, 8, 0.91666666666666663],\n",
       " [19, 9, 0.93333333333333335],\n",
       " [20, 0, 0.96666666666666667],\n",
       " [20, 1, 0.91666666666666663],\n",
       " [20, 2, 0.96666666666666667],\n",
       " [20, 3, 0.94999999999999996],\n",
       " [20, 4, 0.90000000000000002],\n",
       " [20, 5, 0.94999999999999996],\n",
       " [20, 6, 0.94999999999999996],\n",
       " [20, 7, 0.91666666666666663],\n",
       " [20, 8, 0.91666666666666663],\n",
       " [20, 9, 0.91666666666666663],\n",
       " [21, 0, 0.91666666666666663],\n",
       " [21, 1, 0.93333333333333335],\n",
       " [21, 2, 0.8833333333333333],\n",
       " [21, 3, 0.93333333333333335],\n",
       " [21, 4, 0.94999999999999996],\n",
       " [21, 5, 0.8833333333333333],\n",
       " [21, 6, 0.93333333333333335],\n",
       " [21, 7, 0.8833333333333333],\n",
       " [21, 8, 0.83333333333333337],\n",
       " [21, 9, 0.8833333333333333],\n",
       " [22, 0, 0.91666666666666663],\n",
       " [22, 1, 0.96666666666666667],\n",
       " [22, 2, 0.93333333333333335],\n",
       " [22, 3, 0.96666666666666667],\n",
       " [22, 4, 0.96666666666666667],\n",
       " [22, 5, 0.96666666666666667],\n",
       " [22, 6, 0.91666666666666663],\n",
       " [22, 7, 0.90000000000000002],\n",
       " [22, 8, 0.94999999999999996],\n",
       " [22, 9, 0.75],\n",
       " [23, 0, 0.96666666666666667],\n",
       " [23, 1, 0.91666666666666663],\n",
       " [23, 2, 0.93333333333333335],\n",
       " [23, 3, 0.96666666666666667],\n",
       " [23, 4, 0.90000000000000002],\n",
       " [23, 5, 0.93333333333333335],\n",
       " [23, 6, 0.91666666666666663],\n",
       " [23, 7, 0.90000000000000002],\n",
       " [23, 8, 0.94999999999999996],\n",
       " [23, 9, 0.8833333333333333],\n",
       " [24, 0, 0.96666666666666667],\n",
       " [24, 1, 0.94999999999999996],\n",
       " [24, 2, 0.84999999999999998],\n",
       " [24, 3, 0.93333333333333335],\n",
       " [24, 4, 0.94999999999999996],\n",
       " [24, 5, 0.91666666666666663],\n",
       " [24, 6, 0.84999999999999998],\n",
       " [24, 7, 0.8666666666666667],\n",
       " [24, 8, 0.8666666666666667],\n",
       " [24, 9, 0.91666666666666663],\n",
       " [25, 0, 0.93333333333333335],\n",
       " [25, 1, 0.93333333333333335],\n",
       " [25, 2, 0.98333333333333328],\n",
       " [25, 3, 0.93333333333333335],\n",
       " [25, 4, 0.90000000000000002],\n",
       " [25, 5, 0.93333333333333335],\n",
       " [25, 6, 0.96666666666666667],\n",
       " [25, 7, 0.98333333333333328],\n",
       " [25, 8, 0.8666666666666667],\n",
       " [25, 9, 0.91666666666666663],\n",
       " [26, 0, 0.8833333333333333],\n",
       " [26, 1, 0.96666666666666667],\n",
       " [26, 2, 0.91666666666666663],\n",
       " [26, 3, 0.90000000000000002],\n",
       " [26, 4, 0.93333333333333335],\n",
       " [26, 5, 0.96666666666666667],\n",
       " [26, 6, 0.8666666666666667],\n",
       " [26, 7, 0.8666666666666667],\n",
       " [26, 8, 0.90000000000000002],\n",
       " [26, 9, 0.8833333333333333],\n",
       " [27, 0, 0.94999999999999996],\n",
       " [27, 1, 0.94999999999999996],\n",
       " [27, 2, 0.94999999999999996],\n",
       " [27, 3, 0.94999999999999996],\n",
       " [27, 4, 0.93333333333333335],\n",
       " [27, 5, 0.94999999999999996],\n",
       " [27, 6, 0.8666666666666667],\n",
       " [27, 7, 0.93333333333333335],\n",
       " [27, 8, 0.93333333333333335],\n",
       " [27, 9, 0.91666666666666663],\n",
       " [28, 0, 0.94999999999999996],\n",
       " [28, 1, 0.94999999999999996],\n",
       " [28, 2, 0.91666666666666663],\n",
       " [28, 3, 0.93333333333333335],\n",
       " [28, 4, 0.98333333333333328],\n",
       " [28, 5, 0.91666666666666663],\n",
       " [28, 6, 0.94999999999999996],\n",
       " [28, 7, 0.94999999999999996],\n",
       " [28, 8, 0.8833333333333333],\n",
       " [28, 9, 0.8833333333333333],\n",
       " [29, 0, 0.91666666666666663],\n",
       " [29, 1, 0.90000000000000002],\n",
       " [29, 2, 0.96666666666666667],\n",
       " [29, 3, 0.93333333333333335],\n",
       " [29, 4, 0.90000000000000002],\n",
       " [29, 5, 0.90000000000000002],\n",
       " [29, 6, 0.78333333333333333],\n",
       " [29, 7, 0.96666666666666667],\n",
       " [29, 8, 0.8666666666666667],\n",
       " [29, 9, 0.80000000000000004],\n",
       " [30, 0, 0.96666666666666667],\n",
       " [30, 1, 0.98333333333333328],\n",
       " [30, 2, 0.8666666666666667],\n",
       " [30, 3, 0.91666666666666663],\n",
       " [30, 4, 0.93333333333333335],\n",
       " [30, 5, 0.94999999999999996],\n",
       " [30, 6, 0.90000000000000002],\n",
       " [30, 7, 0.8833333333333333],\n",
       " [30, 8, 0.8833333333333333],\n",
       " [30, 9, 0.91666666666666663],\n",
       " [31, 0, 0.8666666666666667],\n",
       " [31, 1, 0.98333333333333328],\n",
       " [31, 2, 0.8833333333333333],\n",
       " [31, 3, 0.94999999999999996],\n",
       " [31, 4, 0.94999999999999996],\n",
       " [31, 5, 0.91666666666666663],\n",
       " [31, 6, 0.93333333333333335],\n",
       " [31, 7, 0.8833333333333333],\n",
       " [31, 8, 0.93333333333333335],\n",
       " [31, 9, 0.94999999999999996],\n",
       " [32, 0, 0.93333333333333335],\n",
       " [32, 1, 0.91666666666666663],\n",
       " [32, 2, 0.98333333333333328],\n",
       " [32, 3, 0.93333333333333335],\n",
       " [32, 4, 0.94999999999999996],\n",
       " [32, 5, 0.91666666666666663],\n",
       " [32, 6, 0.90000000000000002],\n",
       " [32, 7, 0.8666666666666667],\n",
       " [32, 8, 0.84999999999999998],\n",
       " [32, 9, 0.8833333333333333],\n",
       " [33, 0, 0.90000000000000002],\n",
       " [33, 1, 0.90000000000000002],\n",
       " [33, 2, 0.90000000000000002],\n",
       " [33, 3, 0.93333333333333335],\n",
       " [33, 4, 0.93333333333333335],\n",
       " [33, 5, 0.93333333333333335],\n",
       " [33, 6, 0.93333333333333335],\n",
       " [33, 7, 0.91666666666666663],\n",
       " [33, 8, 0.94999999999999996],\n",
       " [33, 9, 0.73333333333333328],\n",
       " [34, 0, 0.98333333333333328],\n",
       " [34, 1, 0.90000000000000002],\n",
       " [34, 2, 0.94999999999999996],\n",
       " [34, 3, 0.94999999999999996],\n",
       " [34, 4, 0.8666666666666667],\n",
       " [34, 5, 0.90000000000000002],\n",
       " [34, 6, 0.93333333333333335],\n",
       " [34, 7, 0.93333333333333335],\n",
       " [34, 8, 0.94999999999999996],\n",
       " [34, 9, 0.84999999999999998],\n",
       " [35, 0, 0.94999999999999996],\n",
       " [35, 1, 0.90000000000000002],\n",
       " [35, 2, 0.94999999999999996],\n",
       " [35, 3, 0.96666666666666667],\n",
       " [35, 4, 0.96666666666666667],\n",
       " [35, 5, 0.90000000000000002],\n",
       " [35, 6, 0.91666666666666663],\n",
       " [35, 7, 0.94999999999999996],\n",
       " [35, 8, 0.78333333333333333],\n",
       " [35, 9, 0.8666666666666667],\n",
       " [36, 0, 0.8833333333333333],\n",
       " [36, 1, 0.93333333333333335],\n",
       " [36, 2, 0.90000000000000002],\n",
       " [36, 3, 0.93333333333333335],\n",
       " [36, 4, 0.91666666666666663],\n",
       " [36, 5, 0.91666666666666663],\n",
       " [36, 6, 0.91666666666666663],\n",
       " [36, 7, 0.91666666666666663],\n",
       " [36, 8, 0.83333333333333337],\n",
       " [36, 9, 0.93333333333333335],\n",
       " [37, 0, 0.94999999999999996],\n",
       " [37, 1, 0.94999999999999996],\n",
       " [37, 2, 0.93333333333333335],\n",
       " [37, 3, 0.91666666666666663],\n",
       " [37, 4, 0.91666666666666663],\n",
       " [37, 5, 0.93333333333333335],\n",
       " [37, 6, 0.90000000000000002],\n",
       " [37, 7, 0.84999999999999998],\n",
       " [37, 8, 0.8666666666666667],\n",
       " [37, 9, 0.83333333333333337],\n",
       " [38, 0, 0.93333333333333335],\n",
       " [38, 1, 0.96666666666666667],\n",
       " [38, 2, 0.91666666666666663],\n",
       " [38, 3, 0.8833333333333333],\n",
       " [38, 4, 0.94999999999999996],\n",
       " [38, 5, 0.8666666666666667],\n",
       " [38, 6, 0.91666666666666663],\n",
       " [38, 7, 0.8666666666666667],\n",
       " [38, 8, 0.91666666666666663],\n",
       " [38, 9, 0.78333333333333333],\n",
       " [39, 0, 0.96666666666666667],\n",
       " [39, 1, 0.98333333333333328],\n",
       " [39, 2, 0.91666666666666663],\n",
       " [39, 3, 0.91666666666666663],\n",
       " [39, 4, 0.96666666666666667],\n",
       " [39, 5, 0.90000000000000002],\n",
       " [39, 6, 0.91666666666666663],\n",
       " [39, 7, 0.93333333333333335],\n",
       " [39, 8, 0.94999999999999996],\n",
       " [39, 9, 0.75],\n",
       " [40, 0, 0.93333333333333335],\n",
       " [40, 1, 0.93333333333333335],\n",
       " [40, 2, 0.91666666666666663],\n",
       " [40, 3, 0.90000000000000002],\n",
       " [40, 4, 0.94999999999999996],\n",
       " [40, 5, 0.78333333333333333],\n",
       " [40, 6, 0.96666666666666667],\n",
       " [40, 7, 0.84999999999999998],\n",
       " [40, 8, 0.94999999999999996],\n",
       " [40, 9, 0.91666666666666663],\n",
       " [41, 0, 0.98333333333333328],\n",
       " [41, 1, 0.96666666666666667],\n",
       " [41, 2, 0.94999999999999996],\n",
       " [41, 3, 0.98333333333333328],\n",
       " [41, 4, 0.8833333333333333],\n",
       " [41, 5, 0.94999999999999996],\n",
       " [41, 6, 0.90000000000000002],\n",
       " [41, 7, 0.8833333333333333],\n",
       " [41, 8, 0.93333333333333335],\n",
       " [41, 9, 0.94999999999999996],\n",
       " [42, 0, 0.96666666666666667],\n",
       " [42, 1, 0.96666666666666667],\n",
       " [42, 2, 0.94999999999999996],\n",
       " [42, 3, 0.90000000000000002],\n",
       " [42, 4, 0.96666666666666667],\n",
       " [42, 5, 0.96666666666666667],\n",
       " [42, 6, 0.90000000000000002],\n",
       " [42, 7, 0.93333333333333335],\n",
       " [42, 8, 0.90000000000000002],\n",
       " [42, 9, 0.8666666666666667],\n",
       " [43, 0, 0.96666666666666667],\n",
       " [43, 1, 0.94999999999999996],\n",
       " [43, 2, 0.94999999999999996],\n",
       " [43, 3, 0.93333333333333335],\n",
       " [43, 4, 0.8666666666666667],\n",
       " [43, 5, 0.90000000000000002],\n",
       " [43, 6, 0.8833333333333333],\n",
       " [43, 7, 0.96666666666666667],\n",
       " [43, 8, 0.91666666666666663],\n",
       " [43, 9, 0.90000000000000002],\n",
       " [44, 0, 1.0],\n",
       " [44, 1, 0.96666666666666667],\n",
       " [44, 2, 0.91666666666666663],\n",
       " [44, 3, 0.90000000000000002],\n",
       " [44, 4, 0.96666666666666667],\n",
       " [44, 5, 0.96666666666666667],\n",
       " [44, 6, 0.91666666666666663],\n",
       " [44, 7, 0.94999999999999996],\n",
       " [44, 8, 0.94999999999999996],\n",
       " [44, 9, 0.90000000000000002],\n",
       " [45, 0, 0.94999999999999996],\n",
       " [45, 1, 0.94999999999999996],\n",
       " [45, 2, 0.93333333333333335],\n",
       " [45, 3, 0.94999999999999996],\n",
       " [45, 4, 0.96666666666666667],\n",
       " [45, 5, 0.91666666666666663],\n",
       " [45, 6, 0.90000000000000002],\n",
       " [45, 7, 0.93333333333333335],\n",
       " [45, 8, 0.96666666666666667],\n",
       " [45, 9, 0.93333333333333335],\n",
       " [46, 0, 0.93333333333333335],\n",
       " [46, 1, 0.8833333333333333],\n",
       " [46, 2, 0.94999999999999996],\n",
       " [46, 3, 0.90000000000000002],\n",
       " [46, 4, 0.98333333333333328],\n",
       " [46, 5, 0.93333333333333335],\n",
       " [46, 6, 0.91666666666666663],\n",
       " [46, 7, 0.93333333333333335],\n",
       " [46, 8, 0.91666666666666663],\n",
       " [46, 9, 0.93333333333333335],\n",
       " [47, 0, 0.96666666666666667],\n",
       " [47, 1, 0.98333333333333328],\n",
       " [47, 2, 0.96666666666666667],\n",
       " [47, 3, 0.96666666666666667],\n",
       " [47, 4, 0.94999999999999996],\n",
       " [47, 5, 0.94999999999999996],\n",
       " [47, 6, 0.93333333333333335],\n",
       " [47, 7, 0.83333333333333337],\n",
       " [47, 8, 0.83333333333333337],\n",
       " [47, 9, 0.90000000000000002],\n",
       " [48, 0, 0.96666666666666667],\n",
       " [48, 1, 0.98333333333333328],\n",
       " [48, 2, 0.94999999999999996],\n",
       " [48, 3, 0.90000000000000002],\n",
       " [48, 4, 0.8833333333333333],\n",
       " [48, 5, 0.90000000000000002],\n",
       " [48, 6, 0.96666666666666667],\n",
       " [48, 7, 0.93333333333333335],\n",
       " [48, 8, 0.8833333333333333],\n",
       " [48, 9, 0.93333333333333335],\n",
       " [49, 0, 0.96666666666666667],\n",
       " [49, 1, 0.8666666666666667],\n",
       " [49, 2, 0.90000000000000002],\n",
       " [49, 3, 0.90000000000000002],\n",
       " [49, 4, 0.96666666666666667],\n",
       " [49, 5, 0.83333333333333337],\n",
       " [49, 6, 0.91666666666666663],\n",
       " [49, 7, 0.93333333333333335],\n",
       " [49, 8, 0.91666666666666663],\n",
       " [49, 9, 0.93333333333333335],\n",
       " [0, 0, 0.48333333333333334],\n",
       " [0, 1, 0.48333333333333334],\n",
       " [0, 2, 0.48333333333333334],\n",
       " [0, 3, 0.48333333333333334],\n",
       " [0, 4, 0.48333333333333334],\n",
       " [0, 5, 0.48333333333333334],\n",
       " [0, 6, 0.48333333333333334],\n",
       " [0, 7, 0.48333333333333334],\n",
       " [0, 8, 0.48333333333333334],\n",
       " [0, 9, 0.48333333333333334],\n",
       " [1, 0, 0.43333333333333335],\n",
       " [1, 1, 0.46666666666666667],\n",
       " [1, 2, 0.48333333333333334],\n",
       " [1, 3, 0.51666666666666672],\n",
       " [1, 4, 0.40000000000000002],\n",
       " [1, 5, 0.46666666666666667],\n",
       " [1, 6, 0.46666666666666667],\n",
       " [1, 7, 0.46666666666666667],\n",
       " [1, 8, 0.48333333333333334],\n",
       " [1, 9, 0.40000000000000002],\n",
       " [2, 0, 0.45000000000000001],\n",
       " [2, 1, 0.71666666666666667],\n",
       " [2, 2, 0.75],\n",
       " [2, 3, 0.65000000000000002],\n",
       " [2, 4, 0.66666666666666663],\n",
       " [2, 5, 0.56666666666666665],\n",
       " [2, 6, 0.69999999999999996],\n",
       " [2, 7, 0.6333333333333333],\n",
       " [2, 8, 0.48333333333333334],\n",
       " [2, 9, 0.48333333333333334],\n",
       " [3, 0, 0.68333333333333335],\n",
       " [3, 1, 0.75],\n",
       " [3, 2, 0.81666666666666665],\n",
       " [3, 3, 0.69999999999999996],\n",
       " [3, 4, 0.66666666666666663],\n",
       " [3, 5, 0.56666666666666665],\n",
       " [3, 6, 0.75],\n",
       " [3, 7, 0.69999999999999996],\n",
       " [3, 8, 0.73333333333333328],\n",
       " [3, 9, 0.6333333333333333],\n",
       " [4, 0, 0.91666666666666663],\n",
       " [4, 1, 0.80000000000000004],\n",
       " [4, 2, 0.94999999999999996],\n",
       " [4, 3, 0.81666666666666665],\n",
       " [4, 4, 0.83333333333333337],\n",
       " [4, 5, 0.6333333333333333],\n",
       " [4, 6, 0.80000000000000004],\n",
       " [4, 7, 0.83333333333333337],\n",
       " [4, 8, 0.69999999999999996],\n",
       " [4, 9, 0.84999999999999998],\n",
       " [5, 0, 0.78333333333333333],\n",
       " [5, 1, 0.8833333333333333],\n",
       " [5, 2, 0.90000000000000002],\n",
       " [5, 3, 0.8833333333333333],\n",
       " [5, 4, 0.8666666666666667],\n",
       " [5, 5, 0.93333333333333335],\n",
       " [5, 6, 0.84999999999999998],\n",
       " [5, 7, 0.84999999999999998],\n",
       " [5, 8, 0.78333333333333333],\n",
       " [5, 9, 0.8833333333333333],\n",
       " [6, 0, 0.90000000000000002],\n",
       " [6, 1, 0.91666666666666663],\n",
       " [6, 2, 0.83333333333333337],\n",
       " [6, 3, 0.90000000000000002],\n",
       " [6, 4, 0.96666666666666667],\n",
       " [6, 5, 0.81666666666666665],\n",
       " [6, 6, 0.90000000000000002],\n",
       " [6, 7, 0.94999999999999996],\n",
       " [6, 8, 0.8833333333333333],\n",
       " [6, 9, 0.84999999999999998],\n",
       " [7, 0, 0.93333333333333335],\n",
       " [7, 1, 0.94999999999999996],\n",
       " [7, 2, 0.93333333333333335],\n",
       " [7, 3, 0.83333333333333337],\n",
       " [7, 4, 0.91666666666666663],\n",
       " [7, 5, 0.93333333333333335],\n",
       " [7, 6, 0.8666666666666667],\n",
       " [7, 7, 0.84999999999999998],\n",
       " [7, 8, 0.90000000000000002],\n",
       " [7, 9, 0.8666666666666667],\n",
       " [8, 0, 0.96666666666666667],\n",
       " [8, 1, 0.93333333333333335],\n",
       " [8, 2, 0.90000000000000002],\n",
       " [8, 3, 0.96666666666666667],\n",
       " [8, 4, 0.84999999999999998],\n",
       " [8, 5, 0.98333333333333328],\n",
       " [8, 6, 0.90000000000000002],\n",
       " [8, 7, 0.93333333333333335],\n",
       " [8, 8, 0.94999999999999996],\n",
       " [8, 9, 0.8833333333333333],\n",
       " [9, 0, 0.93333333333333335],\n",
       " [9, 1, 0.98333333333333328],\n",
       " [9, 2, 0.94999999999999996],\n",
       " [9, 3, 0.91666666666666663],\n",
       " [9, 4, 0.91666666666666663],\n",
       " [9, 5, 0.8833333333333333],\n",
       " [9, 6, 0.93333333333333335],\n",
       " [9, 7, 0.8833333333333333],\n",
       " [9, 8, 0.8666666666666667],\n",
       " [9, 9, 0.91666666666666663],\n",
       " [10, 0, 0.94999999999999996],\n",
       " [10, 1, 0.93333333333333335],\n",
       " [10, 2, 0.8833333333333333],\n",
       " [10, 3, 0.8833333333333333],\n",
       " [10, 4, 0.96666666666666667],\n",
       " [10, 5, 0.75],\n",
       " [10, 6, 0.93333333333333335],\n",
       " [10, 7, 0.96666666666666667],\n",
       " [10, 8, 0.94999999999999996],\n",
       " [10, 9, 0.93333333333333335],\n",
       " [11, 0, 0.90000000000000002],\n",
       " [11, 1, 0.94999999999999996],\n",
       " [11, 2, 0.90000000000000002],\n",
       " [11, 3, 0.94999999999999996],\n",
       " [11, 4, 0.90000000000000002],\n",
       " [11, 5, 0.96666666666666667],\n",
       " [11, 6, 0.90000000000000002],\n",
       " [11, 7, 0.96666666666666667],\n",
       " [11, 8, 0.81666666666666665],\n",
       " [11, 9, 0.80000000000000004],\n",
       " [12, 0, 0.93333333333333335],\n",
       " [12, 1, 0.90000000000000002],\n",
       " [12, 2, 0.90000000000000002],\n",
       " [12, 3, 0.94999999999999996],\n",
       " [12, 4, 0.98333333333333328],\n",
       " [12, 5, 0.93333333333333335],\n",
       " [12, 6, 0.91666666666666663],\n",
       " [12, 7, 0.91666666666666663],\n",
       " [12, 8, 0.93333333333333335],\n",
       " [12, 9, 0.84999999999999998],\n",
       " [13, 0, 0.91666666666666663],\n",
       " [13, 1, 0.91666666666666663],\n",
       " [13, 2, 0.94999999999999996],\n",
       " [13, 3, 0.94999999999999996],\n",
       " [13, 4, 0.93333333333333335],\n",
       " [13, 5, 0.94999999999999996],\n",
       " [13, 6, 0.8666666666666667],\n",
       " [13, 7, 0.98333333333333328],\n",
       " [13, 8, 0.93333333333333335],\n",
       " [13, 9, 0.78333333333333333],\n",
       " [14, 0, 0.96666666666666667],\n",
       " [14, 1, 0.94999999999999996],\n",
       " [14, 2, 0.94999999999999996],\n",
       " [14, 3, 0.91666666666666663],\n",
       " [14, 4, 0.93333333333333335],\n",
       " [14, 5, 0.84999999999999998],\n",
       " [14, 6, 0.90000000000000002],\n",
       " [14, 7, 0.81666666666666665],\n",
       " [14, 8, 0.90000000000000002],\n",
       " [14, 9, 0.90000000000000002],\n",
       " [15, 0, 0.93333333333333335],\n",
       " [15, 1, 0.96666666666666667],\n",
       " [15, 2, 0.94999999999999996],\n",
       " [15, 3, 0.93333333333333335],\n",
       " [15, 4, 0.90000000000000002],\n",
       " [15, 5, 0.91666666666666663],\n",
       " [15, 6, 0.90000000000000002],\n",
       " [15, 7, 0.90000000000000002],\n",
       " [15, 8, 0.90000000000000002],\n",
       " [15, 9, 0.91666666666666663],\n",
       " [16, 0, 0.84999999999999998],\n",
       " [16, 1, 0.94999999999999996],\n",
       " [16, 2, 0.8833333333333333],\n",
       " [16, 3, 0.90000000000000002],\n",
       " [16, 4, 0.90000000000000002],\n",
       " [16, 5, 0.93333333333333335],\n",
       " [16, 6, 0.96666666666666667],\n",
       " [16, 7, 0.90000000000000002],\n",
       " [16, 8, 0.84999999999999998],\n",
       " [16, 9, 0.84999999999999998],\n",
       " [17, 0, 0.91666666666666663],\n",
       " [17, 1, 0.96666666666666667],\n",
       " [17, 2, 0.96666666666666667],\n",
       " [17, 3, 0.94999999999999996],\n",
       " [17, 4, 0.94999999999999996],\n",
       " [17, 5, 0.90000000000000002],\n",
       " [17, 6, 0.90000000000000002],\n",
       " [17, 7, 0.8666666666666667],\n",
       " [17, 8, 0.81666666666666665],\n",
       " [17, 9, 0.90000000000000002],\n",
       " [18, 0, 0.96666666666666667],\n",
       " [18, 1, 1.0],\n",
       " [18, 2, 0.94999999999999996],\n",
       " [18, 3, 0.93333333333333335],\n",
       " [18, 4, 0.94999999999999996],\n",
       " [18, 5, 0.91666666666666663],\n",
       " [18, 6, 0.81666666666666665],\n",
       " [18, 7, 0.83333333333333337],\n",
       " [18, 8, 0.96666666666666667],\n",
       " [18, 9, 0.8833333333333333],\n",
       " [19, 0, 0.91666666666666663],\n",
       " [19, 1, 0.90000000000000002],\n",
       " [19, 2, 0.90000000000000002],\n",
       " [19, 3, 0.96666666666666667],\n",
       " [19, 4, 0.96666666666666667],\n",
       " [19, 5, 0.83333333333333337],\n",
       " [19, 6, 0.8833333333333333],\n",
       " [19, 7, 0.94999999999999996],\n",
       " [19, 8, 0.8666666666666667],\n",
       " [19, 9, 0.8833333333333333],\n",
       " [20, 0, 0.93333333333333335],\n",
       " [20, 1, 0.93333333333333335],\n",
       " [20, 2, 0.8666666666666667],\n",
       " [20, 3, 0.94999999999999996],\n",
       " [20, 4, 0.93333333333333335],\n",
       " [20, 5, 0.90000000000000002],\n",
       " [20, 6, 0.93333333333333335],\n",
       " [20, 7, 0.94999999999999996],\n",
       " [20, 8, 0.93333333333333335],\n",
       " [20, 9, 0.94999999999999996],\n",
       " [21, 0, 0.94999999999999996],\n",
       " [21, 1, 0.90000000000000002],\n",
       " [21, 2, 0.8666666666666667],\n",
       " [21, 3, 0.94999999999999996],\n",
       " [21, 4, 0.94999999999999996],\n",
       " [21, 5, 0.84999999999999998],\n",
       " [21, 6, 0.90000000000000002],\n",
       " [21, 7, 0.91666666666666663],\n",
       " [21, 8, 0.8666666666666667],\n",
       " [21, 9, 0.96666666666666667],\n",
       " [22, 0, 0.93333333333333335],\n",
       " [22, 1, 0.93333333333333335],\n",
       " [22, 2, 0.94999999999999996],\n",
       " [22, 3, 0.8833333333333333],\n",
       " [22, 4, 0.8833333333333333],\n",
       " [22, 5, 0.80000000000000004],\n",
       " [22, 6, 0.8833333333333333],\n",
       " [22, 7, 0.93333333333333335],\n",
       " [22, 8, 0.91666666666666663],\n",
       " [22, 9, 0.84999999999999998],\n",
       " [23, 0, 0.90000000000000002],\n",
       " [23, 1, 0.93333333333333335],\n",
       " [23, 2, 0.90000000000000002],\n",
       " [23, 3, 0.96666666666666667],\n",
       " [23, 4, 0.94999999999999996],\n",
       " [23, 5, 0.8833333333333333],\n",
       " [23, 6, 0.94999999999999996],\n",
       " [23, 7, 0.90000000000000002],\n",
       " [23, 8, 0.96666666666666667],\n",
       " [23, 9, 0.81666666666666665],\n",
       " [24, 0, 0.91666666666666663],\n",
       " [24, 1, 0.91666666666666663],\n",
       " [24, 2, 1.0],\n",
       " [24, 3, 0.90000000000000002],\n",
       " [24, 4, 0.96666666666666667],\n",
       " [24, 5, 0.8666666666666667],\n",
       " [24, 6, 0.90000000000000002],\n",
       " [24, 7, 0.94999999999999996],\n",
       " [24, 8, 0.94999999999999996],\n",
       " [24, 9, 0.90000000000000002],\n",
       " [25, 0, 0.96666666666666667],\n",
       " [25, 1, 0.93333333333333335],\n",
       " [25, 2, 0.83333333333333337],\n",
       " [25, 3, 0.96666666666666667],\n",
       " [25, 4, 0.94999999999999996],\n",
       " [25, 5, 0.76666666666666672],\n",
       " [25, 6, 0.8833333333333333],\n",
       " [25, 7, 0.96666666666666667],\n",
       " [25, 8, 0.96666666666666667],\n",
       " [25, 9, 0.90000000000000002],\n",
       " [26, 0, 0.90000000000000002],\n",
       " [26, 1, 0.8666666666666667],\n",
       " [26, 2, 0.98333333333333328],\n",
       " [26, 3, 0.91666666666666663],\n",
       " [26, 4, 0.8833333333333333],\n",
       " [26, 5, 0.90000000000000002],\n",
       " [26, 6, 0.93333333333333335],\n",
       " [26, 7, 0.94999999999999996],\n",
       " [26, 8, 0.84999999999999998],\n",
       " [26, 9, 0.94999999999999996],\n",
       " [27, 0, 0.98333333333333328],\n",
       " [27, 1, 0.94999999999999996],\n",
       " [27, 2, 0.94999999999999996],\n",
       " [27, 3, 0.84999999999999998],\n",
       " [27, 4, 0.91666666666666663],\n",
       " [27, 5, 0.8833333333333333],\n",
       " [27, 6, 0.94999999999999996],\n",
       " [27, 7, 0.91666666666666663],\n",
       " [27, 8, 0.90000000000000002],\n",
       " [27, 9, 0.93333333333333335],\n",
       " [28, 0, 0.98333333333333328],\n",
       " [28, 1, 0.93333333333333335],\n",
       " [28, 2, 0.96666666666666667],\n",
       " [28, 3, 0.96666666666666667],\n",
       " [28, 4, 0.96666666666666667],\n",
       " [28, 5, 0.94999999999999996],\n",
       " [28, 6, 0.96666666666666667],\n",
       " [28, 7, 0.91666666666666663],\n",
       " [28, 8, 0.81666666666666665],\n",
       " [28, 9, 0.94999999999999996],\n",
       " [29, 0, 0.96666666666666667],\n",
       " [29, 1, 0.93333333333333335],\n",
       " [29, 2, 0.94999999999999996],\n",
       " [29, 3, 0.90000000000000002],\n",
       " [29, 4, 0.90000000000000002],\n",
       " [29, 5, 0.94999999999999996],\n",
       " [29, 6, 0.93333333333333335],\n",
       " [29, 7, 0.83333333333333337],\n",
       " [29, 8, 0.90000000000000002],\n",
       " [29, 9, 0.93333333333333335],\n",
       " [30, 0, 0.93333333333333335],\n",
       " [30, 1, 0.96666666666666667],\n",
       " [30, 2, 0.93333333333333335],\n",
       " [30, 3, 0.91666666666666663],\n",
       " [30, 4, 0.93333333333333335],\n",
       " [30, 5, 0.8666666666666667],\n",
       " [30, 6, 0.91666666666666663],\n",
       " [30, 7, 0.91666666666666663],\n",
       " [30, 8, 0.96666666666666667],\n",
       " [30, 9, 0.91666666666666663],\n",
       " [31, 0, 0.96666666666666667],\n",
       " [31, 1, 0.98333333333333328],\n",
       " [31, 2, 0.90000000000000002],\n",
       " [31, 3, 0.98333333333333328],\n",
       " [31, 4, 0.90000000000000002],\n",
       " [31, 5, 0.91666666666666663],\n",
       " [31, 6, 0.90000000000000002],\n",
       " [31, 7, 0.96666666666666667],\n",
       " [31, 8, 0.96666666666666667],\n",
       " [31, 9, 0.96666666666666667],\n",
       " [32, 0, 0.96666666666666667],\n",
       " [32, 1, 0.93333333333333335],\n",
       " [32, 2, 0.96666666666666667],\n",
       " [32, 3, 0.93333333333333335],\n",
       " [32, 4, 0.96666666666666667],\n",
       " [32, 5, 0.94999999999999996],\n",
       " [32, 6, 0.94999999999999996],\n",
       " [32, 7, 0.90000000000000002],\n",
       " [32, 8, 0.84999999999999998],\n",
       " [32, 9, 0.80000000000000004],\n",
       " [33, 0, 0.94999999999999996],\n",
       " [33, 1, 0.84999999999999998],\n",
       " [33, 2, 0.91666666666666663],\n",
       " [33, 3, 0.91666666666666663],\n",
       " [33, 4, 0.94999999999999996],\n",
       " [33, 5, 0.93333333333333335],\n",
       " [33, 6, 0.83333333333333337],\n",
       " [33, 7, 0.90000000000000002],\n",
       " [33, 8, 0.94999999999999996],\n",
       " [33, 9, 0.81666666666666665],\n",
       " [34, 0, 0.96666666666666667],\n",
       " [34, 1, 0.8666666666666667],\n",
       " [34, 2, 0.90000000000000002],\n",
       " [34, 3, 0.94999999999999996],\n",
       " [34, 4, 0.90000000000000002],\n",
       " [34, 5, 0.84999999999999998],\n",
       " [34, 6, 0.84999999999999998],\n",
       " [34, 7, 0.84999999999999998],\n",
       " [34, 8, 0.8666666666666667],\n",
       " [34, 9, 0.91666666666666663],\n",
       " [35, 0, 0.93333333333333335],\n",
       " [35, 1, 0.90000000000000002],\n",
       " [35, 2, 0.96666666666666667],\n",
       " [35, 3, 0.94999999999999996],\n",
       " [35, 4, 0.96666666666666667],\n",
       " [35, 5, 0.93333333333333335],\n",
       " [35, 6, 0.8666666666666667],\n",
       " [35, 7, 0.8833333333333333],\n",
       " [35, 8, 0.91666666666666663],\n",
       " [35, 9, 0.91666666666666663],\n",
       " [36, 0, 0.98333333333333328],\n",
       " [36, 1, 0.94999999999999996],\n",
       " [36, 2, 0.90000000000000002],\n",
       " [36, 3, 0.94999999999999996],\n",
       " [36, 4, 0.91666666666666663],\n",
       " [36, 5, 0.93333333333333335],\n",
       " [36, 6, 0.8833333333333333],\n",
       " [36, 7, 0.90000000000000002],\n",
       " [36, 8, 0.90000000000000002],\n",
       " [36, 9, 0.91666666666666663],\n",
       " [37, 0, 0.8833333333333333],\n",
       " [37, 1, 0.84999999999999998],\n",
       " [37, 2, 0.91666666666666663],\n",
       " [37, 3, 0.90000000000000002],\n",
       " [37, 4, 0.96666666666666667],\n",
       " [37, 5, 0.84999999999999998],\n",
       " [37, 6, 0.91666666666666663],\n",
       " [37, 7, 0.8833333333333333],\n",
       " [37, 8, 0.8666666666666667],\n",
       " [37, 9, 0.94999999999999996],\n",
       " [38, 0, 0.91666666666666663],\n",
       " [38, 1, 0.94999999999999996],\n",
       " [38, 2, 0.93333333333333335],\n",
       " [38, 3, 0.96666666666666667],\n",
       " [38, 4, 0.93333333333333335],\n",
       " [38, 5, 0.90000000000000002],\n",
       " [38, 6, 0.94999999999999996],\n",
       " [38, 7, 0.91666666666666663],\n",
       " [38, 8, 0.94999999999999996],\n",
       " [38, 9, 0.94999999999999996],\n",
       " [39, 0, 0.93333333333333335],\n",
       " [39, 1, 0.91666666666666663],\n",
       " [39, 2, 0.93333333333333335],\n",
       " [39, 3, 0.91666666666666663],\n",
       " [39, 4, 0.96666666666666667],\n",
       " [39, 5, 0.94999999999999996],\n",
       " [39, 6, 0.96666666666666667],\n",
       " [39, 7, 0.83333333333333337],\n",
       " [39, 8, 0.8833333333333333],\n",
       " [39, 9, 0.8833333333333333],\n",
       " [40, 0, 0.90000000000000002],\n",
       " [40, 1, 0.90000000000000002],\n",
       " [40, 2, 0.96666666666666667],\n",
       " [40, 3, 0.93333333333333335],\n",
       " [40, 4, 0.91666666666666663],\n",
       " [40, 5, 0.8833333333333333],\n",
       " [40, 6, 0.93333333333333335],\n",
       " [40, 7, 0.91666666666666663],\n",
       " [40, 8, 0.96666666666666667],\n",
       " [40, 9, 0.90000000000000002],\n",
       " [41, 0, 0.98333333333333328],\n",
       " [41, 1, 0.94999999999999996],\n",
       " [41, 2, 0.96666666666666667],\n",
       " [41, 3, 0.96666666666666667],\n",
       " [41, 4, 0.98333333333333328],\n",
       " [41, 5, 0.93333333333333335],\n",
       " [41, 6, 0.93333333333333335],\n",
       " [41, 7, 0.84999999999999998],\n",
       " [41, 8, 0.8833333333333333],\n",
       " [41, 9, 0.94999999999999996],\n",
       " [42, 0, 0.94999999999999996],\n",
       " [42, 1, 0.93333333333333335],\n",
       " [42, 2, 0.94999999999999996],\n",
       " [42, 3, 0.98333333333333328],\n",
       " [42, 4, 0.93333333333333335],\n",
       " [42, 5, 0.93333333333333335],\n",
       " [42, 6, 0.8833333333333333],\n",
       " [42, 7, 0.84999999999999998],\n",
       " [42, 8, 0.90000000000000002],\n",
       " [42, 9, 0.96666666666666667],\n",
       " [43, 0, 0.96666666666666667],\n",
       " [43, 1, 0.93333333333333335],\n",
       " [43, 2, 0.96666666666666667],\n",
       " [43, 3, 0.94999999999999996],\n",
       " [43, 4, 0.90000000000000002],\n",
       " [43, 5, 0.91666666666666663],\n",
       " [43, 6, 0.8666666666666667],\n",
       " [43, 7, 0.90000000000000002],\n",
       " [43, 8, 0.96666666666666667],\n",
       " [43, 9, 0.8833333333333333],\n",
       " [44, 0, 0.94999999999999996],\n",
       " [44, 1, 0.8666666666666667],\n",
       " [44, 2, 0.96666666666666667],\n",
       " [44, 3, 0.94999999999999996],\n",
       " [44, 4, 0.96666666666666667],\n",
       " [44, 5, 0.91666666666666663],\n",
       " [44, 6, 0.93333333333333335],\n",
       " [44, 7, 0.91666666666666663],\n",
       " [44, 8, 0.83333333333333337],\n",
       " [44, 9, 0.94999999999999996],\n",
       " [45, 0, 0.94999999999999996],\n",
       " [45, 1, 0.90000000000000002],\n",
       " [45, 2, 0.96666666666666667],\n",
       " [45, 3, 0.8666666666666667],\n",
       " [45, 4, 0.96666666666666667],\n",
       " [45, 5, 0.93333333333333335],\n",
       " [45, 6, 0.8666666666666667],\n",
       " [45, 7, 0.8833333333333333],\n",
       " [45, 8, 0.76666666666666672],\n",
       " [45, 9, 0.84999999999999998],\n",
       " [46, 0, 0.96666666666666667],\n",
       " [46, 1, 0.90000000000000002],\n",
       " [46, 2, 0.84999999999999998],\n",
       " [46, 3, 0.90000000000000002],\n",
       " [46, 4, 0.94999999999999996],\n",
       " [46, 5, 0.90000000000000002],\n",
       " [46, 6, 0.8666666666666667],\n",
       " [46, 7, 0.8833333333333333],\n",
       " [46, 8, 1.0],\n",
       " [46, 9, 0.90000000000000002],\n",
       " [47, 0, 0.84999999999999998],\n",
       " [47, 1, 0.93333333333333335],\n",
       " [47, 2, 0.98333333333333328],\n",
       " [47, 3, 0.94999999999999996],\n",
       " [47, 4, 0.96666666666666667],\n",
       " [47, 5, 0.8833333333333333],\n",
       " [47, 6, 0.90000000000000002],\n",
       " [47, 7, 0.90000000000000002],\n",
       " [47, 8, 0.8833333333333333],\n",
       " [47, 9, 0.96666666666666667],\n",
       " [48, 0, 0.94999999999999996],\n",
       " [48, 1, 0.96666666666666667],\n",
       " [48, 2, 0.93333333333333335],\n",
       " [48, 3, 0.93333333333333335],\n",
       " [48, 4, 0.90000000000000002],\n",
       " [48, 5, 0.90000000000000002],\n",
       " [48, 6, 0.91666666666666663],\n",
       " [48, 7, 0.94999999999999996],\n",
       " [48, 8, 0.8666666666666667],\n",
       " [48, 9, 0.90000000000000002],\n",
       " [49, 0, 0.98333333333333328],\n",
       " [49, 1, 0.94999999999999996],\n",
       " [49, 2, 0.94999999999999996],\n",
       " [49, 3, 0.96666666666666667],\n",
       " [49, 4, 0.93333333333333335],\n",
       " [49, 5, 0.91666666666666663],\n",
       " [49, 6, 0.94999999999999996],\n",
       " [49, 7, 0.91666666666666663],\n",
       " [49, 8, 0.83333333333333337],\n",
       " [49, 9, 0.8666666666666667],\n",
       " ...]"
      ]
     },
     "execution_count": 112,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "accuracies"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 113,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "final_accuracy_kneigh = []\n",
    "\n",
    "for i in depth_values:\n",
    "    for s in min_samples_values:\n",
    "        count = 0\n",
    "        total = 0\n",
    "        for a in accuracies:\n",
    "            if a[0] == i and a[1] == s:\n",
    "                total = total + a[2]\n",
    "                count += 1\n",
    "                if count == splits_to_do:\n",
    "                    total = total / splits_to_do\n",
    "                    final_accuracy_kneigh.append([i, s, total])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 114,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[[0, 0, 0.48333333333333328],\n",
       " [0, 1, 0.48333333333333328],\n",
       " [0, 2, 0.48333333333333328],\n",
       " [0, 3, 0.48333333333333328],\n",
       " [0, 4, 0.48333333333333328],\n",
       " [0, 5, 0.48333333333333328],\n",
       " [0, 6, 0.48333333333333328],\n",
       " [0, 7, 0.48333333333333328],\n",
       " [0, 8, 0.48333333333333328],\n",
       " [0, 9, 0.48333333333333328],\n",
       " [1, 0, 0.44666666666666666],\n",
       " [1, 1, 0.45000000000000001],\n",
       " [1, 2, 0.42333333333333334],\n",
       " [1, 3, 0.5],\n",
       " [1, 4, 0.46666666666666667],\n",
       " [1, 5, 0.46666666666666667],\n",
       " [1, 6, 0.45333333333333331],\n",
       " [1, 7, 0.51000000000000001],\n",
       " [1, 8, 0.46666666666666662],\n",
       " [1, 9, 0.48333333333333339],\n",
       " [2, 0, 0.53000000000000003],\n",
       " [2, 1, 0.59333333333333338],\n",
       " [2, 2, 0.59333333333333327],\n",
       " [2, 3, 0.60333333333333328],\n",
       " [2, 4, 0.54333333333333333],\n",
       " [2, 5, 0.55000000000000004],\n",
       " [2, 6, 0.54000000000000004],\n",
       " [2, 7, 0.59999999999999998],\n",
       " [2, 8, 0.55333333333333345],\n",
       " [2, 9, 0.52333333333333332],\n",
       " [3, 0, 0.73333333333333339],\n",
       " [3, 1, 0.69000000000000006],\n",
       " [3, 2, 0.77666666666666662],\n",
       " [3, 3, 0.72333333333333327],\n",
       " [3, 4, 0.67333333333333323],\n",
       " [3, 5, 0.64666666666666672],\n",
       " [3, 6, 0.72666666666666657],\n",
       " [3, 7, 0.7566666666666666],\n",
       " [3, 8, 0.72333333333333338],\n",
       " [3, 9, 0.7566666666666666],\n",
       " [4, 0, 0.84333333333333338],\n",
       " [4, 1, 0.81666666666666665],\n",
       " [4, 2, 0.85666666666666669],\n",
       " [4, 3, 0.82333333333333325],\n",
       " [4, 4, 0.78333333333333344],\n",
       " [4, 5, 0.76666666666666672],\n",
       " [4, 6, 0.80666666666666664],\n",
       " [4, 7, 0.86666666666666659],\n",
       " [4, 8, 0.81333333333333324],\n",
       " [4, 9, 0.78000000000000003],\n",
       " [5, 0, 0.85999999999999999],\n",
       " [5, 1, 0.88333333333333341],\n",
       " [5, 2, 0.89000000000000001],\n",
       " [5, 3, 0.90000000000000002],\n",
       " [5, 4, 0.89000000000000001],\n",
       " [5, 5, 0.90333333333333332],\n",
       " [5, 6, 0.84333333333333338],\n",
       " [5, 7, 0.86666666666666659],\n",
       " [5, 8, 0.86333333333333329],\n",
       " [5, 9, 0.88000000000000012],\n",
       " [6, 0, 0.92999999999999994],\n",
       " [6, 1, 0.91999999999999993],\n",
       " [6, 2, 0.83333333333333326],\n",
       " [6, 3, 0.88666666666666671],\n",
       " [6, 4, 0.91000000000000014],\n",
       " [6, 5, 0.85999999999999999],\n",
       " [6, 6, 0.86333333333333329],\n",
       " [6, 7, 0.89333333333333331],\n",
       " [6, 8, 0.90666666666666662],\n",
       " [6, 9, 0.86333333333333329],\n",
       " [7, 0, 0.93000000000000005],\n",
       " [7, 1, 0.91999999999999993],\n",
       " [7, 2, 0.92666666666666675],\n",
       " [7, 3, 0.92333333333333345],\n",
       " [7, 4, 0.93333333333333335],\n",
       " [7, 5, 0.93333333333333335],\n",
       " [7, 6, 0.88000000000000012],\n",
       " [7, 7, 0.87666666666666659],\n",
       " [7, 8, 0.93333333333333335],\n",
       " [7, 9, 0.88333333333333341],\n",
       " [8, 0, 0.92333333333333323],\n",
       " [8, 1, 0.94999999999999996],\n",
       " [8, 2, 0.90999999999999992],\n",
       " [8, 3, 0.91666666666666663],\n",
       " [8, 4, 0.91666666666666663],\n",
       " [8, 5, 0.93000000000000005],\n",
       " [8, 6, 0.91000000000000014],\n",
       " [8, 7, 0.90000000000000002],\n",
       " [8, 8, 0.89666666666666672],\n",
       " [8, 9, 0.87999999999999989],\n",
       " [9, 0, 0.94000000000000006],\n",
       " [9, 1, 0.94333333333333313],\n",
       " [9, 2, 0.91999999999999993],\n",
       " [9, 3, 0.91333333333333333],\n",
       " [9, 4, 0.93333333333333335],\n",
       " [9, 5, 0.91666666666666663],\n",
       " [9, 6, 0.92333333333333323],\n",
       " [9, 7, 0.91333333333333333],\n",
       " [9, 8, 0.90999999999999992],\n",
       " [9, 9, 0.87333333333333329],\n",
       " [10, 0, 0.94333333333333336],\n",
       " [10, 1, 0.94666666666666666],\n",
       " [10, 2, 0.92666666666666675],\n",
       " [10, 3, 0.93000000000000005],\n",
       " [10, 4, 0.93000000000000005],\n",
       " [10, 5, 0.89000000000000001],\n",
       " [10, 6, 0.93000000000000005],\n",
       " [10, 7, 0.89666666666666672],\n",
       " [10, 8, 0.8899999999999999],\n",
       " [10, 9, 0.8899999999999999],\n",
       " [11, 0, 0.93666666666666676],\n",
       " [11, 1, 0.93333333333333335],\n",
       " [11, 2, 0.91333333333333333],\n",
       " [11, 3, 0.91333333333333333],\n",
       " [11, 4, 0.92333333333333345],\n",
       " [11, 5, 0.93666666666666676],\n",
       " [11, 6, 0.90000000000000002],\n",
       " [11, 7, 0.94666666666666666],\n",
       " [11, 8, 0.88000000000000012],\n",
       " [11, 9, 0.83000000000000007],\n",
       " [12, 0, 0.93333333333333324],\n",
       " [12, 1, 0.92666666666666653],\n",
       " [12, 2, 0.93333333333333335],\n",
       " [12, 3, 0.92666666666666653],\n",
       " [12, 4, 0.95666666666666667],\n",
       " [12, 5, 0.89666666666666672],\n",
       " [12, 6, 0.90666666666666662],\n",
       " [12, 7, 0.93333333333333324],\n",
       " [12, 8, 0.90666666666666662],\n",
       " [12, 9, 0.85333333333333328],\n",
       " [13, 0, 0.93666666666666676],\n",
       " [13, 1, 0.90000000000000002],\n",
       " [13, 2, 0.92333333333333345],\n",
       " [13, 3, 0.92333333333333345],\n",
       " [13, 4, 0.92666666666666653],\n",
       " [13, 5, 0.91666666666666663],\n",
       " [13, 6, 0.92666666666666675],\n",
       " [13, 7, 0.93666666666666654],\n",
       " [13, 8, 0.8899999999999999],\n",
       " [13, 9, 0.88000000000000012],\n",
       " [14, 0, 0.94333333333333336],\n",
       " [14, 1, 0.94666666666666666],\n",
       " [14, 2, 0.93333333333333324],\n",
       " [14, 3, 0.91666666666666663],\n",
       " [14, 4, 0.90333333333333332],\n",
       " [14, 5, 0.93333333333333335],\n",
       " [14, 6, 0.92666666666666675],\n",
       " [14, 7, 0.86333333333333329],\n",
       " [14, 8, 0.87666666666666671],\n",
       " [14, 9, 0.91666666666666663],\n",
       " [15, 0, 0.95333333333333337],\n",
       " [15, 1, 0.94999999999999996],\n",
       " [15, 2, 0.95999999999999996],\n",
       " [15, 3, 0.93666666666666676],\n",
       " [15, 4, 0.93000000000000005],\n",
       " [15, 5, 0.93333333333333335],\n",
       " [15, 6, 0.92666666666666653],\n",
       " [15, 7, 0.90999999999999992],\n",
       " [15, 8, 0.89333333333333331],\n",
       " [15, 9, 0.93666666666666676],\n",
       " [16, 0, 0.91666666666666663],\n",
       " [16, 1, 0.93000000000000005],\n",
       " [16, 2, 0.90333333333333332],\n",
       " [16, 3, 0.92666666666666653],\n",
       " [16, 4, 0.92333333333333345],\n",
       " [16, 5, 0.93333333333333335],\n",
       " [16, 6, 0.91333333333333333],\n",
       " [16, 7, 0.86666666666666681],\n",
       " [16, 8, 0.87333333333333341],\n",
       " [16, 9, 0.84999999999999998],\n",
       " [17, 0, 0.94333333333333336],\n",
       " [17, 1, 0.94999999999999996],\n",
       " [17, 2, 0.93666666666666676],\n",
       " [17, 3, 0.93666666666666654],\n",
       " [17, 4, 0.93333333333333335],\n",
       " [17, 5, 0.90000000000000002],\n",
       " [17, 6, 0.92666666666666653],\n",
       " [17, 7, 0.89666666666666672],\n",
       " [17, 8, 0.89333333333333331],\n",
       " [17, 9, 0.88333333333333319],\n",
       " [18, 0, 0.94333333333333336],\n",
       " [18, 1, 0.94000000000000006],\n",
       " [18, 2, 0.94000000000000006],\n",
       " [18, 3, 0.91666666666666674],\n",
       " [18, 4, 0.94333333333333336],\n",
       " [18, 5, 0.91999999999999993],\n",
       " [18, 6, 0.87999999999999989],\n",
       " [18, 7, 0.89666666666666672],\n",
       " [18, 8, 0.89333333333333331],\n",
       " [18, 9, 0.83666666666666667],\n",
       " [19, 0, 0.95666666666666667],\n",
       " [19, 1, 0.93666666666666654],\n",
       " [19, 2, 0.90333333333333332],\n",
       " [19, 3, 0.94000000000000006],\n",
       " [19, 4, 0.93000000000000005],\n",
       " [19, 5, 0.88000000000000012],\n",
       " [19, 6, 0.91666666666666674],\n",
       " [19, 7, 0.91666666666666663],\n",
       " [19, 8, 0.89000000000000001],\n",
       " [19, 9, 0.89000000000000001],\n",
       " [20, 0, 0.93999999999999984],\n",
       " [20, 1, 0.92333333333333345],\n",
       " [20, 2, 0.92333333333333345],\n",
       " [20, 3, 0.94333333333333336],\n",
       " [20, 4, 0.91000000000000014],\n",
       " [20, 5, 0.94000000000000006],\n",
       " [20, 6, 0.92666666666666675],\n",
       " [20, 7, 0.91666666666666674],\n",
       " [20, 8, 0.89666666666666683],\n",
       " [20, 9, 0.91666666666666663],\n",
       " [21, 0, 0.93333333333333335],\n",
       " [21, 1, 0.92333333333333323],\n",
       " [21, 2, 0.93000000000000005],\n",
       " [21, 3, 0.92666666666666675],\n",
       " [21, 4, 0.91999999999999993],\n",
       " [21, 5, 0.89666666666666672],\n",
       " [21, 6, 0.92333333333333345],\n",
       " [21, 7, 0.91333333333333333],\n",
       " [21, 8, 0.88666666666666671],\n",
       " [21, 9, 0.89666666666666672],\n",
       " [22, 0, 0.95666666666666667],\n",
       " [22, 1, 0.93000000000000005],\n",
       " [22, 2, 0.93000000000000005],\n",
       " [22, 3, 0.93666666666666676],\n",
       " [22, 4, 0.91666666666666674],\n",
       " [22, 5, 0.91000000000000014],\n",
       " [22, 6, 0.91999999999999993],\n",
       " [22, 7, 0.87333333333333341],\n",
       " [22, 8, 0.92666666666666675],\n",
       " [22, 9, 0.86333333333333329],\n",
       " [23, 0, 0.94333333333333336],\n",
       " [23, 1, 0.92333333333333323],\n",
       " [23, 2, 0.92000000000000015],\n",
       " [23, 3, 0.94999999999999996],\n",
       " [23, 4, 0.94666666666666666],\n",
       " [23, 5, 0.93333333333333335],\n",
       " [23, 6, 0.91333333333333333],\n",
       " [23, 7, 0.89666666666666672],\n",
       " [23, 8, 0.94999999999999996],\n",
       " [23, 9, 0.86666666666666659],\n",
       " [24, 0, 0.94000000000000006],\n",
       " [24, 1, 0.91666666666666663],\n",
       " [24, 2, 0.91666666666666674],\n",
       " [24, 3, 0.93666666666666676],\n",
       " [24, 4, 0.94666666666666655],\n",
       " [24, 5, 0.90000000000000002],\n",
       " [24, 6, 0.90999999999999992],\n",
       " [24, 7, 0.92666666666666675],\n",
       " [24, 8, 0.91666666666666674],\n",
       " [24, 9, 0.89666666666666672],\n",
       " [25, 0, 0.93666666666666654],\n",
       " [25, 1, 0.94000000000000006],\n",
       " [25, 2, 0.89333333333333331],\n",
       " [25, 3, 0.93333333333333335],\n",
       " [25, 4, 0.94333333333333336],\n",
       " [25, 5, 0.91333333333333333],\n",
       " [25, 6, 0.93333333333333335],\n",
       " [25, 7, 0.90000000000000002],\n",
       " [25, 8, 0.90666666666666662],\n",
       " [25, 9, 0.88666666666666671],\n",
       " [26, 0, 0.92666666666666653],\n",
       " [26, 1, 0.92666666666666653],\n",
       " [26, 2, 0.93333333333333324],\n",
       " [26, 3, 0.92666666666666675],\n",
       " [26, 4, 0.91000000000000014],\n",
       " [26, 5, 0.94000000000000006],\n",
       " [26, 6, 0.90000000000000002],\n",
       " [26, 7, 0.93666666666666676],\n",
       " [26, 8, 0.90000000000000002],\n",
       " [26, 9, 0.89666666666666672],\n",
       " [27, 0, 0.96333333333333326],\n",
       " [27, 1, 0.94666666666666666],\n",
       " [27, 2, 0.93666666666666676],\n",
       " [27, 3, 0.92333333333333323],\n",
       " [27, 4, 0.91666666666666663],\n",
       " [27, 5, 0.93666666666666676],\n",
       " [27, 6, 0.91333333333333333],\n",
       " [27, 7, 0.89000000000000001],\n",
       " [27, 8, 0.90666666666666662],\n",
       " [27, 9, 0.90000000000000002],\n",
       " [28, 0, 0.96999999999999997],\n",
       " [28, 1, 0.93999999999999984],\n",
       " [28, 2, 0.94333333333333336],\n",
       " [28, 3, 0.95666666666666667],\n",
       " [28, 4, 0.93666666666666676],\n",
       " [28, 5, 0.94666666666666666],\n",
       " [28, 6, 0.91666666666666663],\n",
       " [28, 7, 0.86333333333333329],\n",
       " [28, 8, 0.88333333333333341],\n",
       " [28, 9, 0.91666666666666663],\n",
       " [29, 0, 0.94333333333333313],\n",
       " [29, 1, 0.94000000000000006],\n",
       " [29, 2, 0.95999999999999996],\n",
       " [29, 3, 0.93000000000000005],\n",
       " [29, 4, 0.90999999999999992],\n",
       " [29, 5, 0.93333333333333324],\n",
       " [29, 6, 0.89666666666666672],\n",
       " [29, 7, 0.90000000000000002],\n",
       " [29, 8, 0.91000000000000014],\n",
       " [29, 9, 0.90666666666666662],\n",
       " [30, 0, 0.92666666666666653],\n",
       " [30, 1, 0.95999999999999996],\n",
       " [30, 2, 0.91999999999999993],\n",
       " [30, 3, 0.91999999999999993],\n",
       " [30, 4, 0.92666666666666653],\n",
       " [30, 5, 0.91333333333333333],\n",
       " [30, 6, 0.90000000000000002],\n",
       " [30, 7, 0.89000000000000001],\n",
       " [30, 8, 0.90999999999999992],\n",
       " [30, 9, 0.89000000000000001],\n",
       " [31, 0, 0.91666666666666674],\n",
       " [31, 1, 0.96666666666666656],\n",
       " [31, 2, 0.91333333333333333],\n",
       " [31, 3, 0.93666666666666676],\n",
       " [31, 4, 0.93333333333333335],\n",
       " [31, 5, 0.88333333333333319],\n",
       " [31, 6, 0.92666666666666675],\n",
       " [31, 7, 0.94000000000000006],\n",
       " [31, 8, 0.93000000000000005],\n",
       " [31, 9, 0.85999999999999999],\n",
       " [32, 0, 0.93666666666666654],\n",
       " [32, 1, 0.91999999999999993],\n",
       " [32, 2, 0.95999999999999996],\n",
       " [32, 3, 0.90999999999999992],\n",
       " [32, 4, 0.94000000000000006],\n",
       " [32, 5, 0.92333333333333345],\n",
       " [32, 6, 0.91999999999999993],\n",
       " [32, 7, 0.87333333333333329],\n",
       " [32, 8, 0.89000000000000001],\n",
       " [32, 9, 0.88666666666666671],\n",
       " [33, 0, 0.94666666666666666],\n",
       " [33, 1, 0.90999999999999992],\n",
       " [33, 2, 0.92000000000000015],\n",
       " [33, 3, 0.93333333333333335],\n",
       " [33, 4, 0.92666666666666653],\n",
       " [33, 5, 0.94666666666666666],\n",
       " [33, 6, 0.88666666666666671],\n",
       " [33, 7, 0.89666666666666672],\n",
       " [33, 8, 0.92999999999999994],\n",
       " [33, 9, 0.86999999999999988],\n",
       " [34, 0, 0.95333333333333337],\n",
       " [34, 1, 0.92000000000000015],\n",
       " [34, 2, 0.92333333333333345],\n",
       " [34, 3, 0.95666666666666667],\n",
       " [34, 4, 0.91666666666666663],\n",
       " [34, 5, 0.91333333333333333],\n",
       " [34, 6, 0.91333333333333344],\n",
       " [34, 7, 0.89666666666666672],\n",
       " [34, 8, 0.87333333333333341],\n",
       " [34, 9, 0.89666666666666672],\n",
       " [35, 0, 0.91666666666666674],\n",
       " [35, 1, 0.91999999999999993],\n",
       " [35, 2, 0.93333333333333335],\n",
       " [35, 3, 0.93333333333333324],\n",
       " [35, 4, 0.93666666666666654],\n",
       " [35, 5, 0.92333333333333345],\n",
       " [35, 6, 0.90999999999999992],\n",
       " [35, 7, 0.86333333333333329],\n",
       " [35, 8, 0.90333333333333332],\n",
       " [35, 9, 0.85666666666666669],\n",
       " [36, 0, 0.93000000000000005],\n",
       " [36, 1, 0.94000000000000006],\n",
       " [36, 2, 0.91999999999999993],\n",
       " [36, 3, 0.96333333333333326],\n",
       " [36, 4, 0.93666666666666676],\n",
       " [36, 5, 0.95333333333333337],\n",
       " [36, 6, 0.91666666666666663],\n",
       " [36, 7, 0.88000000000000012],\n",
       " [36, 8, 0.90000000000000002],\n",
       " [36, 9, 0.89333333333333331],\n",
       " [37, 0, 0.91999999999999993],\n",
       " [37, 1, 0.92333333333333323],\n",
       " [37, 2, 0.94000000000000006],\n",
       " [37, 3, 0.92333333333333345],\n",
       " [37, 4, 0.95666666666666667],\n",
       " [37, 5, 0.92000000000000015],\n",
       " [37, 6, 0.89333333333333331],\n",
       " [37, 7, 0.90000000000000002],\n",
       " [37, 8, 0.87666666666666671],\n",
       " [37, 9, 0.86666666666666659],\n",
       " [38, 0, 0.93000000000000005],\n",
       " [38, 1, 0.95666666666666667],\n",
       " [38, 2, 0.94333333333333336],\n",
       " [38, 3, 0.94000000000000006],\n",
       " [38, 4, 0.92999999999999994],\n",
       " [38, 5, 0.90999999999999992],\n",
       " [38, 6, 0.92999999999999994],\n",
       " [38, 7, 0.90000000000000002],\n",
       " [38, 8, 0.94000000000000006],\n",
       " [38, 9, 0.90000000000000002],\n",
       " [39, 0, 0.94333333333333336],\n",
       " [39, 1, 0.93333333333333335],\n",
       " [39, 2, 0.92666666666666653],\n",
       " [39, 3, 0.92000000000000015],\n",
       " [39, 4, 0.91666666666666663],\n",
       " [39, 5, 0.93333333333333335],\n",
       " [39, 6, 0.93666666666666676],\n",
       " [39, 7, 0.88333333333333319],\n",
       " [39, 8, 0.88333333333333341],\n",
       " [39, 9, 0.87333333333333329],\n",
       " [40, 0, 0.90999999999999992],\n",
       " [40, 1, 0.93333333333333335],\n",
       " [40, 2, 0.94333333333333336],\n",
       " [40, 3, 0.92666666666666675],\n",
       " [40, 4, 0.89666666666666672],\n",
       " [40, 5, 0.87999999999999989],\n",
       " [40, 6, 0.92666666666666653],\n",
       " [40, 7, 0.91000000000000014],\n",
       " [40, 8, 0.93333333333333335],\n",
       " [40, 9, 0.87333333333333341],\n",
       " [41, 0, 0.95999999999999996],\n",
       " [41, 1, 0.95333333333333337],\n",
       " [41, 2, 0.93999999999999984],\n",
       " [41, 3, 0.94333333333333336],\n",
       " [41, 4, 0.94000000000000006],\n",
       " [41, 5, 0.91333333333333333],\n",
       " [41, 6, 0.92666666666666653],\n",
       " [41, 7, 0.90666666666666662],\n",
       " [41, 8, 0.88000000000000012],\n",
       " [41, 9, 0.91999999999999993],\n",
       " [42, 0, 0.93999999999999984],\n",
       " [42, 1, 0.94999999999999996],\n",
       " [42, 2, 0.94000000000000006],\n",
       " [42, 3, 0.94000000000000006],\n",
       " [42, 4, 0.93333333333333324],\n",
       " [42, 5, 0.92333333333333345],\n",
       " [42, 6, 0.90666666666666662],\n",
       " [42, 7, 0.92333333333333345],\n",
       " [42, 8, 0.91333333333333344],\n",
       " [42, 9, 0.89000000000000001],\n",
       " [43, 0, 0.93333333333333335],\n",
       " [43, 1, 0.93333333333333324],\n",
       " [43, 2, 0.96333333333333326],\n",
       " [43, 3, 0.90666666666666662],\n",
       " [43, 4, 0.93000000000000005],\n",
       " [43, 5, 0.91666666666666663],\n",
       " [43, 6, 0.87999999999999989],\n",
       " [43, 7, 0.91666666666666674],\n",
       " [43, 8, 0.89666666666666672],\n",
       " [43, 9, 0.87666666666666659],\n",
       " [44, 0, 0.95333333333333337],\n",
       " [44, 1, 0.94333333333333336],\n",
       " [44, 2, 0.94999999999999996],\n",
       " [44, 3, 0.93333333333333335],\n",
       " [44, 4, 0.96666666666666656],\n",
       " [44, 5, 0.91666666666666674],\n",
       " [44, 6, 0.92999999999999994],\n",
       " [44, 7, 0.93333333333333335],\n",
       " [44, 8, 0.91666666666666663],\n",
       " [44, 9, 0.90666666666666684],\n",
       " [45, 0, 0.93666666666666676],\n",
       " [45, 1, 0.92999999999999994],\n",
       " [45, 2, 0.91666666666666663],\n",
       " [45, 3, 0.93000000000000005],\n",
       " [45, 4, 0.94999999999999996],\n",
       " [45, 5, 0.90333333333333354],\n",
       " [45, 6, 0.90000000000000002],\n",
       " [45, 7, 0.91000000000000014],\n",
       " [45, 8, 0.89333333333333331],\n",
       " [45, 9, 0.9033333333333331],\n",
       " [46, 0, 0.93000000000000005],\n",
       " [46, 1, 0.93000000000000005],\n",
       " [46, 2, 0.91666666666666663],\n",
       " [46, 3, 0.92000000000000015],\n",
       " [46, 4, 0.96333333333333326],\n",
       " [46, 5, 0.94000000000000006],\n",
       " [46, 6, 0.89333333333333331],\n",
       " [46, 7, 0.89333333333333331],\n",
       " [46, 8, 0.91999999999999993],\n",
       " [46, 9, 0.89333333333333331],\n",
       " [47, 0, 0.93000000000000005],\n",
       " [47, 1, 0.94333333333333336],\n",
       " [47, 2, 0.93666666666666654],\n",
       " [47, 3, 0.93666666666666676],\n",
       " [47, 4, 0.94999999999999996],\n",
       " [47, 5, 0.90666666666666662],\n",
       " [47, 6, 0.90999999999999992],\n",
       " [47, 7, 0.90000000000000002],\n",
       " [47, 8, 0.86999999999999988],\n",
       " [47, 9, 0.90000000000000002],\n",
       " [48, 0, 0.96666666666666656],\n",
       " [48, 1, 0.97333333333333327],\n",
       " [48, 2, 0.93333333333333335],\n",
       " [48, 3, 0.94000000000000006],\n",
       " [48, 4, 0.91666666666666674],\n",
       " [48, 5, 0.91333333333333344],\n",
       " [48, 6, 0.91333333333333333],\n",
       " [48, 7, 0.94666666666666666],\n",
       " [48, 8, 0.91333333333333333],\n",
       " [48, 9, 0.86999999999999988],\n",
       " [49, 0, 0.93666666666666676],\n",
       " [49, 1, 0.93000000000000005],\n",
       " [49, 2, 0.94666666666666666],\n",
       " [49, 3, 0.93333333333333335],\n",
       " [49, 4, 0.94000000000000006],\n",
       " [49, 5, 0.90999999999999992],\n",
       " [49, 6, 0.90333333333333332],\n",
       " [49, 7, 0.91666666666666674],\n",
       " [49, 8, 0.89333333333333331],\n",
       " [49, 9, 0.87000000000000011]]"
      ]
     },
     "execution_count": 114,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "final_accuracy_kneigh"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 115,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "top_accuracy_rforrest = []\n",
    "\n",
    "for f in range(len(final_accuracy_kneigh)):\n",
    "    top_accuracy_rforrest.append(final_accuracy_kneigh[f][2])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 117,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "top_accuracy_rforrest = max(top_accuracy_rforrest)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 118,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.97333333333333327"
      ]
     },
     "execution_count": 118,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "top_accuracy_rforrest"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 120,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "report.append(['RandomForestClassifier',top_accuracy_rforrest,run_model_rforrest(training=points, training_labels=labels, validation_training=points_test, validation_labels=labels_test, s_depth=48, s_split=2)])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 124,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "report_df = pd.DataFrame(report)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 126,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "report_df.to_csv('/Users/JJ/Documents/SIPA/Semester 4/Artificial Intelligence/Coding/Assignment 3/output3.csv', header = None, index = None)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "hide_input": false,
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.5.2"
  },
  "nav_menu": {},
  "toc": {
   "navigate_menu": true,
   "number_sections": true,
   "sideBar": true,
   "threshold": 6,
   "toc_cell": false,
   "toc_section_display": "block",
   "toc_window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}