Notebook_5_2024_answers_Exercise_1.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": [],
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/TurkuNLP/ATP_kurssi/blob/master/Notebook_5_2024_answers_Exercise_1.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Hands-on work\n",
        "\n",
        "### Exercise 1\n",
        "\n",
        "* I (Anna) work with Finnish parliamentary speeches. Let's try to wrangle a file containing data from year 2019. NB! This file has been pre-cleaned a little to make it work here!\n",
        "\n",
        "* We will be examining the file which contains all speeches given in year 2019: https://raw.githubusercontent.com/aristila/totally-random-stuff/refs/heads/main/finparlspeeches_2019.csv\n",
        "\n",
        "\n",
        "Your tasks:\n",
        "\n",
        "1. Get the file.\n",
        "2. Check what the contents look like.\n",
        "3. One row has one speech and related metadata. How many speeches have been given this year?\n",
        "4. Some interesting columns are \"date\" (the day the speech was given), \"party\" (parliamentary faction), \"lang\" (language the speech is given in; either Finnish, Swedish, or both), and \"content\" which contains the actual speech. These columns are numbers **4, 6, 7, and 9.** Cut these four columns, (Hint: If you don't know how to cut multiple columns at once, Google it!), then save the truncated dataset as a new file called \"**speeches_2019_4c.csv**\". Use this file from now on.\n",
        "5. How many unique parties (parliamentary factions) appear in the data?\n",
        "6. Which party has given the most speeches?\n",
        "7. How many of the speeches are given only in Swedish? How many percentages is that?\n",
        "8. How many times does the word \"virus\" appear in the speeches? What about \"korona\" or \"covid\"?\n",
        "9. Get all the speeches that mention \"ilmastonmuutos\" (climate change). Which party has the most of those?\n",
        "10. On which date were there most speeches about \"ilmastonmuutos\"?\n",
        "\n",
        "EXTRA: Formulate a question of your own! What would you like to find out?"
      ],
      "metadata": {
        "id": "1APs5gVvh14Y"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# 1. Get the file.\n",
        "! wget 'https://raw.githubusercontent.com/aristila/totally-random-stuff/refs/heads/main/finparlspeeches_2019.csv'"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "oCwCo--Th1eO",
        "outputId": "6bd9d1d6-e23e-42d3-e4fc-11b25190e77b"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "--2024-11-18 09:34:40--  https://raw.githubusercontent.com/aristila/totally-random-stuff/refs/heads/main/finparlspeeches_2019.csv\n",
            "Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 185.199.110.133, 185.199.109.133, 185.199.108.133, ...\n",
            "Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|185.199.110.133|:443... connected.\n",
            "HTTP request sent, awaiting response... 200 OK\n",
            "Length: 23630196 (23M) [text/plain]\n",
            "Saving to: ‘finparlspeeches_2019.csv.1’\n",
            "\n",
            "\r          finparlsp   0%[                    ]       0  --.-KB/s               \rfinparlspeeches_201 100%[===================>]  22.54M   147MB/s    in 0.2s    \n",
            "\n",
            "2024-11-18 09:34:40 (147 MB/s) - ‘finparlspeeches_2019.csv.1’ saved [23630196/23630196]\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 2. Check what the contents look like.\n",
        "! cat finparlspeeches_2019.csv | head"
      ],
      "metadata": {
        "id": "QLHnMlgbcGLJ",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "e6396380-c0d5-4c5b-b837-fd2f8ce0e956"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "id|speaker|birth_year|party__prefLabel|speechType__prefLabel|language|date_|item__prefLabel|content\r\n",
            "s2018_1_137_001|Risikko, Paula|1960|Kansallinen Kokoomus|Puhemiehen puheenvuoro|fin|2019-01-08|Hallituksen esitys eduskunnalle laiksi työeläkevakuutusyhtiöistä annetun lain muuttamisesta ja eräiksi siihen liittyviksi laeiksi|      Lähetekeskustelua varten esitellään päiväjärjestyksen 2. asia. Puhemiesneuvosto ehdottaa, että asia lähetetään talousvaliokuntaan. Lähetekeskusteluun varataan enintään 30 minuuttia. Asian käsittelyssä noudatetaan aikataulutettujen asioiden osalta sovittuja menettelytapoja.\r\n",
            "s2018_1_137_002|Mattila, Pirkko|1964|Perussuomalaiset|Esittelypuheenvuoro|fin|2019-01-08|Hallituksen esitys eduskunnalle laiksi työeläkevakuutusyhtiöistä annetun lain muuttamisesta ja eräiksi siihen liittyviksi laeiksi|      Arvoisa rouva puhemies! Käsittelyssä on hallituksen esitys laiksi työeläkevakuutusyhtiöistä annetun lain muuttamisesta ja eräiksi siihen liittyviksi laeiksi. [Hälinää — Puhemies koputtaa] Esityksen tavoitteena on selventää, mitä institutionaalisten sijoittajien on julkisesti kerrottava siitä, miten ne käyttävät osakkeisiin perustuvia oikeuksia omistamissaan yrityksissä. Hallitus esittää, että myös lakisääteistä työeläkevakuuttamista harjoittavien eläkelaitosten omistajaohjauksen periaatteita koskevia säännöksiä selkiytetään ja täydennetään nykyisestä. Työeläkelaitosten omistajaohjauksen periaatteista ei ole säädetty kovinkaan kattavasti voimassa olevassa lainsäädännössä, vaan omistajaohjauksen periaatteiden laatiminen on jätetty pitkälti työeläkelaitoksille itselleen. Hallituksen esityksessä ehdotetaan työeläkelaitoksille riittävän kattavia ja yhtenäisiä säännöksiä. Kaikilla työeläkelaitoksilla olisi esityksen mukaan oltava vähintään yleisluontoiset omistajaohjauksen periaatteet. Lisäksi jos työeläkelaitos sijoittaa sellaisten kohdeyhteisöjen osakkeisiin, jotka ovat kaupankäynnin kohteena säännellyllä markkinalla Eta-valtiossa, työeläkelaitoksen olisi omistajaohjauksen periaatteissa kerrottava tarkempia tietoja. [Hälinää — Puhemies koputtaa] Omistajaohjauksen periaatteet olisi julkistettava maksutta työeläkelaitoksen internetsivuilla. Eläkesäätiöille ja -kassoille sallittaisiin lisäksi muu vastaava julkistamistapa. Tällä hallituksen esityksellä on asiallinen yhteys toiseen, samanaikaisesti annettuun lakiehdotukseen HE 305/2018 vp, joka liittyy Euroopan unionissa hyväksytyn osakkeenomistajien oikeuksista annetun muutosdirektiivin täytäntöönpanoon. Siksi työeläkevakuutusyhtiöistä annettuun lakiin ehdotetaan myös eräitä lähipiiritoimia ja johdon palkitsemista sekä niistä päättämistä koskevia lähinnä teknisluontoisia tarkennuksia, jotka ovat tarpeellisia muihin lakeihin, vakuutusyhtiölakiin ja osakeyhtiölakiin, ehdotettujen muutosten johdosta.\r\n",
            "s2018_1_137_003|Järvinen, Heli|1963|Vihreä liitto|Varsinainen puheenvuoro|fin|2019-01-08|Hallituksen esitys eduskunnalle laiksi työeläkevakuutusyhtiöistä annetun lain muuttamisesta ja eräiksi siihen liittyviksi laeiksi|      Arvoisa puhemies! On hyvä, että työeläkelaitosten pelisääntöjä selkeytetään. Puhumme kuitenkin lähes 200 miljardin euron... [Hälinää — Puhemies koputtaa] Puhumme lähes 200 miljardin euron kansallisomaisuudesta, joka on erinomaisen tärkeä osa meidän eläkejärjestelmämme kestävyyttä ja kantavuutta tulevaisuuteen. Tästä samasta syystä tässä salissa pitäisi käydä keskustelua lähiaikoina myös siitä, miten aiomme turvata etenkin julkisen puolen eläkkeet maailman muuttuessa.  Meillä on julkisella puolella paljon pitkäikäisiä naisia, joista aiheutuvat eläkemenot ovat suuria. Samoin siellä on paljon erityisalojen, kuten sotilaiden ja palomiesten, alemmista eläkei’istä johtuvia kuluja. Meidän on ratkaistava niiden kohtalo jatkossa, etenkin tässä tilanteessa, jossa jo nyt terveyspuolen henkilökuntaa on isossa määrin siirtynyt yksityiselle puolelle, ja riippumatta siitä, saammeko sote-uudistuksen aikaan vai emme, sama suun-taus tulee jatkumaan.  Tätä kiireellisyyttä kuvaa hyvin sekin, että mitä pitemmälle tätä päätöstä rukkaamme ja pitkitämme, sitä kalliimmaksi se yhteiskunnalle tulee. Eli meidän on viimeistään hallitusneuvotteluissa tehtävä esityksiä ja ratkaisuja tulevaisuuden suuntaviivoista, miten saamme turvattua myös julkisen alan eläkkeet tulevaisuudessa, mikä lienee vahva yhteinen tahtotilamme koko tässä salissa.\r\n",
            "s2018_1_137_004|Sarkomaa, Sari|1965|Kansallinen Kokoomus|Varsinainen puheenvuoro|fin|2019-01-08|Hallituksen esitys eduskunnalle laiksi työeläkevakuutusyhtiöistä annetun lain muuttamisesta ja eräiksi siihen liittyviksi laeiksi|      Arvoisa rouva puhemies! Tämä lakiesitys on tervetullut ja osoittaa sen, että hallitus tekee loppuun asti työtä, niin kuin eduskuntakin. Työeläkejärjestelmän toimivuuden tärkein turva on se, että Suomeen syntyy uusia työpaikkoja ja jokainen työkykyinen myöskin pääsee työhön.  Tämän hallituksen esityksen tavoitteena on todellakin lisätä lakisääteisen työeläketurvan toimeenpanosta huolehtivien työeläkelaitosten toiminnan läpinäkyvyyttä ja avoimuutta, raportoinnin oikea-aikaisuutta ja julkista luotettavuutta. Ja jotta nämä tavoitteet, todella tärkeät tavoitteet, toteutuvat — kiitos ministeri Mattilalle, että tämä esitys todellakin eduskuntaan tulee — niin meidän on todellakin säädettävä uusia tarkentavia säädöksiä omistajaohjauksen periaatteista ja ulottaa myöskin säätely työeläkevakuutusyhtiöiden ja Kevan lisäksi myös muihin työeläkelaitoksiin sekä valtion eläkerahastoihin.  Arvoisa puhemies! Haluan tässä lähetekeskustelussa vielä todeta, että todellakin nykyistä avoimempi omistajaohjaus vahvistaa osakkeenomistajan ja sijoituskohteena olevan yhtiön suhdetta ja parantaa myös yleistä sijoitussuojaa. Ja pidän erittäin hyvänä sitä, että omistajaohjauksen periaatteet ulotetaan myös niille työeläkelaitoksille, joita velvoitteet eivät tällä hetkellä todellakaan koske, ja tämä tuo todellakin sijoitustoimintaan ja markkinoille tasapuolisemmat toiminta- ja kilpailuedellytykset. Ja lopuksi vielä totean, että tuo tasapuolinen toimintaympäristö edistää rahoitusmarkkinoiden vakautta ja ennakoitavuutta ja lisää myöskin sijoittajan suojaa.  Eli pidän tätä esitystä hyvänä, mutta on tärkeää, että talousvaliokunta tämän tarkasti käy läpi.\r\n",
            "s2018_1_137_005|Juvonen, Arja|1967|Perussuomalaiset|Varsinainen puheenvuoro|fin|2019-01-08|Hallituksen esitys eduskunnalle laiksi työeläkevakuutusyhtiöistä annetun lain muuttamisesta ja eräiksi siihen liittyviksi laeiksi|      Arvoisa rouva puhemies! Selailin tätä täältä asian valmistelu-osiosta. Se on yleensä hyvä tapa ottaa kantaa myös siihen, millä tavalla asiaan perehtyneet tahot ovat asiaa kommentoineet. Huomasin, että täällä mainitaan, että esitysluonnos on lausuntokierroksen yhteydessä lähetetty valtioneuvoston kanslian yhteydessä toimivalle lainsäädännön arviointineuvostolle, mutta se ei ole kuitenkaan antanut esityksestä lausuntoaan. Mielestäni täällä eduskunnassa on ollut hyvin usein lakiesityksiä, joista on keskusteltu, onko lainvalmistelu ollut asiantuntevaa ja oikeaa ja hyvää.  Kysyisinkin teiltä, ministeri, onko tässä lakiesityksessä mielestänne vielä mitään sellaista korjattavaa ja minkä takia esimerkiksi lainsäädännön arviointineuvosto ei ole nyt tästä antanut lausuntoaan. Vaikutusten arviointihan on hyvin tärkeää ja kuuluu muun muassa arviointoneuvoston toimenkuvaan. Onko tässä jotakin sellaista? Muun muassa täältä Vastaan tai varauksellinen -osiosta löytyy huomioita tähän käsitteillä olevaan lakiin.\r\n",
            "s2018_1_137_006|Laukkanen, Antero|1958|Suomen Kristillisdemokraatit|Varsinainen puheenvuoro|fin|2019-01-08|Hallituksen esitys eduskunnalle laiksi työeläkevakuutusyhtiöistä annetun lain muuttamisesta ja eräiksi siihen liittyviksi laeiksi|      Arvoisa rouva puhemies! Täällä edustaja Järvinen oli huolissaan eläkkeiden kohdentumisesta. Kyllä nostaisin tähän myös tämän tulevien sukupolvien eläkkeiden tason, sen, miten turvataan nuorten eläkkeiden taso, nykyisten nuorten, jotka pohtivat, mahtavatko he saada eläkettä ollenkaan.  Itse tähän asiaan: Tämä säännösten tarkistaminen on mitä tervetullein asia, ja se yhtenäistää. Niin kuin täällä edustaja Sarkomaa totesi, tämä on erittäin hyvä esitys ja tuo sen tarvittavan uudistuksen ja jatkaa tätä hallituksen sujuvoittamis- ja selkeyttämislinjaa ja on siinä mielessä tervetullut.\r\n",
            "s2018_1_137_007|Essayah, Sari|1967|Suomen Kristillisdemokraatit|Varsinainen puheenvuoro|fin|2019-01-08|Hallituksen esitys eduskunnalle laiksi työeläkevakuutusyhtiöistä annetun lain muuttamisesta ja eräiksi siihen liittyviksi laeiksi|      Arvoisa rouva puhemies! Niin kuin täällä kollegat edellä ovat todenneet, työeläkevarojen huolellinen ja pitkäjänteinen hoitaminen on koko kansakunnan etu. Ja totta kai on tärkeää, että sijoitusstrategiat ja omistajaohjauksen periaatteet ovat avoimet ja läpinäkyvät.  Tässä samassa yhteydessä keskustelu on paikallaan toki myöskin siitä, millä tavalla tänä päivänä voidaan huolehtia siitä, että tulevaisuuden eläkevarat ovat kestävällä pohjalla. Ja silloin puhutaan siitä, miten me voimme varmistaa, että meillä syntyvyys on kasvussa, ja siitä, millä tavalla me voimme varmistaa sen, että ne nuoret, jotka ovat työelämässä tai työikäisiä, sinne työelämään todellakin sitten pääsevät siirtymään ja ettei tapahdu sitä, mitä tänä päivänä valitettavan usein on, että meillä suuri joukko nuoria syrjäytyy kokonaan, ja meillä näitten nuorien työkyvyttömyyseläkkeiden määrä, joissa usein on taustalla mielenterveysongelmia, on valitettavasti ollut kasvussa. Ja nämä ovat niitä asioita, joihin tuommoisen työeläkejärjestelmän sisällä on syytä kiinnittää huomiota.  On ollut paljon keskustelua myös siitä, että ihan viime aikoina myös työkyvyttömyys-eläkehakemusten määrä on kasvanut, ja on esitetty jopa arvioita, että esimerkiksi aktiivimallilla olisi saattanut olla jotakin taustaa tämän työkyvyttömyyseläkkeiden hakemusten määrän kasvussa. En tiedä, pystyykö ministeri tähän asiaan kommentoimaan tässä yhteydessä, mutta tämä on asia, mikä olisi varmaan syytä selvittää. Työeläkeyhtiöiden johto on esittänyt muun muassa huolestuneisuutta siitä, miten nyt näiden työkyvyttömyyseläkkeiden määrä ja niiden hakemusten määrä on yhtäkkiä pompsahtanut ylöspäin.  Kaiken kaikkiaan tämä lakiesitys on varmasti sellainen, joka on paikallaan ja on entisestään vahvistamassa omistajaohjauksen periaatteitten, voisiko sanoa, johdonmukaisuutta ja pitkäjänteisyyttä.\r\n",
            "s2018_1_137_008|Kankaanniemi, Toimi|1950|Perussuomalaiset|Varsinainen puheenvuoro|fin|2019-01-08|Hallituksen esitys eduskunnalle laiksi työeläkevakuutusyhtiöistä annetun lain muuttamisesta ja eräiksi siihen liittyviksi laeiksi|      Arvoisa rouva puhemies! Työeläkerahastoissa oli viime vuoden kesäkuun lopussa 202 miljardia pääomia, ja se on tietysti erittäin merkittävä summa kansantaloudessa. Eläkkeitä maksetaan noin 15 miljardia euroa ja saman verran kerätään eläkemaksuilla näihin rahastoihin vuosittain tuloja. Tämä tulovirta on siis tavallaan läpijuoksu näillä luvuilla — se, mitä tulee, menee — ja silloin avainkysymys on, miten tämä pääoma, joka on kerätty menneinä aikoina työssä olleilta ja nykyisin työssä olevilta, saadaan tuottamaan edelleen jatkossakin niin hyvin kuin se on nyt tuottanut.  Tarkistin, että vuoden 2010 lopussa eläkerahastoissa oli yhteensä 136 miljardia euroa, ja nyt siis 202 miljardia, kahdeksan vuotta myöhemmin. Se tekee noin 8 miljardia per vuosi kasvua, sijoitustuottoja, rahastoihin — se on valtava summa — ja tämän varassa meidän tuleva eläkepolitiikkamme tietysti pitkälti on. Emme varmaan voi lähteä siitä, että eläkkeitä leikattaisiin — ainakaan perussuomalaiset eivät siihen ole sinänsä valmiita, vaikka eläkekatto sinänsä voisi olla paikallaan meilläkin — mutta ei myöskään voida eläkemaksuja korottaa hallitsemattomasti, vaan täytyy toimia pitkäjänteisesti, jotta myös ne turvaavat osaltaan työllisyyttä ja elinkeinoelämän toimintamahdollisuuksia.  Tämä, että eläkevarat sijoitetaan edelleen tuottavasti ja turvaavasti, on tärkeä tehtävä sekä eläkeyhtiöille että valvovalle viranomaiselle, ja toivon, että tämä lainsäädäntö vahvistaa ja edistää tätä. Toisaalta vielä nostan esille sen, että noin puolet eläkevaroista on sijoitettu ulkomaille ja toinen puoli, suurin piirtein, kotimaahan. Olen itse pohtinut sitä, voitaisiinko päästä siihen, että eläkevaroja hyödynnettäisiin koko kansantalouden kannalta esimerkiksi niin, että sopivalla tavalla niitä voitaisiin käyttää perusinfran parantamiseen eli esimerkiksi suuriin liikennehankkeisiin. Niistä ei saada ihan sellaista suoraa tuottoa kuin saadaan sijoituksista ulkomailta, mutta niistä saadaan kansantaloudelle hyötyä, ja työllisyyden paranemisen kautta voisi tulla jopa parempi tuotto.\r\n",
            "s2018_1_137_009|Tanus, Sari|1964|Suomen Kristillisdemokraatit|Varsinainen puheenvuoro|fin|2019-01-08|Hallituksen esitys eduskunnalle laiksi työeläkevakuutusyhtiöistä annetun lain muuttamisesta ja eräiksi siihen liittyviksi laeiksi|      Arvoisa rouva puhemies! Tämä hallituksen esitys on varmasti oikein hyvä, ja on hyvä tarkemmin katsoa näitä työeläkevakuutusyhtiöihin liittyviä asioita niin omistajaohjauksen kuin julkisuuden kuin sijoittamisenkin näkökulmasta.  Meillähän ovat työeläkevakuutusrahastot todella kasvaneet merkittävästi, ja paitsi että meidän täytyy todellakin huolehtia tulevien eläkeläisten eläkkeistä, niin meidän tulisi käsittääkseni huolehtia paljon paremmin myös nykyisten eläkeläisten eläkkeistä, varsinkin siitä suuresta eläkeläisten joukosta, joka tämän päivän hyvinvointivaltiossa elää eläkeläisköyhyydessä. Meillä on todella merkittävä määrä eläkeläisiä, joiden päivittäinen toimeentulo on hyvin veitsenterällä. Ja aivan niin kuin edellinen puhuja nosti esiin, itsekin olisin halunnut nostattaa esiin myös sen, mihinkä näitä valtavia eläkerahastoja sijoitetaan. Meillähän suurin osa eläkevaroista on tällä hetkellä sijoitettu ulkomaille ja hyödyntää siellä, ja olen tässä salissa jo aiemmin lausumissani nostanut esiin sitä, voisiko aloittaa neuvotteluja siitä, että sijoitettaisiin kotimaahan isompi osa näistä rahastoista, jotka hyödyttäisivät kotimaan markkinoita ja kotimaan eläkeläisiä — esimerkiksi joihinkin sellaisiin sijoituskohteisiin, jotka todella helpottaisivat myös tämän päivän eläkeläisten jokapäiväistä toimeentuloa. Meillä on monia eri vaihtoehtoja. Ajattelisin, että kun tätä esitystä tarkastellaan ja sitä, kuinka tulevaisuudessa käytetään työeläkevakuutusyhtiöiden varoja, niin meillä olisi huomattavasti laajempi skaala käytettävissämme sijoitusmahdollisuuksia ja nimenomaan mahdollisuuksia sijoittaa myös kotimaahan sillä tavalla, että se hyödyttäisi meitä kaikkia ja tietysti ennen muuta nykyisiä ja myös tulevia eläkeläisiä.\r\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 3. One row has one speech and related metadata. How many speeches have been given this year?\n",
        "! cat finparlspeeches_2019.csv | wc -l"
      ],
      "metadata": {
        "id": "jNqRgs4IcLf7",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "f528d71f-1cf1-4369-fe58-41c39d4f881d"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "13018\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 4. Some interesting columns are \"date_\" (the day the speech was given), \"party__prefLabel\" (parliamentary faction),\n",
        "# \"language\" (language the speech is given in; either Finnish, Swedish, or both), and \"content\" which contains\n",
        "# the actual speech. These columns are numbers 4, 6, 7, and 9. Cut these four columns, (Hint: If you don't\n",
        "# know how to cut multiple columns at once, Google it!), then save the truncated dataset as a new file called\n",
        "# \"speeches_2019_4c.csv\". Use this file from now on.\n",
        "\n",
        "# NB! it says 'csv' but the separator is a pipe character (|), define it for cut with -d '|'\n",
        "# (you can Google an exampmle of this as well)\n",
        "! cat finparlspeeches_2019.csv | cut -d '|' -f 4,6,7,9 | head  # check that we got what we wanted\n",
        "! cat finparlspeeches_2019.csv | cut -d '|' -f 4,6,7,9 > speeches_2019_4c.csv\n",
        "! echo '------------------------'\n",
        "! ls  # check that we have it"
      ],
      "metadata": {
        "id": "RFsvuoYpcLc4",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "c6ac3ca2-6787-4ff2-ff9b-9c9643aa89fe"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "party__prefLabel|language|date_|content\r\n",
            "Kansallinen Kokoomus|fin|2019-01-08|      Lähetekeskustelua varten esitellään päiväjärjestyksen 2. asia. Puhemiesneuvosto ehdottaa, että asia lähetetään talousvaliokuntaan. Lähetekeskusteluun varataan enintään 30 minuuttia. Asian käsittelyssä noudatetaan aikataulutettujen asioiden osalta sovittuja menettelytapoja.\r\n",
            "Perussuomalaiset|fin|2019-01-08|      Arvoisa rouva puhemies! Käsittelyssä on hallituksen esitys laiksi työeläkevakuutusyhtiöistä annetun lain muuttamisesta ja eräiksi siihen liittyviksi laeiksi. [Hälinää — Puhemies koputtaa] Esityksen tavoitteena on selventää, mitä institutionaalisten sijoittajien on julkisesti kerrottava siitä, miten ne käyttävät osakkeisiin perustuvia oikeuksia omistamissaan yrityksissä. Hallitus esittää, että myös lakisääteistä työeläkevakuuttamista harjoittavien eläkelaitosten omistajaohjauksen periaatteita koskevia säännöksiä selkiytetään ja täydennetään nykyisestä. Työeläkelaitosten omistajaohjauksen periaatteista ei ole säädetty kovinkaan kattavasti voimassa olevassa lainsäädännössä, vaan omistajaohjauksen periaatteiden laatiminen on jätetty pitkälti työeläkelaitoksille itselleen. Hallituksen esityksessä ehdotetaan työeläkelaitoksille riittävän kattavia ja yhtenäisiä säännöksiä. Kaikilla työeläkelaitoksilla olisi esityksen mukaan oltava vähintään yleisluontoiset omistajaohjauksen periaatteet. Lisäksi jos työeläkelaitos sijoittaa sellaisten kohdeyhteisöjen osakkeisiin, jotka ovat kaupankäynnin kohteena säännellyllä markkinalla Eta-valtiossa, työeläkelaitoksen olisi omistajaohjauksen periaatteissa kerrottava tarkempia tietoja. [Hälinää — Puhemies koputtaa] Omistajaohjauksen periaatteet olisi julkistettava maksutta työeläkelaitoksen internetsivuilla. Eläkesäätiöille ja -kassoille sallittaisiin lisäksi muu vastaava julkistamistapa. Tällä hallituksen esityksellä on asiallinen yhteys toiseen, samanaikaisesti annettuun lakiehdotukseen HE 305/2018 vp, joka liittyy Euroopan unionissa hyväksytyn osakkeenomistajien oikeuksista annetun muutosdirektiivin täytäntöönpanoon. Siksi työeläkevakuutusyhtiöistä annettuun lakiin ehdotetaan myös eräitä lähipiiritoimia ja johdon palkitsemista sekä niistä päättämistä koskevia lähinnä teknisluontoisia tarkennuksia, jotka ovat tarpeellisia muihin lakeihin, vakuutusyhtiölakiin ja osakeyhtiölakiin, ehdotettujen muutosten johdosta.\r\n",
            "Vihreä liitto|fin|2019-01-08|      Arvoisa puhemies! On hyvä, että työeläkelaitosten pelisääntöjä selkeytetään. Puhumme kuitenkin lähes 200 miljardin euron... [Hälinää — Puhemies koputtaa] Puhumme lähes 200 miljardin euron kansallisomaisuudesta, joka on erinomaisen tärkeä osa meidän eläkejärjestelmämme kestävyyttä ja kantavuutta tulevaisuuteen. Tästä samasta syystä tässä salissa pitäisi käydä keskustelua lähiaikoina myös siitä, miten aiomme turvata etenkin julkisen puolen eläkkeet maailman muuttuessa.  Meillä on julkisella puolella paljon pitkäikäisiä naisia, joista aiheutuvat eläkemenot ovat suuria. Samoin siellä on paljon erityisalojen, kuten sotilaiden ja palomiesten, alemmista eläkei’istä johtuvia kuluja. Meidän on ratkaistava niiden kohtalo jatkossa, etenkin tässä tilanteessa, jossa jo nyt terveyspuolen henkilökuntaa on isossa määrin siirtynyt yksityiselle puolelle, ja riippumatta siitä, saammeko sote-uudistuksen aikaan vai emme, sama suun-taus tulee jatkumaan.  Tätä kiireellisyyttä kuvaa hyvin sekin, että mitä pitemmälle tätä päätöstä rukkaamme ja pitkitämme, sitä kalliimmaksi se yhteiskunnalle tulee. Eli meidän on viimeistään hallitusneuvotteluissa tehtävä esityksiä ja ratkaisuja tulevaisuuden suuntaviivoista, miten saamme turvattua myös julkisen alan eläkkeet tulevaisuudessa, mikä lienee vahva yhteinen tahtotilamme koko tässä salissa.\r\n",
            "Kansallinen Kokoomus|fin|2019-01-08|      Arvoisa rouva puhemies! Tämä lakiesitys on tervetullut ja osoittaa sen, että hallitus tekee loppuun asti työtä, niin kuin eduskuntakin. Työeläkejärjestelmän toimivuuden tärkein turva on se, että Suomeen syntyy uusia työpaikkoja ja jokainen työkykyinen myöskin pääsee työhön.  Tämän hallituksen esityksen tavoitteena on todellakin lisätä lakisääteisen työeläketurvan toimeenpanosta huolehtivien työeläkelaitosten toiminnan läpinäkyvyyttä ja avoimuutta, raportoinnin oikea-aikaisuutta ja julkista luotettavuutta. Ja jotta nämä tavoitteet, todella tärkeät tavoitteet, toteutuvat — kiitos ministeri Mattilalle, että tämä esitys todellakin eduskuntaan tulee — niin meidän on todellakin säädettävä uusia tarkentavia säädöksiä omistajaohjauksen periaatteista ja ulottaa myöskin säätely työeläkevakuutusyhtiöiden ja Kevan lisäksi myös muihin työeläkelaitoksiin sekä valtion eläkerahastoihin.  Arvoisa puhemies! Haluan tässä lähetekeskustelussa vielä todeta, että todellakin nykyistä avoimempi omistajaohjaus vahvistaa osakkeenomistajan ja sijoituskohteena olevan yhtiön suhdetta ja parantaa myös yleistä sijoitussuojaa. Ja pidän erittäin hyvänä sitä, että omistajaohjauksen periaatteet ulotetaan myös niille työeläkelaitoksille, joita velvoitteet eivät tällä hetkellä todellakaan koske, ja tämä tuo todellakin sijoitustoimintaan ja markkinoille tasapuolisemmat toiminta- ja kilpailuedellytykset. Ja lopuksi vielä totean, että tuo tasapuolinen toimintaympäristö edistää rahoitusmarkkinoiden vakautta ja ennakoitavuutta ja lisää myöskin sijoittajan suojaa.  Eli pidän tätä esitystä hyvänä, mutta on tärkeää, että talousvaliokunta tämän tarkasti käy läpi.\r\n",
            "Perussuomalaiset|fin|2019-01-08|      Arvoisa rouva puhemies! Selailin tätä täältä asian valmistelu-osiosta. Se on yleensä hyvä tapa ottaa kantaa myös siihen, millä tavalla asiaan perehtyneet tahot ovat asiaa kommentoineet. Huomasin, että täällä mainitaan, että esitysluonnos on lausuntokierroksen yhteydessä lähetetty valtioneuvoston kanslian yhteydessä toimivalle lainsäädännön arviointineuvostolle, mutta se ei ole kuitenkaan antanut esityksestä lausuntoaan. Mielestäni täällä eduskunnassa on ollut hyvin usein lakiesityksiä, joista on keskusteltu, onko lainvalmistelu ollut asiantuntevaa ja oikeaa ja hyvää.  Kysyisinkin teiltä, ministeri, onko tässä lakiesityksessä mielestänne vielä mitään sellaista korjattavaa ja minkä takia esimerkiksi lainsäädännön arviointineuvosto ei ole nyt tästä antanut lausuntoaan. Vaikutusten arviointihan on hyvin tärkeää ja kuuluu muun muassa arviointoneuvoston toimenkuvaan. Onko tässä jotakin sellaista? Muun muassa täältä Vastaan tai varauksellinen -osiosta löytyy huomioita tähän käsitteillä olevaan lakiin.\r\n",
            "Suomen Kristillisdemokraatit|fin|2019-01-08|      Arvoisa rouva puhemies! Täällä edustaja Järvinen oli huolissaan eläkkeiden kohdentumisesta. Kyllä nostaisin tähän myös tämän tulevien sukupolvien eläkkeiden tason, sen, miten turvataan nuorten eläkkeiden taso, nykyisten nuorten, jotka pohtivat, mahtavatko he saada eläkettä ollenkaan.  Itse tähän asiaan: Tämä säännösten tarkistaminen on mitä tervetullein asia, ja se yhtenäistää. Niin kuin täällä edustaja Sarkomaa totesi, tämä on erittäin hyvä esitys ja tuo sen tarvittavan uudistuksen ja jatkaa tätä hallituksen sujuvoittamis- ja selkeyttämislinjaa ja on siinä mielessä tervetullut.\r\n",
            "Suomen Kristillisdemokraatit|fin|2019-01-08|      Arvoisa rouva puhemies! Niin kuin täällä kollegat edellä ovat todenneet, työeläkevarojen huolellinen ja pitkäjänteinen hoitaminen on koko kansakunnan etu. Ja totta kai on tärkeää, että sijoitusstrategiat ja omistajaohjauksen periaatteet ovat avoimet ja läpinäkyvät.  Tässä samassa yhteydessä keskustelu on paikallaan toki myöskin siitä, millä tavalla tänä päivänä voidaan huolehtia siitä, että tulevaisuuden eläkevarat ovat kestävällä pohjalla. Ja silloin puhutaan siitä, miten me voimme varmistaa, että meillä syntyvyys on kasvussa, ja siitä, millä tavalla me voimme varmistaa sen, että ne nuoret, jotka ovat työelämässä tai työikäisiä, sinne työelämään todellakin sitten pääsevät siirtymään ja ettei tapahdu sitä, mitä tänä päivänä valitettavan usein on, että meillä suuri joukko nuoria syrjäytyy kokonaan, ja meillä näitten nuorien työkyvyttömyyseläkkeiden määrä, joissa usein on taustalla mielenterveysongelmia, on valitettavasti ollut kasvussa. Ja nämä ovat niitä asioita, joihin tuommoisen työeläkejärjestelmän sisällä on syytä kiinnittää huomiota.  On ollut paljon keskustelua myös siitä, että ihan viime aikoina myös työkyvyttömyys-eläkehakemusten määrä on kasvanut, ja on esitetty jopa arvioita, että esimerkiksi aktiivimallilla olisi saattanut olla jotakin taustaa tämän työkyvyttömyyseläkkeiden hakemusten määrän kasvussa. En tiedä, pystyykö ministeri tähän asiaan kommentoimaan tässä yhteydessä, mutta tämä on asia, mikä olisi varmaan syytä selvittää. Työeläkeyhtiöiden johto on esittänyt muun muassa huolestuneisuutta siitä, miten nyt näiden työkyvyttömyyseläkkeiden määrä ja niiden hakemusten määrä on yhtäkkiä pompsahtanut ylöspäin.  Kaiken kaikkiaan tämä lakiesitys on varmasti sellainen, joka on paikallaan ja on entisestään vahvistamassa omistajaohjauksen periaatteitten, voisiko sanoa, johdonmukaisuutta ja pitkäjänteisyyttä.\r\n",
            "Perussuomalaiset|fin|2019-01-08|      Arvoisa rouva puhemies! Työeläkerahastoissa oli viime vuoden kesäkuun lopussa 202 miljardia pääomia, ja se on tietysti erittäin merkittävä summa kansantaloudessa. Eläkkeitä maksetaan noin 15 miljardia euroa ja saman verran kerätään eläkemaksuilla näihin rahastoihin vuosittain tuloja. Tämä tulovirta on siis tavallaan läpijuoksu näillä luvuilla — se, mitä tulee, menee — ja silloin avainkysymys on, miten tämä pääoma, joka on kerätty menneinä aikoina työssä olleilta ja nykyisin työssä olevilta, saadaan tuottamaan edelleen jatkossakin niin hyvin kuin se on nyt tuottanut.  Tarkistin, että vuoden 2010 lopussa eläkerahastoissa oli yhteensä 136 miljardia euroa, ja nyt siis 202 miljardia, kahdeksan vuotta myöhemmin. Se tekee noin 8 miljardia per vuosi kasvua, sijoitustuottoja, rahastoihin — se on valtava summa — ja tämän varassa meidän tuleva eläkepolitiikkamme tietysti pitkälti on. Emme varmaan voi lähteä siitä, että eläkkeitä leikattaisiin — ainakaan perussuomalaiset eivät siihen ole sinänsä valmiita, vaikka eläkekatto sinänsä voisi olla paikallaan meilläkin — mutta ei myöskään voida eläkemaksuja korottaa hallitsemattomasti, vaan täytyy toimia pitkäjänteisesti, jotta myös ne turvaavat osaltaan työllisyyttä ja elinkeinoelämän toimintamahdollisuuksia.  Tämä, että eläkevarat sijoitetaan edelleen tuottavasti ja turvaavasti, on tärkeä tehtävä sekä eläkeyhtiöille että valvovalle viranomaiselle, ja toivon, että tämä lainsäädäntö vahvistaa ja edistää tätä. Toisaalta vielä nostan esille sen, että noin puolet eläkevaroista on sijoitettu ulkomaille ja toinen puoli, suurin piirtein, kotimaahan. Olen itse pohtinut sitä, voitaisiinko päästä siihen, että eläkevaroja hyödynnettäisiin koko kansantalouden kannalta esimerkiksi niin, että sopivalla tavalla niitä voitaisiin käyttää perusinfran parantamiseen eli esimerkiksi suuriin liikennehankkeisiin. Niistä ei saada ihan sellaista suoraa tuottoa kuin saadaan sijoituksista ulkomailta, mutta niistä saadaan kansantaloudelle hyötyä, ja työllisyyden paranemisen kautta voisi tulla jopa parempi tuotto.\r\n",
            "Suomen Kristillisdemokraatit|fin|2019-01-08|      Arvoisa rouva puhemies! Tämä hallituksen esitys on varmasti oikein hyvä, ja on hyvä tarkemmin katsoa näitä työeläkevakuutusyhtiöihin liittyviä asioita niin omistajaohjauksen kuin julkisuuden kuin sijoittamisenkin näkökulmasta.  Meillähän ovat työeläkevakuutusrahastot todella kasvaneet merkittävästi, ja paitsi että meidän täytyy todellakin huolehtia tulevien eläkeläisten eläkkeistä, niin meidän tulisi käsittääkseni huolehtia paljon paremmin myös nykyisten eläkeläisten eläkkeistä, varsinkin siitä suuresta eläkeläisten joukosta, joka tämän päivän hyvinvointivaltiossa elää eläkeläisköyhyydessä. Meillä on todella merkittävä määrä eläkeläisiä, joiden päivittäinen toimeentulo on hyvin veitsenterällä. Ja aivan niin kuin edellinen puhuja nosti esiin, itsekin olisin halunnut nostattaa esiin myös sen, mihinkä näitä valtavia eläkerahastoja sijoitetaan. Meillähän suurin osa eläkevaroista on tällä hetkellä sijoitettu ulkomaille ja hyödyntää siellä, ja olen tässä salissa jo aiemmin lausumissani nostanut esiin sitä, voisiko aloittaa neuvotteluja siitä, että sijoitettaisiin kotimaahan isompi osa näistä rahastoista, jotka hyödyttäisivät kotimaan markkinoita ja kotimaan eläkeläisiä — esimerkiksi joihinkin sellaisiin sijoituskohteisiin, jotka todella helpottaisivat myös tämän päivän eläkeläisten jokapäiväistä toimeentuloa. Meillä on monia eri vaihtoehtoja. Ajattelisin, että kun tätä esitystä tarkastellaan ja sitä, kuinka tulevaisuudessa käytetään työeläkevakuutusyhtiöiden varoja, niin meillä olisi huomattavasti laajempi skaala käytettävissämme sijoitusmahdollisuuksia ja nimenomaan mahdollisuuksia sijoittaa myös kotimaahan sillä tavalla, että se hyödyttäisi meitä kaikkia ja tietysti ennen muuta nykyisiä ja myös tulevia eläkeläisiä.\r\n",
            "------------------------\n",
            "finparlspeeches_2019.csv  finparlspeeches_2019.csv.1  sample_data  speeches_2019_4c.csv\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 5. How many unique parties (parliamentary factions) appear in the data?\n",
        "! cat speeches_2019_4c.csv | cut -d '|' -f 1 | sort | uniq\n",
        "\n",
        "# NB! There are speeches with empty party labels. Also, the column name is taken as one party here...\n",
        "! cat speeches_2019_4c.csv | cut -d '|' -f 1 | sort | uniq | wc -l"
      ],
      "metadata": {
        "id": "q9TMqy3gcLak",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "542720ec-918b-4ef5-bcd4-56b01c568a4b"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "\n",
            "Kansallinen Kokoomus\n",
            "Korjausliike\n",
            "Liike Nyt\n",
            "party__prefLabel\n",
            "Perussuomalaiset\n",
            "Seitsemän tähden liike\n",
            "Suomen Keskusta\n",
            "Suomen Kristillisdemokraatit\n",
            "Suomen ruotsalainen kansanpuolue\n",
            "Suomen Sosialidemokraattinen Puolue\n",
            "Vasemmistoliitto\n",
            "Vihreä liitto\n",
            "13\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 6. Which party has given the most speeches?\n",
        "! cat speeches_2019_4c.csv | cut -d '|' -f 1 | sort | uniq -c | sort -rn"
      ],
      "metadata": {
        "id": "JQcpUA6Jca_Q",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "f33f136f-4b85-474f-b207-19aca02ba605"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "   2957 Suomen Sosialidemokraattinen Puolue\n",
            "   2572 Perussuomalaiset\n",
            "   2472 Suomen Keskusta\n",
            "   2436 Kansallinen Kokoomus\n",
            "    856 Vihreä liitto\n",
            "    742 Vasemmistoliitto\n",
            "    451 Suomen Kristillisdemokraatit\n",
            "    312 Suomen ruotsalainen kansanpuolue\n",
            "    166 Korjausliike\n",
            "     38 Liike Nyt\n",
            "      9 \n",
            "      6 Seitsemän tähden liike\n",
            "      1 party__prefLabel\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 7. How many of the speeches are given only in Swedish?\n",
        "! cat speeches_2019_4c.csv | cut -d '|' -f 2 | sort | uniq -c | sort -rn # let's see what values we have here\n",
        "# only 99 swe out of 13018\n",
        "\n",
        "# How many percentages is that? (Google if there is a way to make Bash do calculations with decimals ;) )\n",
        "# Bash doesn’t support floating-point arithmetic, so if we want to know how many percentages that is, use a calculator ;)"
      ],
      "metadata": {
        "id": "pZYhkwDEca46",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "f2129e1c-857a-4108-cbcf-2d290db85b36"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "  12875 fin\n",
            "     99 swe\n",
            "     25 finswe\n",
            "     18 \n",
            "      1 language\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 8. How many times does the word \"virus\" appear in the speeches? What about \"korona\" or \"covid\"?\n",
        "\n",
        "# NB! cutting the column with the speeches is optional here,\n",
        "# since the other columns would not interfere with the  search in any way\n",
        "# but I've cut it anyway just to practice\n",
        "\n",
        "#If we're just interested in the number of speeches that include the word, we can just grep the word and count the lines\n",
        "#N.B. This does NOT give us the number of occurrences of the word\n",
        "\n",
        "! cat speeches_2019_4c.csv | cut -d '|' -f 4 | egrep -i 'virus' | wc -l\n",
        "! cat speeches_2019_4c.csv | cut -d '|' -f 4 | egrep -i 'korona' | wc -l\n",
        "! cat speeches_2019_4c.csv | cut -d '|' -f 4 | egrep -i 'covid' | wc -l\n",
        "\n",
        "#egrep -i 'virus' searches for the character string 'virus' ignoring case\n",
        "#this grep thus finds 'virus' also as part of word\n",
        "#if we want to find 'virus' as a word (not as part of a character string such as 'virustauti')\n"
      ],
      "metadata": {
        "id": "xmZUmGMTca1R",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "a435a14e-b813-4afd-dc88-a4d154e62e05"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "2\n",
            "0\n",
            "0\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "#We can find the number of occurrences of the given word as follows:\n",
        "#cut the column with the text\n",
        "#grep the word\n",
        "#split the text as token per line (i.e. one word per line)\n",
        "#remove the empty lines\n",
        "#do a frequency list of the words in the lines\n",
        "#grep the word to find the number of occurrences of the specific word\n",
        "\n",
        "! cat speeches_2019_4c.csv | cut -d '|' -f 4 | egrep -i 'virus' | tr ' ' '\\n' | egrep -v \"^$\" | sort | uniq -c | sort -nr | egrep -i \"virus\"\n",
        "\n",
        "#Remember that the output of the previous pipe(s) is input for the following pipe(s)\n",
        "#E.g., in the example above, we first grep the word 'virus' from the rows in the text column,\n",
        "#then we split the sentences in the text in column 4 into token-per-line format\n",
        "#and create a frequency list of the words that are in token-per-line format\n",
        "#then we grep the word 'virus' from the frequency list we created"
      ],
      "metadata": {
        "id": "CACdWt6XgxYE",
        "outputId": "a9e4d585-0d05-44f0-bc71-8aec3320b338",
        "colab": {
          "base_uri": "https://localhost:8080/"
        }
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "      1 virustorjuntaohjelma\n",
            "      1 virushepatiitti\n",
            "      1 virus\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 9. Get all the speeches that mention \"ilmastonmuutos\" (climate change). Which party has the most of those?\n",
        "\n",
        "# Here we should NOT cut -f 4 before making the search, so that we still have the party column\n",
        "! cat speeches_2019_4c.csv | egrep -i 'ilmastonmuutos' | wc -l\n",
        "! cat speeches_2019_4c.csv | egrep -i 'ilmastonmuutos' | cut -d '|' -f 1 | sort | uniq -c | sort -rn\n"
      ],
      "metadata": {
        "id": "QBOV5GmMcag9",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "d20cf110-878a-4480-978d-2b5046bcc949"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "196\n",
            "     70 Vihreä liitto\n",
            "     32 Suomen Sosialidemokraattinen Puolue\n",
            "     30 Suomen Keskusta\n",
            "     22 Vasemmistoliitto\n",
            "     18 Kansallinen Kokoomus\n",
            "     17 Perussuomalaiset\n",
            "      3 Suomen Kristillisdemokraatit\n",
            "      2 Liike Nyt\n",
            "      1 Suomen ruotsalainen kansanpuolue\n",
            "      1 Korjausliike\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 10. On which date were there the most speeches about \"ilmastonmuutos\"?\n",
        "\n",
        "# Again, not cutting -f 4 keeps the date columns for use\n",
        "! cat speeches_2019_4c.csv | egrep -i 'ilmastonmuutos' | cut -d '|' -f 3 | sort | uniq -c | sort -rn"
      ],
      "metadata": {
        "id": "boPhp0xMcaeU",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "5b0cd6c8-ec8f-4f34-ec2a-9137f60b9e71"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "     20 2019-01-16\n",
            "     18 2019-06-11\n",
            "     14 2019-09-12\n",
            "     12 2019-12-17\n",
            "      8 2019-12-16\n",
            "      8 2019-06-26\n",
            "      7 2019-11-26\n",
            "      7 2019-10-09\n",
            "      7 2019-10-08\n",
            "      6 2019-12-18\n",
            "      6 2019-11-07\n",
            "      6 2019-10-10\n",
            "      6 2019-10-01\n",
            "      6 2019-06-12\n",
            "      6 2019-02-20\n",
            "      5 2019-11-14\n",
            "      5 2019-03-04\n",
            "      5 2019-01-15\n",
            "      4 2019-02-12\n",
            "      4 2019-01-31\n",
            "      3 2019-11-20\n",
            "      3 2019-10-16\n",
            "      3 2019-02-07\n",
            "      2 2019-12-19\n",
            "      2 2019-12-04\n",
            "      2 2019-10-24\n",
            "      2 2019-06-25\n",
            "      2 2019-01-30\n",
            "      2 2019-01-29\n",
            "      1 2019-12-10\n",
            "      1 2019-11-05\n",
            "      1 2019-10-23\n",
            "      1 2019-10-03\n",
            "      1 2019-09-26\n",
            "      1 2019-09-19\n",
            "      1 2019-09-04\n",
            "      1 2019-06-27\n",
            "      1 2019-06-19\n",
            "      1 2019-02-26\n",
            "      1 2019-02-21\n",
            "      1 2019-02-14\n",
            "      1 2019-01-22\n",
            "      1 2019-01-10\n",
            "      1 2019-01-08\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# (EXTRA) Formulate a question of your own! What would you like to find out?\n",
        "\n",
        "# What about how many speeches were given on January?\n",
        "\n",
        "# egrep -o\n",
        "# -o, --only-matching\n",
        "#     Print  only  the matched (non-empty) parts of a matching line,\n",
        "#     with each such part on a separate output line.\n",
        "\n",
        "! cat speeches_2019_4c.csv | cut -d '|' -f 3 | sort | egrep -o '2019-01' | uniq -c"
      ],
      "metadata": {
        "id": "9TH6dv70cp8r",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "5a3ac96c-0153-4908-fad0-6a08585ff3ac"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "   1409 2019-01\n"
          ]
        }
      ]
    }
  ]
}