seoul-covid-19-00-scraping-data.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## (부록)서울시에서 공개한 코로나19 발생동향 수집\n",
    "\n",
    "🌱 인프런 📈 단 두 장의 문서로 데이터 분석과 시각화 뽀개기⚡️ 전체 보기 👉 https://bit.ly/inflearn-pandas-tutorial \n",
    "\n",
    "\n",
    "* 6월 30일 이전 데이터로 실습하시되 최근 데이터로 실습하고자 하시는 분들을 위한 자료 입니다.\n",
    "* 이 내용은 <font color=\"red\">판다스 수업 범위를 벗어나는 부분이 많기 때문에 참고사항</font>으로만 보세요!\n",
    "\n",
    "* http://www.seoul.go.kr/coronaV/coronaStatus.do"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 필요한 라이브러리를 불러옵니다.\n",
    "\n",
    "import pandas as pd\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 크롤링으로 가져올 url 주소를 입력합니다.\n",
    "\n",
    "url = \"http://www.seoul.go.kr/coronaV/coronaStatus.do\"\n",
    "url"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "11월 중순 이후 확진자가 증가하면서 데이터 공개 방식이 달라져서 pandas 의 read_html 로는 불러올 수가 없습니다.\n",
    "기존의 read_html 로는 컬럼명을 불러오고 데이터는 requests 라는 라이브러리를 통해 읽어옵니다.\n",
    "\"\"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# 판다스의 read_html 을 통해 위 url에 있는 불러옵니다.\n",
    "\n",
    "table = pd.read_html(url)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "len(table)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# read_html 은 사이트 내의 html 태그를 불러옵니다.\n",
    "\n",
    "table[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# table 변수 안에 있는 table 태그의 값을 하나씩 읽어보며 확진자 목록이 있는 테이블을 가져옵니다.\n",
    "\n",
    "table[1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 미리보기 합니다.\n",
    "\n",
    "df = table[3]\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 11월 중순 이후 데이터 공개방식 변경"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import requests"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# f-string\n",
    "url = \"https://news.seoul.go.kr/api/27/getCorona19Status/get_status_ajax.php?draw=1\"\n",
    "# url = f\"{url}&columns%5B0%5D%5Bdata%5D=0&columns%5B0%5D%5Bname%5D=&columns%5B0%5D%5Bsearchable%5D=true&columns%5B0%5D%5Borderable%5D=true&columns%5B0%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B0%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B1%5D%5Bdata%5D=1&columns%5B1%5D%5Bname%5D=&columns%5B1%5D%5Bsearchable%5D=true&columns%5B1%5D%5Borderable%5D=true&columns%5B1%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B1%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B2%5D%5Bdata%5D=2&columns%5B2%5D%5Bname%5D=&columns%5B2%5D%5Bsearchable%5D=true&columns%5B2%5D%5Borderable%5D=true&columns%5B2%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B2%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B3%5D%5Bdata%5D=3&columns%5B3%5D%5Bname%5D=&columns%5B3%5D%5Bsearchable%5D=true&columns%5B3%5D%5Borderable%5D=true&columns%5B3%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B3%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B4%5D%5Bdata%5D=4&columns%5B4%5D%5Bname%5D=&columns%5B4%5D%5Bsearchable%5D=true&columns%5B4%5D%5Borderable%5D=true&columns%5B4%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B4%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B5%5D%5Bdata%5D=5&columns%5B5%5D%5Bname%5D=&columns%5B5%5D%5Bsearchable%5D=true&columns%5B5%5D%5Borderable%5D=true&columns%5B5%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B5%5D%5Bsearch%5D%5Bregex%5D=false&columns%5B6%5D%5Bdata%5D=6&columns%5B6%5D%5Bname%5D=&columns%5B6%5D%5Bsearchable%5D=true&columns%5B6%5D%5Borderable%5D=true&columns%5B6%5D%5Bsearch%5D%5Bvalue%5D=&columns%5B6%5D%5Bsearch%5D%5Bregex%5D=false&order%5B0%5D%5Bcolumn%5D=0&order%5B0%5D%5Bdir%5D=desc\"\n",
    "url = f\"{url}&start=0&length=100\"\n",
    "# \"&search%5Bvalue%5D=&search%5Bregex%5D=true&_=1606633538547\"\n",
    "url"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "response = requests.get(url)\n",
    "data_json = response.json()\n",
    "# pd.DataFrame(data_json[\"data\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "records_total = data_json['recordsTotal']\n",
    "records_total"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "end_page = round(records_total / 100) + 1\n",
    "end_page"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "data = data_json[\"data\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "pd.DataFrame(data)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 함수로 만들기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_seoul_covid19_100(page_no):\n",
    "    \"\"\"\n",
    "    page_no : 입력값으로 페이지 번호를 입력하면 해당 번호의 데이터를 가져옴\n",
    "    start_no : 입력받은 page_no로 시작 번호를 의미\n",
    "    \"\"\"\n",
    "    start_no = (page_no - 1) * 100\n",
    "    url = f\"https://news.seoul.go.kr/api/27/getCorona19Status/get_status_ajax.php?draw={page_no}\"\n",
    "    url = f\"{url}&order%5B0%5D%5Bdir%5D=desc&start={start_no}&length=100\"\n",
    "    response = requests.get(url)\n",
    "    data_json = response.json()\n",
    "    return data_json"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 데이터가 있 때 \n",
    "# get_seoul_covid19_100(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 데이터가 없을 때 \n",
    "get_seoul_covid19_100(-1)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 전체 데이터 가져오기\n",
    "\n",
    "### tqdm \n",
    "* [tqdm documentation](https://tqdm.github.io/)\n",
    "* 오래 걸리는 작업의 진행상태를 표시해 줍니다.\n",
    "* 별도의 설치가 필요 합니다.\n",
    "* `!pip install tqdm` 으로 설치가 필요합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# !pip install tqdm"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# time.sleep 으로 시차를 두기 위해\n",
    "import time\n",
    "# tqdm : 진행상태를 표시하기 위해\n",
    "from tqdm import trange"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# # 주석처리 : ctrl + /\n",
    "# page_list = []\n",
    "# for page_no in trange(1, 4):\n",
    "#     one_page = get_seoul_covid19_100(page_no)\n",
    "#     if len(one_page[\"data\"]) > 0:\n",
    "#         one_page = pd.DataFrame(one_page[\"data\"])\n",
    "#         page_list.append(one_page)\n",
    "#         time.sleep(0.5)\n",
    "#     else:\n",
    "#         break"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# page_list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# pd.concat(page_list)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 전체 페이지를 가져오기 전에 일부 페이지만 실행\n",
    "page_list = []\n",
    "# 데이터가 제대로 로드 되는지 앞부분 3페이지 정도만 확인하고 전체페이지를 가져오록 합니다.\n",
    "# 처음부터 전체 페이지를 수집하면 중간에 오류가 나도 찾기가 어렵습니다.\n",
    "# 일부만 우선 가져와 보고 잘 동작한다면 전체를 가져오도록 합니다.\n",
    "all_page = 3\n",
    "for page_no in trange(all_page + 1):\n",
    "    one_page = get_seoul_covid19_100(page_no)\n",
    "    one_page = pd.DataFrame(one_page[\"data\"])\n",
    "    page_list.append(one_page)\n",
    "    # 서버에 한번에 너무 많은요청을 보내면 서버에 부담이 됩니다.\n",
    "    # 서버에 부담을 주지 않기 위애 0.5초씩 쉬었다 가져옵니다.\n",
    "    time.sleep(0.5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 가져온 데이터가 맞는지 확인 너무 많을 수 있기 때문에 슬라이싱으로 잘라서 보기\n",
    "pd.concat(page_list)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_multi_page_list(start_page, end_page = 80):\n",
    "    # 데이터가 제대로 로드 되는지 앞부분 3페이지 정도만 확인하고 전체페이지를 가져오록 합니다.\n",
    "    \n",
    "    page_list = []\n",
    "    for page_no in trange(start_page, end_page + 1):\n",
    "        one_page = get_seoul_covid19_100(page_no)\n",
    "        if len(one_page[\"data\"]) > 0:\n",
    "            one_page = pd.DataFrame(one_page[\"data\"])\n",
    "            page_list.append(one_page)\n",
    "            # 서버에 한번에 너무 많은요청을 보내면 서버에 부담이 됩니다.\n",
    "            # 서버에 부담을 주지 않기 위애 0.5초씩 쉬었다 가져옵니다.\n",
    "            time.sleep(0.5)\n",
    "        else:\n",
    "            # 수집된 값이 없다면 False를 반환합니다.\n",
    "            # False 반환 시 수집한 리스트를 반환하도록 합니다.\n",
    "            return page_list\n",
    "    return page_list"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<font color=\"red\">시작페이지와 끝페이지를 꼭 확인해 주세요.</font>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 따로 설정하지 않으면 end_page 변수에 들어있는 숫자가 마지막 페이지가 됩니다.\n",
    "end_page"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 시작페이지와 끝페이지를 꼭 확인해 주세요.\n",
    "start_page = 1\n",
    "# end_page = 88\n",
    "page_list = get_multi_page_list(start_page, end_page)\n",
    "# 데이터가 너무 많기 때문에 슬라이싱으로 1개만 미리보기\n",
    "page_list[:1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "page_list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# concat을 통해 하나의 데이터프레임으로 합쳐줍니다.\n",
    "df_all = pd.concat(page_list)\n",
    "df_all.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# read_html 로 읽어온 3번째 테이블의 컬럼명을 수집한 데이터의 컬럼으로 사용합니다.\n",
    "cols = df.columns.tolist()\n",
    "cols"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_all.columns = cols"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_all.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_all.shape"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 데이터 전처리\n",
    "### 연번과 퇴원현황 "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import re\n",
    "def extract_number(num_string):\n",
    "    if type(num_string) == str:\n",
    "        num_string = num_string.replace(\"corona19\", \"\")\n",
    "        num = re.sub(\"[^0-9]\", \"\", num_string)\n",
    "        num = int(num)\n",
    "        return num\n",
    "    else:\n",
    "        return num_string"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "num_string = \"<p class='corona19_no'>7625</p>\"\n",
    "extract_number(num_string)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_all[\"연번\"] = df_all[\"연번\"].map(extract_number)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_all[\"연번\"].head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def extract_hangeul(origin_text):\n",
    "    subtract_text = re.sub(\"[^가-힣]\", \"\", origin_text)\n",
    "    return subtract_text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "extract_hangeul(\"<b class='status1'>퇴원</b>\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "extract_hangeul(\"<b class='status2'>사망</b>\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "extract_hangeul(\"<b class=''></b>\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 정규표현식으로 변경하는 방법도 있고 str.contains를 사용하는 방법도 있습니다.\n",
    "# df_all[\"퇴원현황\"] = df_all[\"퇴원현황\"].map(extract_hangeul)\n",
    "# df_all[\"퇴원현황\"].value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_all[\"퇴원현황\"].value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_all.loc[df_all[\"퇴원현황\"].str.contains(\"퇴원\"), \"퇴원현황\"] = \"퇴원\"\n",
    "df_all.loc[df_all[\"퇴원현황\"].str.contains(\"사망\"), \"퇴원현황\"] = \"사망\"\n",
    "df_all.loc[~df_all[\"퇴원현황\"].str.contains(\"퇴원|사망\"), \"퇴원현황\"] = np.nan\n",
    "df_all[\"퇴원현황\"].value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "last_date = df_all.iloc[0][\"확진일\"]\n",
    "last_date"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 마지막 확진일을 파일명에 써주기 위해 . 을 _ 로 변경합니다.\n",
    "# 확장자와 구분이 쉽게 되도록 _ 로 변경합니다. \n",
    "\n",
    "date = last_date.replace(\".\", \"_\")\n",
    "date"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 파일명을 만들어 줍니다.\n",
    "# file_name\n",
    "\n",
    "file_name = f\"seoul-covid19-{date}.csv\"\n",
    "file_name"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# csv 파일로 저장합니다.\n",
    "df_all.to_csv(file_name, index=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 제대로 저장되었는지 확인합니다.\n",
    "pd.read_csv(file_name)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.6"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}