Skip to content

Latest commit

 

History

History
38 lines (29 loc) · 3.11 KB

README.md

File metadata and controls

38 lines (29 loc) · 3.11 KB

Python application

What is this

北海道の新型コロナウイルス情報を集め、jsonやcsvとして出力するPythonスクリプトです

Specification

main.py

  • main.pyを実行すると、①settings.pyのREMOTE_SOURCESに基づき外部データを取得し、②①のデータを集計してmain_summaryを生成し、③importフォルダ内のcsvを読み込んで、それら全てのデータのjsonファイルを出力します
  • jsonの出力前に、schemas.pyのスキーマ定義に基づきデータがバリデーションされます(データに異常があった場合jsonは出力されません)
  • settings.pyとimportフォルダ内に同じkeyがある場合、importフォルダが優先されます
  • このスクリプトでは、1つのCSVが1つのJSONに対応します(last_updateをのぞく)

covid19_data.py

  • ODPのcovid19_data.csvを集計して、5つのjsonファイルを生成します(以下の対応表のとおり)

出力されるデータ

データ key source note
最終更新日時 last_update スクリプト実行時点のdatetime main.pyで生成
検査陽性者の状況 main_summary  https://www.harp.lg.jp/opendata/dataset/1369/resource/2853/covid19_data.csv を集計 covid19_data.pyで生成
陽性患者数(日別) patients_summary https://www.harp.lg.jp/opendata/dataset/1369/resource/2853/covid19_data.csv を集計 covid19_data.pyで生成
日別患者増減数 current_patients https://www.harp.lg.jp/opendata/dataset/1369/resource/2853/covid19_data.csv を集計 covid19_data.pyで生成
治療修了者数 discharges_summary https://www.harp.lg.jp/opendata/dataset/1369/resource/2853/covid19_data.csv を集計 covid19_data.pyで生成
日別検査数 inspections https://www.harp.lg.jp/opendata/dataset/1369/resource/2853/covid19_data.csv を集計 covid19_data.pyで生成
陽性患者の属性 patients https://www.harp.lg.jp/opendata/dataset/1369/resource/2828/patients.csv main.pyで生成
日別窓口相談件数(札幌市保健所) contacts https://ckan.pf-sapporo.jp/dataset/f6338cc2-dd6b-43b6-98a3-cd80b05b6a36/resource/e9e6f062-cafd-4aea-992f-039e2e26f4ac/download/contacts.csv main.pyで生成
日別電話相談件数 (札幌市保健所) querents https://ckan.pf-sapporo.jp/dataset/f6338cc2-dd6b-43b6-98a3-cd80b05b6a36/resource/a89ba566-93d1-416a-a269-e0ba48a06636/download/querents.csv main.pyで生成

Scheduling

GitHub Actionsにより1時間に一度、すべてjson類をgh-pagesブランチに書き出します

外部からのアクセス

gh-pagesブランチにあるjsonデータに直接アクセスしてデータを読み出す事が出来ます。

sample1: https://codeforsapporo.github.io/covid19hokkaido_scraping/patients.json

sample2: https://raw.githubusercontent.com/codeforsapporo/covid19hokkaido_scraping/gh-pages/patients.json