-
Notifications
You must be signed in to change notification settings - Fork 0
Freimu apkopošanas un summarizācijas modulis
License
LUMII-AILab/FrameMerger
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
Moduļi darbam ar semantisko datubāzi ------------------------------------ Priekšnosacījumi: Python 3.3+ Python modulis psycopg2 (uz ubuntu instalējas ar "apt-get install python3-psycopg2" / "sudo pip3 install psycopg2") Python modulis openpyxl ("sudo pip3 install openpyxl") Konfigurēšana: Jānorāda datubāzes servera pieslēguma informācija failā 'db_config.py' - skat 'db_config.py.template' Saskarne ar moduļiem paredzēta caur unix stdin/stdout - pēc moduļa palaišanas nododot apstrādājamo datu ID. Pēc katra fragmenta veiksmīgas apstrādes moduļi izvada paziņojumu ar attiecīgo ID. Marķēto dokumentu ielādēšana semantiskajā datubāzē -------------------------------------------------- Darbināšana notiek caur ./uploadJSON.py Pa STDIN nodod apstrādājamo failu nosaukumus, pa vienam nosaukumam rindiņā. Failiem jābūt 'melnās kastes' veidotajā JSON formātā - vai nu tīrā veidā ar paplašinājumu .json, vai arī katram failam atsevišķi gzip'otam ar paplašinājumu json.gz Darbināšanas piemērs testam: ./uploadJSON.py < tests/test_json_list Paredzētais izvads uz stdout: /Users/pet/Documents/LETA/staging/tests/p2/0A8AE6CC-ACA4-4677-B217-A6FD383017F4.json OK /Users/pet/Documents/LETA/staging/tests/p2/0C4FABDC-A6F9-48DD-AB9E-1FAFA620EA08.json OK /Users/pet/Documents/LETA/staging/tests/p2/2CC3CE6B-3548-413E-95CD-3F011DD856DD.json OK Faktu summarizācija ------------------- Faktu summarizācija notiek porcijās pa faktiem, kas piemin kādu konkrētu entītijas ID. Darbināšana notiek caur ./consolidate_frames.py Pa STDIN nodod apstrādājamo entītiju ID, pa vienam ID katrā rindiņā. Darbināšanas piemērs testam: ./consolidate_frames.py < tests/test_entity_list Paredzētais apstrādes rezultāts: 1575673 OK 1575689 OK 1575990 OK 1576028 OK 1576160 OK Verbalizācijas webserviss ------------------------- Palaišana: ./verbservice.py Piekļuve: [servera adrese]:9000/verbalize/[summary freima ID] http://localhost:9000/verbalize/1376556 Uz GET pieprasījumiem šādā formā tiks atgriezts verbalizācijas teksts norādītajam summary freima ID, ņemot aktuālos datus no datubāzes, kas ir db_config.py Konsolidācijas webserviss (tiek izsaukts no UI) ----------------------------------------------- Konfigurēšana: config_template.py => config.py + parametru iestādīšana (host+port+datubāzēm ir jāsakrīt ar atbilstošo UI konfigurāciju) db_config.py.template => db_config.py + parametru iestatīšana (datubāze jeb api_conn_info šeit var nebūt konfigurēta) Palaišana: ./service.py vai ./run_service.sh šajā gadījumā ir iespēja pārstartēt servisu ar kill -TERM `cat service.pid`
About
Freimu apkopošanas un summarizācijas modulis
Resources
License
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published