update:ログ保持

Author: dero1to

.github/pull_request_template.md

@@ -0,0 +1,26 @@
+## PR 概要
+
+xxxxx
+
+## チェックリスト
+
+- PR作成時に確認
+   - [ ] コーディング規約を熟読している。
+   - [ ] マージ先が正しく設定されている。
+   - [ ] アサイニーを設定している。
+   - [ ] レビューアーを設定している。
+- レビュー前に確認
+   - [ ] マージ先が正しく設定されている。
+   - [ ] 検証結果のスクショを添付している。
+   - [ ] Lint系ツールのエラーが無くなっている。
+
+## TODO
+ - [ ] xxxx
+ - [ ] xxxx
+
+## この PR の影響範囲
+xxxxx(controller)
+yyyyy(model)
+
+## 動作確認内容
+- [ ] 実行時にエラーが発生しないことを確認。

.gitignore

@@ -127,3 +127,11 @@ dmypy.json
 
 # Pyre type checker
 .pyre/
+
+
+
+.DS_Store
+docker/mysql/data
+.env
+.bash_history
+.vscode

Dockerfile

@@ -0,0 +1,16 @@
+FROM python:3
+USER root
+
+RUN apt-get update
+RUN apt-get -y install locales && \
+    localedef -f UTF-8 -i ja_JP ja_JP.UTF-8
+ENV LANG ja_JP.UTF-8
+ENV LANGUAGE ja_JP:ja
+ENV LC_ALL ja_JP.UTF-8
+ENV TZ JST-9
+ENV TERM xterm
+
+RUN apt-get install -y vim less
+RUN pip install --upgrade pip
+RUN pip install --upgrade setuptools
+RUN pip install --upgrade requests datetime SQLAlchemy mysqlclient

README.md

@@ -1 +1,30 @@
-# Train-RealTime-info
+# Train-RealTime-info
+
+## 蓄積データ
+
+- JR
+  - 中央線
+  - 中央特快
+
+
+## テーブル定義(MySQL)
+### Train_Logーブル
+| 物理名 | 論理名 | 型 | null | key | default |
+| -- | -- | -- | -- | -- | -- |
+| id | id | UNSIGN INT(11) | no | prime |  |
+| train_id | データID | VARCHAR(255) |  |  |  |
+| odpt_type | ODPTタイプ | VARCHAR(255) |  |  |  |
+| dc_date | 生成時刻 | VARCHAR(255) |  |  |  |
+| dct_valid | 有効期限 | VARCHAR(255) |  |  |  |
+| odpt_delay | 遅延情報 | INT(10) |  |  |  |
+| odpt_railway | 路線名 | VARCHAR(255) |  |  |  |
+| odpt_operator | 運営会社 | VARCHAR(255) |  |  |  |
+| odpt_train_number | 列車番号 | VARCHAR(255) |  |  |  |
+| odpt_train_type | 種別 | VARCHAR(255) |  |  |  |
+| odpt_toStation | 次駅 | VARCHAR(255) |  |  |  |
+| odpt_from_station | 出発駅 | VARCHAR(255) |  |  |  |
+| odpt_rail_direction | 進行方向 | VARCHAR(255) |  |  |  |
+| odpt_car_composition | 編成数 | INT(10) |  |  |  |
+| odpt_destination_station | 行先 | VARCHAR(255) |  |  |  |
+| created_at | 作成日 | TATETIME | no | | CURRENT_TIMESTAMP |
+| updated_at | 更新日 | TATETIME | no | | CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP |

docker-compose.yml

@@ -0,0 +1,30 @@
+version: '3'
+services:
+  train-python:
+    restart: always
+    build: .
+    env_file: .env
+    container_name: 'train-python'
+    working_dir: '/root/'
+    tty: true
+    volumes:
+      - .:/root
+    links:
+      - mysql
+  mysql:
+    image: mysql:5.7
+    restart: always
+    container_name: 'train-mysql'
+    environment:
+      MYSQL_ROOT_PASSWORD: root
+      MYSQL_DATABASE: train
+      MYSQL_USER: train-user
+      MYSQL_PASSWORD: train-user
+      TZ: 'Asia/Tokyo'
+    command: mysqld --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci
+    volumes:
+      - ./docker/mysql/data:/var/lib/mysql
+      - ./docker/mysql:/etc/mysql/conf.d/my.cnf
+      - ./docker/mysql/sql:/docker-entrypoint-initdb.d
+    ports:
+      - 3306:3306

docker/mysql/sql/001-create-tables.sql

@@ -0,0 +1,25 @@
+---- 【drop】 ----
+-- DROP TABLE IF EXISTS agency;
+---- 【drop】 ----
+
+---- 【Create】 ----
+create table IF not exists train_log(
+    id INT(11) AUTO_INCREMENT,
+    train_id VARCHAR(255) ,
+    odpt_type VARCHAR(255) ,
+    dc_date VARCHAR(255) ,
+    dct_valid VARCHAR(255) ,
+    odpt_delay INT(11) ,
+    odpt_railway VARCHAR(255) ,
+    odpt_operator VARCHAR(255) ,
+    odpt_train_number VARCHAR(255) ,
+    odpt_train_type VARCHAR(255) ,
+    odpt_to_station VARCHAR(255) ,
+    odpt_from_station VARCHAR(255) ,
+    odpt_rail_direction VARCHAR(255) ,
+    odpt_destination_station VARCHAR(255) ,
+    created_at Datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,
+    updated_at Datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
+    PRIMARY KEY (id)
+) DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
+---- 【Create】 ----

docker/mysql/sql/init-database.sh

@@ -0,0 +1,6 @@
+#!/usr/bin/env bash
+#wait for the MySQL Server to come up
+#sleep 90s
+
+#run the setup script to create the DB and the schema in the DB
+mysql -u root -proot train < "/docker-entrypoint-initdb.d/001-create-tables.sql"

train-api.py

@@ -0,0 +1,29 @@
+import requests
+import os
+import json
+from sqlalchemy import create_engine, text
+
+def mysql_connector():
+  return create_engine("mysql://root:root@mysql/train?charset=utf8")
+
+def api_request():
+  url = os.environ['tokyo-open-data-challenge-url'] + "odpt:Train" + "?odpt:operator=odpt.Operator:JR-East" + "&acl:consumerKey=" + os.environ['tokyo-open-data-challenge-token']
+  res = requests.get(url)
+  res = json.loads(res.content)
+  print("取得件数："+ str(len(res)))
+  return res
+
+def mysql_insert(engine, res):
+  for value in res:
+    if value['odpt:railway'] == "odpt.Railway:JR-East.ChuoRapid":
+      q = text("INSERT INFO train_log (train_id, odpt_type, dc_date, dct_valid, odpt_delay, odpt_railway, odpt_operator, odpt_train_number, odpt_train_type, odpt_toStation, odpt_from_station, odpt_rail_direction, odpt_car_composition, odpt_destination_station) VALUES (%s, %s, %s, %s, %d, %s, %s, %s, %s, %s, %s, %s, %d, %s);" % (value['@id'], value['@type'], value['dc:date'], value['dct:valid'], value['odpt:delay'], value['odpt:railway'], value['odpt:operator'], value['odpt_train_number'], value['odpt_train_type'], value['odpt_toStation'], value['odpt_from_station'], value['odpt_rail_direction'], value['odpt_car_composition'], value['odpt_destination_station']))
+      rs = engine.execute(q)
+      print(rs)
+
+def main():
+  engine = mysql_connector()
+  res = api_request()
+  mysql_insert(engine, res)
+
+if __name__ == '__main__':
+  main()