{{message}}
- -{% endblock %} \ No newline at end of file +Total Consumption Chart
+
+Area Consumption Chart
+
+{% endblock %}
diff --git a/dashboard/consumption/views.py b/dashboard/consumption/views.py
index 17827c03..6e028a72 100644
--- a/dashboard/consumption/views.py
+++ b/dashboard/consumption/views.py
@@ -3,13 +3,19 @@
from django.shortcuts import render
-# Create your views here.
+from consumption.chart.generate import (
+ generate_daily_total_consumption_graph,
+ generate_daily_total_consumption_graph_by_area,
+)
+from consumption.models import User
def summary(request):
- context = {
- 'message': 'Hello!',
- }
+ graph = generate_daily_total_consumption_graph()
+ graph_by_area = generate_daily_total_consumption_graph_by_area()
+ user_ids = list(User.objects.values_list('id', flat=True).order_by('id'))
+
+ context = {'graph': graph, 'graph_by_area': graph_by_area, 'user_ids': user_ids}
return render(request, 'consumption/summary.html', context)
From ba3998f6a41f349fba17ede2b313538f49f920a4 Mon Sep 17 00:00:00 2001
From: naoking158 <29372455+naoking158@users.noreply.github.com>
Date: Tue, 16 Jul 2024 12:23:46 +0900
Subject: [PATCH 16/18] =?UTF-8?q?feat:=20details=20=E3=83=9A=E3=83=BC?=
=?UTF-8?q?=E3=82=B8=E3=82=92=E6=9B=B4=E6=96=B0?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
.../consumption/templates/consumption/detail.html | 12 ++++++++++--
dashboard/consumption/views.py | 10 +++++++---
2 files changed, 17 insertions(+), 5 deletions(-)
diff --git a/dashboard/consumption/templates/consumption/detail.html b/dashboard/consumption/templates/consumption/detail.html
index 22a36845..2fcd1558 100644
--- a/dashboard/consumption/templates/consumption/detail.html
+++ b/dashboard/consumption/templates/consumption/detail.html
@@ -1,5 +1,13 @@
{% extends 'consumption/layout.html' %}
-{% block content %}
+{% block subtitle %}
+Details for {{ user_info }}
+{% endblock %}
-{% endblock %}
\ No newline at end of file
+{% block content %}
+User {{ user_id }} Total Consumption Chart
++ {{ user_info }} +
+
+{% endblock %}
diff --git a/dashboard/consumption/views.py b/dashboard/consumption/views.py
index 6e028a72..993cd7fb 100644
--- a/dashboard/consumption/views.py
+++ b/dashboard/consumption/views.py
@@ -6,6 +6,7 @@
from consumption.chart.generate import (
generate_daily_total_consumption_graph,
generate_daily_total_consumption_graph_by_area,
+ generate_user_consumption_graph,
)
from consumption.models import User
@@ -19,7 +20,10 @@ def summary(request):
return render(request, 'consumption/summary.html', context)
-def detail(request):
- context = {
- }
+def detail(request, user_id: int):
+ user_ids = list(User.objects.values_list('id', flat=True).order_by('id'))
+ user_info = User.objects.get(id=user_id)
+ graph = generate_user_consumption_graph(user_id)
+
+ context = {'graph': graph, 'user_id': user_id, 'user_ids': user_ids, 'user_info': user_info}
return render(request, 'consumption/detail.html', context)
From 5b690ba38d4f9ce4376e2265298b5ea1e588cc79 Mon Sep 17 00:00:00 2001
From: naoking158 <29372455+naoking158@users.noreply.github.com>
Date: Tue, 16 Jul 2024 13:53:36 +0900
Subject: [PATCH 17/18] docs: add REPORT.md
---
REPORT.md | 70 +++++++++++++++++++++++++++++++++++++++++++++++++++++++
1 file changed, 70 insertions(+)
diff --git a/REPORT.md b/REPORT.md
index e69de29b..3b62b84e 100644
--- a/REPORT.md
+++ b/REPORT.md
@@ -0,0 +1,70 @@
+
+# 作業を確認したブラウザ
+
+ User-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
+
+# 技術的な決定
+
+## フロントエンドとバックエンドの分離
+
+バックエンド処理はグラフ描画処理であり、それらは全て `chart` ディレクトリ配下にまとめた。
+フロントエンド処理は `views.py` にまとめ、`chart` 配下の機能を呼び出す形にすることでバックエンドと分離している。
+
+
+## モデル定義
+
+Consumption テーブルのフィールド `consumption` の型は `FloatField` とした。
+理由は処理速度を優先するためである。
+
+本アプリケーションでは数値の厳密さは重要ではないため、
+処理速度を落としてまで `DecimalField` を選択する必要は無いと考えられる。
+
+
+## インポート処理
+
+データ量が多いため、バッチ処理でレコードの追加・更新を行うようにしている。
+
+### 問題
+
+時間の都合上、データベースに登録しようとしているCSVデータと同じ主キーのレコードが存在する場合、
+それらに対して一律で上書きするようにした。
+データベースへの負荷を考えると、登録前に各レコードのフィールドまでチェックして、
+フィールドが異なる場合のみ更新するようにしたほうが良い。
+
+また、テストを書いてデータベース登録前の前処理が期待通り実装できているかチェックしたかったが、
+こちらも時間の都合上見送った。
+
+
+## データ取得
+
+極力データベース側で処理を行い、処理後の結果をアプリケーションで取得するようにした。
+理由は、トラフィックの占有を防ぐためである。
+
+例えば、消費量 (consumption) のデータ数は `ユーザ数 x 日数 x 48個/日` であり、テストデータだけでも50万個近くにのぼる。
+消費量の統計量を計算しようとしたとき、アプリケーション側でこれを行うと消費量の全データを取得する必要があり、トラフィックを占有してしまうことが予想される。
+
+そのため、データベース側で先に処理を行い、処理後の結果を取得するようにした。
+
+データベース側の処理負荷について考えると、
+今回のアプリケーションは大人数で使用するものでは無いため、
+負荷については問題にならないと判断した。
+
+### 問題
+
+データベース側で統計量 (中央値、10-90%-ile) の計算をするために生のSQLを発行している。
+保守性や脆弱性を考えると極力ORMの機能を活用すべきだと考えられる。
+
+時間の都合上実装できなかったが、
+Aggregate を継承することで実装している例も見つかったため、Django の機能だけで実装することは可能かもしれない。
+https://gist.github.com/mekicha/b3d5e61683d5a6af642e4549eed95994
+
+
+## summary ページ
+
+ユーザーのリストアップはユーザー ID のみにした。
+理由は、トラフィックの占有を防ぐためと、描画の高速化のためである。
+
+仮にページネーションと非同期処理を組み合わせて一部のユーザー情報だけを表示する方針であれば、
+ユーザーの全情報をテーブルで表示しても問題ないと考えられる。
+
+しかし、今回は時間の都合上そこまで実装できなかったため、ユーザーIDのみを表示する方針とした。
From 307fad6074e3c21d77f7792c02dda554a6fe1c0a Mon Sep 17 00:00:00 2001
From: naoking158 <29372455+naoking158@users.noreply.github.com>
Date: Tue, 16 Jul 2024 21:54:56 +0900
Subject: [PATCH 18/18] =?UTF-8?q?fix:=20=E3=82=A4=E3=83=B3=E3=83=9D?=
=?UTF-8?q?=E3=83=BC=E3=83=88=E6=A9=9F=E8=83=BD=E3=81=AE=E3=83=90=E3=83=83?=
=?UTF-8?q?=E3=83=81=E5=87=A6=E7=90=86=E3=81=8C=E3=82=A4=E3=83=B3=E3=83=87?=
=?UTF-8?q?=E3=83=83=E3=82=AF=E3=82=B9=E3=82=92=E6=AD=A3=E3=81=97=E3=81=8F?=
=?UTF-8?q?=E6=89=B1=E3=81=88=E3=81=A6=E3=81=84=E3=81=AA=E3=81=8B=E3=81=A3?=
=?UTF-8?q?=E3=81=9F=E3=81=AE=E3=81=A7=E4=BF=AE=E6=AD=A3?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
.../consumption/management/commands/import.py | 55 ++++++++++---------
1 file changed, 30 insertions(+), 25 deletions(-)
diff --git a/dashboard/consumption/management/commands/import.py b/dashboard/consumption/management/commands/import.py
index 0af95722..36941d46 100644
--- a/dashboard/consumption/management/commands/import.py
+++ b/dashboard/consumption/management/commands/import.py
@@ -31,7 +31,7 @@ def make_user_list_to_create_and_update(
return users_to_create, users_to_update
-def import_user_data(csv_file_path, batch_size=10000):
+def import_user_data(csv_file_path, batch_size=1000):
"""ユーザー情報を CSV から User テーブルへインポート"""
df = pd.read_csv(csv_file_path)
@@ -41,18 +41,21 @@ def import_user_data(csv_file_path, batch_size=10000):
existing_users = User.objects.in_bulk(df['id'].tolist())
users_to_create, users_to_update = make_user_list_to_create_and_update(df, existing_users)
- with transaction.atomic():
- for i in range(0, len(users_to_create) - batch_size, batch_size):
- if len(users_to_create) - i >= batch_size:
- User.objects.bulk_create(users_to_create[i : i + batch_size])
- else:
- User.objects.bulk_create(users_to_create[i:])
- for i in range(0, len(users_to_create) - batch_size, batch_size):
- if len(users_to_update) - i >= batch_size:
- User.objects.bulk_update(users_to_update[i : i + batch_size], ['area', 'tariff'])
- else:
- User.objects.bulk_update(users_to_update[i:], ['area', 'tariff'])
+ with transaction.atomic():
+ for i in range(len(users_to_create) // batch_size + 1):
+ # IndexError が発生しないように処理をスキップ
+ if i * batch_size == len(users_to_create):
+ continue
+ User.objects.bulk_create(users_to_create[i * batch_size : (i + 1) * batch_size])
+
+ for i in range(len(users_to_update) // batch_size + 1):
+ # IndexError が発生しないように処理をスキップ
+ if i * batch_size == len(users_to_update):
+ continue
+ User.objects.bulk_update(
+ users_to_update[i * batch_size : (i + 1) * batch_size], ['area', 'tariff']
+ )
def load_consumption_data(consumption_dir: Path) -> pd.DataFrame:
@@ -158,19 +161,21 @@ def import_all_consumption_data(consumption_dir: Path, batch_size=1000):
)
with transaction.atomic():
- for i in range(0, len(consumption_data_to_create), batch_size):
- if len(consumption_data_to_create) - i >= batch_size:
- Consumption.objects.bulk_create(consumption_data_to_create[i : i + batch_size])
- else:
- Consumption.objects.bulk_create(consumption_data_to_create[i:])
-
- for i in range(0, len(consumption_data_to_update), batch_size):
- if len(consumption_data_to_update) - i >= batch_size:
- Consumption.objects.bulk_update(
- consumption_data_to_update[i : i + batch_size], ['consumption']
- )
- else:
- Consumption.objects.bulk_update(consumption_data_to_update[i:], ['consumption'])
+ for i in range(len(consumption_data_to_create) // batch_size + 1):
+ # IndexError が発生しないように処理をスキップ
+ if i * batch_size == len(consumption_data_to_create):
+ continue
+ Consumption.objects.bulk_create(
+ consumption_data_to_create[i * batch_size : (i + 1) * batch_size]
+ )
+
+ for i in range(len(consumption_data_to_update) // batch_size + 1):
+ # IndexError が発生しないように処理をスキップ
+ if i * batch_size == len(consumption_data_to_update):
+ continue
+ Consumption.objects.bulk_update(
+ consumption_data_to_update[i * batch_size : (i + 1) * batch_size], ['consumption']
+ )
class Command(BaseCommand):