[update] update PySimpleGUI_PyWebIO_Streamlit/README.md

Author: philip-shen

PySimpleGUI_PyWebIO_Streamlit/README.md

@@ -254,6 +254,114 @@ matplotlibとかbokehとかnumpyのインストール方法は省略するよ。
 <img src="https://camo.qiitausercontent.com/057b5122f3c2850254f16c95e74145856c947204/68747470733a2f2f71696974612d696d6167652d73746f72652e73332e61702d6e6f727468656173742d312e616d617a6f6e6177732e636f6d2f302f38313835312f64616139313534642d316161642d353362312d383664382d3330383731316462343962612e706e67" width="400" height="500">  
 
 
+# streamlitで遊ぼう！  
+[streamlitで遊ぼう！ updated at 2021-01-13](https://qiita.com/irisu-inwl/items/9d49a14c1c67391565f8)
+
+repository: https://github.com/irisu-inwl/streamlit-tutorial
+動作確認環境: windwos10, docker for windows
+
+
+# Streamlitで爆速アプリ開発  
+[Streamlitで爆速アプリ開発 posted at 2020-12-14](https://qiita.com/nyax/items/fc418416e97a12141d0a)
+
+## デプロイもできちゃう  
+```
+Streamlitでデプロイもできてしまう、、！
+https://docs.streamlit.io/en/stable/deploy_streamlit_app.html
+に沿ってするとできます
+```
+
+# 【Python】LINEのグルチャ履歴をヌルヌル動くグラフにしてみた～原理からWebアプリ化まで～  
+[【Python】LINEのグルチャ履歴をヌルヌル動くグラフにしてみた～原理からWebアプリ化まで～ posted at 2021-02-17](https://qiita.com/adumaru0828/items/4be1c07aeb461f7d9341) 
+```
+app.py
+```
+
+# Streamlitで作成した株価アプリをWEB公開した（キャッシュ説明あり）  
+[Streamlitで作成した株価アプリをWEB公開した（キャッシュ説明あり）updated at 2021-02-01](https://qiita.com/morita-toyscreation/items/c9c873bce8d54cfe5b36)  
+
+## キャッシュ化  
+```
+このままWEB公開するとBigQueryアクセスが多くなるのでキャッシュ化を行う
+@st.cacheデコレーターを付けることで返り値をキャッシュする
+@st.cacheは引数種類別にキャッシュする
+2回目以降はキャッシュを使いBigQueryにアクセスしない
+allow_output_mutationをTrueにすると返り値が変わってもエラーにならない
+```
+
+```
+@st.cache(allow_output_mutation=True, suppress_st_warning=True)
+def _get_stock(stock_no: str, start_date: str, end_date: str):
+```
+
+## Docker環境準備  
+```
+Dockerfile作成
+Cloud Runで動かすのでポート8080に設定する
+```
+
+```
+FROM python:3.7.4
+
+WORKDIR /app
+ADD . /app
+
+RUN apt-get update && apt-get clean;
+RUN pip install --upgrade pip
+RUN pip install -r requirements.txt
+
+ENV TZ Asia/Tokyo
+ENV LANG ja_JP.UTF-8
+ENV LANGUAGE ja_JP:ja
+ENV LC_ALL ja_JP.UTF-8
+ENV GOOGLE_APPLICATION_CREDENTIALS /app/config/xxx.json
+
+EXPOSE 8080
+
+CMD streamlit run --server.port 8080 app.py
+```
+
+```
+$ docker build -t kabu-analysis .
+```
+
+```
+$ docker run --name kabu-analysis \
+-p 8080:8080 -v ~/Sites/kabu-analysis/:/app -it --rm kabu-analysis
+```
+
+# PyCaretとStreamlitでAutoMLのGUIツールをさくっと作ってみる   
+[PyCaretとStreamlitでAutoMLのGUIツールをさくっと作ってみる posted at 2021-02-21](https://qiita.com/ryoshi81/items/e9560ade1f0adedbaf6c)
+
+
+# 【Streamlit】JavaScriptが嫌いだからPythonだけでWebアプリをつくる  
+[【Streamlit】JavaScriptが嫌いだからPythonだけでWebアプリをつくる updated at 2020-08-08](https://qiita.com/SPShota/items/a63e19807779175aa29b)
+
+```
+フロント（SPA）開発案件2つのプレイングマネージャーと開発リーダーやってますが、JavaScriptが死ぬほど嫌いです。
+ブラウザ上で動作するスクリプトなので仕方ないし、async-awaitで大分便利になったけど、非同期処理がやっぱり好きじゃないです。
+
+JavaとかPythonとかそれなりの期間触った言語は大概「みんな違ってみんないい」みたいな感じになるんですが、JavaScriptだけそうならないので本当に嫌いなんだと思います。
+
+因みにCSSはもっと嫌いです。
+
+機械学習モデルの構築をPythonで実装することは多いと思いますが、ちょっとしたデモアプリでも作るとなると、フロント側はどうしてもHTML、JavaScript、CSSで組まないといけないです。
+
+Jupyter Notebookも選択肢に入るかもしれませんが、Webアプリと比べると表現の自由度は下がるし、コードセルが見えるのはなんか煩雑に見えます。
+
+嫌いかどうかは置いておいて、フロント開発の煩わしさを抱えている人って結構いるんじゃないかなって思ってます。 ・・・いるよね？
+7月の連休中に触ったStreamlitっていうライブラリが滅茶苦茶便利だったので、今回はこれを使ってPython "だけ" でWEBアプリを作ってみようと思います！
+```
+
+## WEBUIを使ってインタラクティブなアプリにする  
+```
+ここまでだと、Jupyterで可視化してるのとあまり差がないのでWEBアプリケーションらしいインタラクションを実装します。
+
+データ取得処理の後に日付の範囲指定をするコンポーネントの表示処理を追加して、データフレームを絞り込みます。
+bodyの場合はst.コンポーネント名、サイドバーにの場合、st.sidebar.コンポーネント名でUIコンポーネントを追加します。
+```
+
+
 # Troubleshooting
 
 

PySimpleGUI_PyWebIO_Streamlit/requirements.txt

@@ -5,6 +5,7 @@ astor==0.8.1
 async-generator==1.10
 attrs==21.2.0
 backcall==0.2.0
+bar-chart-race==0.1.0
 base58==2.1.0
 bleach==4.0.0
 blinker==1.4
@@ -28,8 +29,10 @@ ipykernel==6.0.3
 ipython==7.26.0
 ipython-genutils==0.2.0
 ipywidgets==7.6.3
+japanize-matplotlib==1.1.3
 jedi==0.18.0
 Jinja2==3.0.1
+joblib==1.0.1
 jsonschema==3.2.0
 jupyter-client==6.1.12
 jupyter-core==4.7.1
@@ -53,6 +56,7 @@ parso==0.8.2
 pefile==2019.4.18
 pickleshare==0.7.5
 Pillow==7.2.0
+plotly==5.1.0
 plyer==1.4.3
 prometheus-client==0.11.0
 prompt-toolkit==3.0.19
@@ -84,13 +88,19 @@ qt5-tools==5.15.2.1.0.1
 QtPy==1.9.0
 requests==2.26.0
 rethinkdb==2.4.7
+scikit-learn==0.24.2
+scipy==1.7.1
+seaborn==0.11.1
 Send2Trash==1.7.1
 shiboken2==5.15.2
 six==1.15.0
+sklearn==0.0
 smmap==4.0.0
 streamlit==0.86.0
+tenacity==8.0.1
 terminado==0.10.1
 testpath==0.5.0
+threadpoolctl==2.2.0
 toml==0.10.2
 toolz==0.11.1
 tornado==6.1

PySimpleGUI_PyWebIO_Streamlit/test/app.py

@@ -0,0 +1,173 @@
+import numpy as np
+import pandas as pd
+import matplotlib.pyplot as plt
+import matplotlib.animation as animation
+import streamlit as st
+import streamlit.components.v1 as components
+import bar_chart_race as bcr
+from PIL import Image
+from io import StringIO
+from datetime import datetime
+from collections import defaultdict
+import japanize_matplotlib
+import plotly.graph_objects as go
+
+# ロゴ
+logo_image = Image.open('src/logo.png')
+st.image(logo_image)
+
+# メイン画像
+main_image = Image.open('src/mainimg.png')
+st.image(main_image)
+
+"""
+# 遊び方
+
+以下の手順で、誰でも簡単に**バーチャートレース（ぬるぬる動くグラフ）**を作ることができます。
+
+1. LINEのトーク履歴をtxtファイル形式で保存する（所要時間：1分）＜方法は[コチラ]("https://appllio.com/line-talk-history-send-mail")＞
+2. 保存したtxtファイルをアップロードする（所要時間：30秒）
+3. お好みでカスタマイズして完成！（所要時間：30秒）
+
+# さっそく遊んでみる
+LINEトーク履歴（txtファイル）を選択してください
+"""
+uploaded_file = st.file_uploader("""※期間が1年以上になると動画処理が終わらない可能性があります""",type="txt",)
+st.markdown("**（画面左上からサイドバーを開くと自由にカスタマイズできます）**")
+"""
+---
+"""
+
+
+#####サイドバー#####
+st.sidebar.markdown("# ⚙️カスタマイズオプション")
+
+st.sidebar.markdown("### 【データフレーム】")
+df_category = st.sidebar.radio("データフレームの種類を選択してください", ('標準', '累積和','標準<markdown>', '累積和<markdown>'))
+
+st.sidebar.markdown("### 【折れ線グラフ】")
+line_title = st.sidebar.text_input('表示タイトル', 'グループチャット発言回数の推移')
+line_category = st.sidebar.radio("折れ線グラフの種類を選択してください", ('累積和','標準'))
+
+st.sidebar.markdown("### 【ヒートマップ】")
+heat_title = st.sidebar.text_input('表示タイトル', 'グループチャット発言回数')
+heat_colorscale = st.sidebar.radio("カラースケールを選択してください", ('Defalut','Blackbody','Bluered','Blues','Earth','Electric','Greens','Greys','Hot','Jet','Picnic','Portland','Rainbow','RdBu','Reds','Viridis','YlGnBu','YlOrRd'))
+st.sidebar.markdown("### 【バーチャートレース】")
+bcr_title = st.sidebar.text_input('表示タイトル', 'グループチャット発言回数ランキング')
+n_bars = st.sidebar.slider('ランキング上位表示人数', min_value=1,max_value=20,value=2)
+st.sidebar.write('↪',n_bars, '人')
+from_date = str(st.sidebar.date_input('表示期間(開始)',value=datetime(2000,1,1)))
+to_date = str(st.sidebar.date_input('表示期間（終了）',value=datetime(2100,12,31)))
+steps_per_period = st.sidebar.slider('ピリオド毎のステップ数', min_value=1,max_value=50,value=10)
+st.sidebar.write('↪',steps_per_period)
+period_length = st.sidebar.slider('1ピリオドの長さ', min_value=100,max_value=1000,value=500)
+st.sidebar.write('↪',period_length)
+#####サイドバー#####
+
+
+if uploaded_file is not None:  # ファイルがアップロードされた場合
+
+    bytes_data = uploaded_file.getvalue()
+    stringio = StringIO(uploaded_file.getvalue().decode("utf-8"))
+    tmp_names = defaultdict(int)   # グループメンバーの名前を格納するリスト
+    stringio_list = []
+    # グループの人数をカウント
+    for i,data in enumerate(stringio):
+        data_list = list(map(str,data.split()))  # txtファイルの各行のデータをリスト化
+        stringio_list.append(data_list)
+        if i < 2:   #2行目までのタイトルと保存日時はスキップ
+            continue
+        if len(data_list) <= 2:  # 空白行&日付行はスキップ
+            continue
+        name = data_list[1]
+        if not data_list[0][0].isdigit() or name in ['Group','You','☎']:  # システムメッセージ等を除外する
+            continue
+        tmp_names[name] += 1    # メンバーリストに追加
+    names = [key for key in tmp_names.keys() if tmp_names[key] >= 5]  # 発言回数5回以上のメンバーだけ残す
+    chat_count = []    # 日付ごとの発言カウントを格納するリスト
+    daily_data = []    # 1日のデータを格納するリスト
+    for i,data_list in enumerate(stringio_list):
+
+        if i < 2:   #2行目までのタイトルと保存日時はスキップ
+            continue
+
+        if len(data_list) < 1:    # 空白行はスキップ
+            continue
+
+        if len(data_list[0])>=10 and data_list[0][4]=='/' and data_list[0][7]=='/':  # 日付の行
+            if daily_data:
+                if daily_data[0] <= to_date:    # 表示期間以内
+                    chat_count.append(daily_data)     # 日付の行が来たタイミングで先日の発言回数をchat_countリストに追加
+                else:    # 表示期間外
+                    break
+
+            date = data_list[0].replace('/','-')[:10]   # 2020/01/01 ---> 2020-01-01　（日付表示を変更）
+            if from_date <= date:  # 表示期間内
+                daily_data = [date]+[0]*(len(names))     # その日のデータを格納するリストを用意  ['2020-01-01',0,0,0,...]
+                continue
+            else:
+                daily_data = None
+
+        if len(data_list) >= 3:
+            name = data_list[1]
+            if name in names and daily_data:   # 発言表示の行の場合
+                daily_data[names.index(name)+1] += 1    # 発言者ごとの発言数をインクリメントする
+    if daily_data and daily_data[0] <= to_date:
+        chat_count.append(daily_data)
+    chat_count = np.array(chat_count)  # 発言カウントリストをnumpy配列に変換
+    original_df = pd.DataFrame(chat_count)
+    original_df.columns = ['日付'] + names  # 列インデックスに氏名を指定
+    original_df = original_df.set_index('日付')  # 行インデックスに日付を指定
+    original_df = original_df.astype(dict(zip(names,['int64']*len(names))))  # カウントした発言数を整数(int64)型に変換
+    chat_count[:,1:len(names)+1] = np.cumsum(np.array(chat_count[:,1:len(names)+1],dtype=int),axis=0)  # 日付以外の列に関して、縦方向に累積和を取る
+    df = pd.DataFrame(chat_count)
+    df.columns = ['日付'] + names  # 列インデックスに氏名を指定
+    df = df.set_index('日付')  # 行インデックスに日付を指定
+    df = df.astype(dict(zip(names,['int64']*len(names))))  # カウントした発言数を整数(int64)型に変換
+
+    # データフレーム
+    st.write(f'## データフレーム（{df_category}）')
+    if df_category == '標準':
+        st.write(original_df)
+    elif df_category == '累積和':
+        st.write(df)
+    elif df_category == '標準<markdown>':
+        st.markdown(original_df.to_markdown())
+    else:
+        st.markdown(df.to_markdown())
+
+    # 折れ線グラフ
+    st.write(f'## 折れ線グラフ（{line_category}）')
+    pd.options.plotting.backend = "plotly"
+    if line_category == "標準":
+        fig_line = original_df.plot(title=line_title, template="simple_white",
+                    labels=dict(index="日付", value="回数", variable="メンバー"))
+    else:
+        fig_line = df.plot(title=line_title, template="simple_white",
+                    labels=dict(index="日付", value="回数", variable="メンバー"))
+    st.write(fig_line)
+
+    # ヒートマップ
+    st.write('## ヒートマップ')
+    if heat_colorscale == 'Defalut':
+        heat_colorscale = None
+    fig_heat = go.Figure(data=go.Heatmap(
+        z=original_df,
+        x=names,
+        y=list(df.index),
+        colorbar=dict(title='回数'),
+        colorscale=heat_colorscale,
+        hoverongaps = True)
+    )
+    fig_heat.update_xaxes(title="メンバー")
+    fig_heat.update_yaxes(title="日付")
+    fig_heat.update_layout(title=heat_title)
+    st.write(fig_heat)
+
+    # バーチャートレース
+    st.write('## バーチャートレース')
+    html = bcr.bar_chart_race(df,title=bcr_title,n_bars=n_bars,figsize=(4,3),steps_per_period=steps_per_period,period_length=period_length)
+    components.html(html._repr_html_(),width=10000,height=7500)
+
+# 注意事項
+st.markdown("※本サービスは、アップロードされたLINEトーク履歴（個人情報を含む）を使用して処理を行います。アップロードされた情報は保存されることなく処理が終了した時点で破棄されますが、心配な方は利用を控えてください。")

PySimpleGUI_PyWebIO_Streamlit/test/cache.py

@@ -0,0 +1,34 @@
+import time
+
+import streamlit as st
+
+
+@st.cache
+def progress_cache(i):
+    time.sleep(0.05)
+
+
+def progress_no_cache(i):
+    time.sleep(0.05)
+
+
+def view_bar(func):
+    # Add a placeholder
+    latest_iteration = st.empty()
+    bar = st.progress(0)
+
+    for i in range(100):
+        # Update the progress bar with each iteration.
+        latest_iteration.text(f'Iteration {i+1}')
+        bar.progress(i + 1)
+        func(i)
+
+
+st.title('Cache example')
+st.write('Starting a long computation with cache...')
+view_bar(progress_cache)
+
+st.write('Starting a long computation without cache...')
+view_bar(progress_no_cache)
+
+st.write('...and now we\'re done!')

PySimpleGUI_PyWebIO_Streamlit/test/download_mode.py

@@ -0,0 +1 @@
+404: Not Found