中田のタスク管理

タスクの詳細

保留
日次発生報告 A8取得エラー
依頼者 中田さん
進捗率
84.615384615385%  作業状況
現在の作業 9/30 06:00 リファラー定期実行(9/29分)の反映を確認
作業開始予定日 2026-10-21
タスクタイプ 通常
タグ ASP,A8,レポート
現状サマリー

現在「保留」、進捗 90%。工程は全13件中 11件完了。

残りの工程: 9/30 06:00 リファラー定期実行(9/29分)の反映を確認 / 9/30 07:44 発生額定期実行(9/29分)の反映を確認

最新報告「10/13 本日の予定:移行ガイドの作り直し(初期設定・セキュリティ追加)(管理者コメント)」(2026-10-13 07:47:23)

タスクの詳細情報・説明 別ウィンドウで表示

依頼の詳細

A8の管理画面がリニューアルでの旧管理画面が終了した影響で発生額データの自動取得が行えておりませんでした。
取り急ぎ、発生額は手動で入力し反映

A8からのお知らせ:旧メディア管理画面 提供終了のお知らせ
https://a8pr.jp/2026/08/28/old-media-dashboard-closure/

発生額取得とリファラー取得のスクリプトの
新管理画面へ修正作業。

場所(設定場所・参考URL)

asp_data_get:
slnm_a8_2.py
slnm_a8_3.py
slnm_a8_4.py
slnm_a8_5.py
slnm_a8_6.py
slnm_a8.py

asp_referrer:
data-organizing_A8_plus02_referrer_get.py
data-organizing_A8_plus03_referrer_get.py
data-organizing_A8_plus0501_referrer_get.py
data-organizing_A8_plusAD_referrer_get.py
data-organizing_A8_plusAD02_referrer_get.py

対応者メモ・コメント 別ウィンドウで表示

原因

A8 の旧メディア管理画面(pub.a8.net)が 2026-09-28 に提供終了。スクリプトが旧ログインURL・旧画面のCSSセレクタ(#wrapper…)を使っていたため、ログインの段階で no such element となり取得できなくなった。

修正内容

発生額(asp_data_get)

  • 共通処理 _a8_new_console.py を追加し、slnm_a8.py / _2 / _3 / _5 / _6 から呼ぶ形に変更。
  • ログインは www.a8.net のフォーム → 新管理画面 media-console.a8.net。
  • 日別レポート report/period/daily を、期間を URL(start_date / end_date)で指定して開き、「発生金額」列を列名で読む。
  • 画面の期間が指定日になっていない、または指定日の行がちょうど1行でない場合は、金額を取らずに Err とする(次の実行で取り直す)。

リファラー(asp_referrer)

  • 共通処理 _a8_referrer_console.py を追加し、5本をこれを使う形に書き換え。
  • 新管理画面の「成果別」レポート(report/result)の CSV 1本から取得する。サイト名も含まれるため、旧版の「注文別」CSV との突き合わせは不要になった。
  • 列は位置ではなく列名で読む(クリック日・注文日・プログラムID・プログラム名・発生金額・ステータス・サイト・コンバージョンリファラ)。
  • 期間・エラー表示・件数(画面の「該当件数」)・注文日のどれかが合わなければ、何も送らずに終了コード1で終わる。送信の途中では止めないので、起動スクリプトの再試行で重複送信にならない。
  • 追加オプション:--dry-run(送らずに表示)、--date YYYY-MM-DD(前日以外の日を取る)。

ConoHa の Chrome 86 対応(両方共通)

  • 新管理画面が Chrome 103 以降の機能(AbortSignal.timeout)を使っており、ConoHa の Chrome 86 ではレポートが「データの取得に失敗しました」になる。ページの読み込み前にこの機能を補う処理を入れて対応した(サーバーの Chrome は変更していない)。

配置先と戻し方

  • ConoHa:/var/www/html/asp_data_get/ と /var/www/html/asp_referrer/
  • 置き換える前の版:各フォルダの _backup_20260929_a8/(リファラーの 14:56 配置版は _backup_20260929_a8/deployed_1456/)。戻すときはここから同名でコピーする。
  • stormAD 用(slnm_a8_4.py、data-organizing_A8_stormAD_referrer_get.py)は対象外のため変更していない。

定期実行(cron・nakata ユーザー。変更なし)

  • リファラー:毎日 06:00(data-organizing_asp_referrer_get.sh)
  • 発生額:毎日 07:44・08:44・09:44(asp_data_get.sh)

手動で動かすとき

python3 data-organizing_A8_plus0501_referrer_get.py --date 2026-09-28 --dry-run (送らずに確認)
python3 data-organizing_A8_plus0501_referrer_get.py --date 2026-09-28 (指定日分を送る)

作業工程・チェックリスト

現在の進捗:11/13 84.615384615385%
原因特定:A8旧管理画面(pub.a8.net)の9/28終了で、旧URL・旧セレクタが no such element
発生額:元の6本を backup/ に保全(ConoHa の現行ファイルと SHA-256 一致)
発生額:_a8_new_console.py を追加し、新管理画面の日別レポートから取得するよう修正
発生額:9/28分5アカウントの金額を A8 画面と目視照合(一致)
リファラー:元の5本を backup/ に保全(ConoHa の現行ファイルと SHA-256 一致)
リファラー:新管理画面「成果別」CSV から取得する _a8_referrer_console.py を追加し5本を修正
リファラー:9/28分を送信なしで取得し、件数・合計が発生額と一致することを確認
ConoHa(Chrome 86)対応:AbortSignal.timeout の補完と、期間を URL で指定する方式へ変更
ConoHa で発生額・リファラーを送信なしで取得試験(5アカウントとも一致)
ConoHa へ配置(旧版は各フォルダの _backup_20260929_a8/、stormAD 用は未変更)
リファラー9/28分(計60件)を再送し、data-organizing の DB から読み戻して件数・合計一致・重複0を確認
9/30 06:00 リファラー定期実行(9/29分)の反映を確認
9/30 07:44 発生額定期実行(9/29分)の反映を確認

コメント コメントフォーム

中田

10/13 本日の作業まとめ:移行ガイドの作り直し(サーバーの初期設定とセキュリティを追加)

1. ガイドを作り直した(全11章・49画面)

今朝の予定(コメント #1297)どおり、10/8版の移行ガイドを作り直しました。
- 足した章:旧サーバーの確認/初期設定/最低限のセキュリティ/送信先の遮断(試験のあいだ PLUS へ送らない柵)
- 初期設定:OS の更新と自動更新・日本時間・日本語・作業用ユーザー(asp)・swap
- 最低限のセキュリティ
- SSH を鍵だけにし、root でのログインを禁止する。実際に効いている値を sshd -T で確かめ、別の端末で入れることを確かめてから元の接続を閉じる
- ファイアウォール(ufw)で、外から受け付けるのを SSH だけにする
- 不正ログイン対策(fail2ban)・開いている口の確認・ログの肥大化対策(logrotate)
- SSH のポート変更は任意(手順だけ用意)
- 各工程を「なぜ・コマンド・成功の目安・うまくいかないとき」の形で書きました。
- Ubuntu 24.04 特有の落とし穴は、公式資料と Launchpad で裏付けました。
- SSH の設定は先に読んだ値が効く
- ポート変更は ssh.socket の再起動が要る
- fail2ban の不具合は修正版で直っている
- logrotate は su の行が無いとローテートされない
- ConoHa のコンソールはコピー&ペーストができない

2. 確認

  • 表示の確認:PC(1280×800)とスマホ(390×844)で全49画面を通しました。はみ出し0、エラー0です(音は出さずに確認)。
  • 敵対レビュー1回目:重大3件。どれも直し、2回目のレビューで直ったことを確かめています。
    • ZIP の最上位フォルダの分だけ、パスがずれていた
    • 試験中に本番へ送ってしまうのを防ぐ柵が無かった
    • 24.04 ではログがローテートされなかった
  • 敵対レビュー2回目:重大1件・要修正8件。いま直しています。
    • 重大:切替のときに /etc/hosts から柵を外す手順で、行数を誤り、消すコマンドと確認が無かった。1行残ると、新サーバーの本番送信が誰も気づかないまま失敗する
    • 要修正は切替の手順に集中しています。止める範囲/旧のシェルのどの順に合わせるか/Python の場所(ASP_PYTHON)/切替日にリファラーが二重登録されるおそれ/柵のホスト名の裏付け/再起動で柵が消えるおそれ/受け取った鍵の入れ替え/旧の処理と試験の時刻の重なり

3. まだのこと

  • 公開中のガイド(support_guide_hub #7)は、まだ10/8版のままです。直し終えて3回目のレビューで重大0になってから差し替えます。
  • コマンドは実機では試していません。新しいサーバーの契約後に、実機で確かめます。
コメントのURLコピー 2026-10-13 18:47:33
中田
10/13 本日の予定:移行ガイドの作り直し(初期設定・セキュリティ追加)(管理者コメント)

10/13 本日の予定:移行ガイドを作り直す(サーバーの初期設定とセキュリティを追加)

今のガイドの問題

  • 10/8に作った移行ガイド(https://nakata.studio/support_guide_hub/view.php?id=7
    )の「新サーバー準備」は、作業用ユーザー・Python・Chrome・専用の実行環境の4点だけです。サーバーの初期設定と最低限のセキュリティ設定が入っていません。移管セットの手順書(MIGRATION_PLAN.md)にも入っていません。
  • 8/18に #492 へ書いた作業工程(A. サーバー初期設定 / B. SSHの安全化)が、10/8のガイドに引き継がれていませんでした。
  • 各工程が短い箇条書きだけで、「なぜ行うか」「何をするか」「どうなれば成功か」「うまくいかないときどうするか」が書かれていません。このままでは作業する人が迷います。

追加する最低限のセキュリティ設定

このサーバーはWebサイトを公開せず、ASPの管理画面から取得してデータを送るだけの用途です。一方で、ASP各社のログイン情報(16アカウント分)と送信先のキーを置きます。
そのため「外から入れる口はSSHだけ」「SSHに入れるのは鍵を持つ人だけ」「秘密の設定ファイルは作業用ユーザーだけが読める」の3つを基本にします。

# 設定 内容 確認方法
1 OSを最新にする パッケージをすべて更新する。セキュリティ更新が自動で入る設定(unattended-upgrades)が有効かを確かめる 更新と再起動のあと、残っている更新がない
2 作業用ユーザーを作る rootで作業しない。作業用ユーザーを作ってsudoを付け、取得処理とcronもこのユーザーで動かす 作業用ユーザーで鍵ログインとsudoができる
3 SSHを鍵だけにする rootでのログインとパスワードでのログインを禁止する sshd -T で実際に効いている値を確認する(追加の設定ファイルで上書きされていることがあるため)。別の端末から、パスワードとrootでは入れないことを試す
4 締め出しを防ぐ SSHの設定を変えるときは、今の接続を開いたまま別の端末で新しい設定の接続を確かめてから閉じる。入れなくなったときにConoHa管理画面のコンソールから戻せることを、作業前に確かめる 新しい接続でログインできてから、元の接続を閉じる
5 SSHのポート番号を変える(任意) Ubuntu 24.04では設定ファイルに加えて ssh.socket 側も変える必要がある。ConoHa側のセキュリティグループ(契約時は「IPv4v6-SSH」)でも、新しい番号を先に許可する。順番を誤ると接続できなくなる 新しい番号で接続でき、22番では接続できない
6 ファイアウォール(ufw) 受け付ける通信はSSHだけにし、それ以外の受信はすべて拒否する。外への通信(ASP管理画面の取得・データ送信)は許可する ufw status verbose でSSHだけが許可されている。ConoHa側もSSHだけ
7 不正ログイン対策(fail2ban) SSHへのログイン失敗が続いた接続元を一定時間ブロックする fail2ban-client status sshd で動いている
8 開いている口を確かめる SSH以外に外から接続できるサービスがない。Apache・nginxは入れない ss -tlnp で、外向けに待ち受けているのがSSHだけ
9 秘密の設定ファイルの扱い .env_asp は作業用ユーザーだけが読める権限にする(ファイル600・フォルダ700)。Webの公開場所に置かない。ログに秘密の値を出さない ls -l で権限を確かめる
10 時刻と文字コード タイムゾーンを日本時間にし、時刻の自動合わせを有効にし、日本語ロケールを入れる。ずれると「前日」の計算とcronの時刻が狂う timedatectl で Asia/Tokyo・同期済み
11 ログが膨らまないようにする cronの出力ログを日ごとに区切り、古いものを消す設定(logrotate)を入れる。今のサーバーでは cron.log が約27GBまで膨らんでいた(9/29時点) 設定を確かめ、手動で実行してログが区切られる
12 バックアップ ConoHaの自動バックアップを有効にする(契約ガイドで推奨済み)。大きな作業の前には手動でも保存する ConoHa管理画面で有効になっている

作業の流れ(本日)

  1. 抜けを洗い出す
     今のガイド・移管セットの手順書・8/18の作業工程(#492)・契約ガイドを突き合わせ、抜けている工程を一覧にします。
  2. 初期設定とセキュリティの手順を書く
     上の12項目を作業する順に並べ、それぞれ「なぜ行うか/何をするか(コマンド)/どうなれば成功か/うまくいかないとき」の形で書きます。ConoHa側の操作(セキュリティグループ・コンソール・バックアップ)は、ConoHa公式ヘルプで手順を確かめてから書きます。
  3. 手元で試す
     使い捨てのUbuntu 24.04(手元の仮想環境)で、コマンドが通ることと、確認コマンドの表示を実際に確かめます。ConoHaの画面操作とファイアウォールの最終確認は実機でしかできないため、契約後の確認項目として残します。
  4. ガイド全体を書き直す
     工程を作業する順に並べ替えます。
     全体像 → 契約と鍵・IPの受け取り → 初期設定とセキュリティ(OS更新 → 作業用ユーザー → SSH → ファイアウォール → 時刻・ログ・バックアップ)→ 実行環境 → ソースと設定の配置 → 送信なしの試験 → 定期実行と新旧の照合 → 切替 → 失敗したときの戻し方
     専門用語には短い説明を付け、各工程に完了の条件を書きます。
  5. 見直す
     別のAIに、手順の抜け・順番の誤り・締め出しの危険がないかを点検させ、指摘を直します。
  6. 反映して確かめる
     同じURLのガイドを更新し、PC・スマホで最初から最後まで押して進めることを確かめます。
  7. 本タスクに結果を記録する

本日行わないこと

新サーバーの契約・設定、今のサーバーの変更、本番の切替(新サーバーが未契約のため)。

関連

492 の未完了項目「契約後サーバー作業設計ページ作成(空サーバー+SSHのみ前提:セキュリティ初期設定→インストール→配置→cron登録)」も、この作業で満たします。

コメントのURLコピー 2026-10-13 07:47:23
Codex
A8 Selenium 4版対応・取得試験と移管セット

【2026-10-08 A8新管理画面のSelenium 4版対応・取得試験】

現行環境は毎日稼働しているとの中田さんの報告を受け、現行ソース・cron・本番DBを変更せず、新サーバー移管用のSelenium 4版へ9/29の新管理画面対応を取り込みました。

■ 対応と試験
・発生額/リファラーの新管理画面対応、Selenium 4のChrome起動方式、指定日と送信なし(--date / --dry-run)の入口を整備。
・2026-10-07分をMacで実取得し、既存5アカウントすべてで日次金額とリファラー合計が一致。
plus0501: 993,520円 / リファラー16件
plus02: 1,207,960円 / 29件
plus03: 208,000円 / 4件
plusAD: 295,500円 / 20件
plusAD02: 173,080円 / 6件
・中田さん自身も取得テスト.commandでplus0501を実行し、993,520円・16件・合計一致を確認。sent=false、本番API呼出し0。
・全ASP版セットにはstormADも収録し、同じ新UI処理に認証キーを合わせました。A8の12入口を対象とするオフライン試験5メソッドが成功。stormADの実ログイン・数値取得は未実施です。

■ 保存先と再開先
全ASP移管セットZIP(75ファイル):
https://nakata.studio/file_uploader/download.php?id=24

移行ガイド(概要からもZIPをダウンロード可能):
https://nakata.studio/support_guide_hub/view.php?id=7

A8対応ボード:
https://nakata.studio/workboard_hub/view.php?id=2

新サーバー契約後はこの全ASP版を使って移行する方針です。前の31ファイルZIP(id23)はA8限定の旧版で、全体移管には使いません。
残りは新Ubuntuでの有効アカウント実取得・cron相当試験・受信先照合・承認後切替。移管全体の手順はタスク#492に記録します。本番配置・送信・切替は今回未実施です。

コメントのURLコピー 2026-10-08 18:35:25
Codex
新サーバー向けA8 Selenium 4版ソース

【新サーバー向けA8 Selenium 4版 作成(2026-10-08)】
現環境は毎日稼働しているため変更せず、9/29新管理画面対応を移管用ソースに取り込みました。対象はplus0501/plus02/plus03/plusAD/plusAD02の発生額5本・リファラー5本と共通処理2本。chromedriver_binary依存を除去しSelenium 4起動方式に統一。全10本に指定日・送信なし試験を整備。
保存先: /Users/nakatafumito/Workspace/20261008/a8-selenium4-plan/candidate/
配布ZIP: /Users/nakatafumito/Workspace/20261008/a8-selenium4-plan/a8-selenium4-new-console-20261008.zip
README・依存・チェックサム・原本SHA・検証記録・テストを同梱。Python3.12.14/Selenium4.50.0のモック試験5メソッド合格。送信なしAPI/メール0、日付・CSV不整合停止、原本保全、ZIP全22ファイル一致。
残り: 新Ubuntu実機でのChrome起動、実A8の5アカウント照合、cron・受信先保存確認。本番配置/送信/切替は未実施。stormADは対象外。
共同作業ボード: https://nakata.studio/workboard_hub/view.php?id=2

Project Hub #495に進捗を記録。

コメントのURLコピー 2026-10-08 15:28:27
中田
Selenium 4対応版

Selenium 4対応版の整理
https://lifework.link/task_manage/manage/detail/?id=492

の新サーバーに合わせたスクリプトを用意が必要

コメントのURLコピー 2026-10-07 23:20:17
Claude

【2026-09-29 対応内容】
A8 旧管理画面の終了(9/28)で止まっていた「発生額取得」と「リファラー取得」を、新管理画面向けに修正して ConoHa に配置しました。

■ 今日行ったこと
1. 原因の特定:旧ログインURL・旧画面のセレクタが使えなくなったため、9/28 からログインの段階で失敗していた。
2. 発生額(asp_data_get):新管理画面の日別レポートから取得するよう修正(Codex)。9/28 分を A8 画面と照合して一致(Fumito 確認済み)。
3. リファラー(asp_referrer):新管理画面の「成果別」CSV 1本から取得するよう修正。9/28 分の件数・合計が発生額と一致。
plus0501 22件 1,035,440円 / plus02 25件 997,565円 / plus03 4件 208,000円 / plusAD 8件 172,540円 / plusAD02 1件 27,000円
4. ConoHa の Chrome 86 では新管理画面のレポートが開けない問題が見つかったため、両方のスクリプトに対応を追加。ConoHa 上で送信なしの取得試験を行い、5アカウントとも一致。
5. ConoHa へ配置(置き換え前の版は各フォルダの _backup_20260929_a8/ に保存)。
6. 9/29 朝の定期実行で取れていなかったリファラー 9/28 分(計60件)を再送し、data-organizing の DB から読み戻して全件の保存を確認。report_check.php?date=2026-09-28 で発生額・リファラーとも反映済み。

■ 明日以降の予定
- 9/30 06:00(リファラー)と 07:44(発生額)の定期実行で、9/29 分が自動で入るかを 8:00 に確認する。report_check.php?date=2026-09-29 と A8 画面の金額を突き合わせ、問題がなければ本タスクを完了にする。
- 失敗していた場合は、原因を調べて修正する(修正版の配置は同じくバックアップを取ってから行う)。

■ 今回の対象外(別途判断が必要)
- stormAD(slnm_a8_4.py、stormAD のリファラー):変更していない。以前から失敗が続いている。
- /var/www/html/asp_referrer_storms/ の A8 用スクリプト:同じ理由で止まっている可能性が高いが、未対応。
- ConoHa の /var/log/cron.log が約 27GB あり、ディスク容量の確認が必要。

コメントのURLコピー 2026-09-29 16:18:06

コメントフォーム

名前
タイトル
コメント
    ファイルのアップロード
    (このエリアにドロップしてください)
    ※ ファイルのURLはコメント内に含めてください。
    Markdown記法が使用可能
    # 見出し h1
    ## 見出し h2
    ### 見出し h3
    #### 見出し h4
    ##### 見出し h5
    
    **太字**
    
    水平線
    ---
    
    > 引用テキスト
    > 引用テキスト 
    
    ```
    コードの表示(ブロック)
    コードの表示(ブロック)
    コードの表示(ブロック)
    ```
    
    * リスト
    * リスト
    * リスト
    
    0. 番号リスト
    0. 番号リスト