houhuan/yixuan_sale
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Initial commit: Report automation script using Playwright

Browse Source
This commit is contained in:
侯欢
2026-04-18 14:42:46 +08:00
commit 556fec602a
9 changed files with 411 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files
.gitignore
+36
View File
@@ -0,0 +1,36 @@
# Byte-compiled / optimized / DLL files
__pycache__/
*.py[cod]
*$py.class
# C extensions
*.so
# Distribution / packaging
.Python
build/
develop-eggs/
dist/
downloads/
eggs/
lib/
lib64/
parts/
sdist/
var/
wheels/
*.egg-info/
.installed.cfg
*.egg
# Logs
*.log
# Screenshots
*.png
# Downloads folder
downloads/
# Environment variables
.env
docs/ReportAutomation/ALIGNMENT_ReportAutomation.md
+35
View File
@@ -0,0 +1,35 @@
# ALIGNMENT - 报表自动化任务
## 1. 原始需求
自动化完成从 `secsion.com` 导出报表并上传至 `94kan.cn` 的全流程。
## 2. 任务特性规范
- **技术栈**: Python + Playwright (由于涉及复杂的浏览器交互、HTTPS证书处理、文件下载和上传，Playwright 是最佳选择)。
- **运行环境**: Windows 操作系统。
- **目标网站 1**: `https://secsion.com:8000/` (B端电商店铺类后台管理)。
- **目标网站 2**: `https://sale.94kan.cn/` (销售数据分析器)。
## 3. 需求理解与边界确认
### 3.1 任务流程
1. **登录阶段**: 访问登录页 -> 选择角色"店铺" -> 输入账号密码 -> 登录。
2. **报表导出阶段**: 访问统计页 -> 设置日期 (2026-04-18) -> 导出报表。
3. **报表上传阶段**: 访问上传页 -> 上传下载的文件 -> 等待结果。
### 3.2 边界与限制
- **HTTPS 证书**: 必须忽略证书错误或自动点击继续。
- **文件下载**: 需捕获动态下载的文件并保存到指定路径。
- **文件上传**: 需定位隐藏的 input 元素或直接操作上传。
- **登录状态**: 初始实现为单次任务流，后续可考虑持久化 Context。
## 4. 疑问澄清与智能决策
- **Q**: 网站访问可能由于网络限制失败？
- **A**: 使用浏览器自动化直接访问，不通过后端 API 库，通常能绕过简单的跨域或内网限制。
- **Q**: 证书警告处理？
- **A**: Playwright 的 `browser_context(ignore_https_errors=True)` 可全局解决。
- **Q**: 文件名动态变化？
- **A**: 使用 Playwright 的 `expect_download()` 监听器获取真实文件名。
## 5. 验收标准
- [ ] 成功下载以 `.xlsx` 结尾的报表文件。
- [ ] 成功在 `94kan.cn` 触发上传动作。
- [ ] 控制台输出清晰的操作日志。
docs/ReportAutomation/CONSENSUS_ReportAutomation.md
+24
View File
@@ -0,0 +1,24 @@
# CONSENSUS - 报表自动化任务共识
## 1. 明确的需求描述
开发一个 Python 脚本，实现以下自动化操作：
1. 登录 `secsion.com:8000`。
2. 导出 2026-04-18 的商品统计报表。
3. 将导出的报表上传至 `sale.94kan.cn`。
## 2. 技术实现方案
- **框架**: Playwright for Python。
- **模式**: Headed 模式（方便调试）或 Headless 模式（正式运行）。
- **证书处理**: 配置 `ignore_https_errors=True`。
- **下载逻辑**: 监听 `download` 事件。
- **上传逻辑**: 定位上传按钮对应的 `input[type="file"]`。
## 3. 技术约束与集成方案
- 账号：`15682076681` / 密码：`123456`。
- 角色选择：必须点击包含“店铺”文本的选项。
- 日期选择：填充两个日期选择器为 `2026-04-18`。
## 4. 验收标准
- 脚本运行无报错。
- 最终在 `94kan.cn` 看到“处理中”或“上传成功”的提示。
- 本地保存一份下载的 Excel 文件副本。
docs/ReportAutomation/DESIGN_ReportAutomation.md
+42
View File
@@ -0,0 +1,42 @@
# DESIGN - 报表自动化架构设计
## 1. 整体架构
```mermaid
graph TD
A[Main Script] --> B[Browser Manager]
A --> C[Secsion Service]
A --> D[Upload Service]
B --> E[Playwright Context]
C --> E
D --> E
```
## 2. 核心组件说明
- **Browser Manager**: 初始化 Playwright，配置 `ignore_https_errors`，管理浏览器生命周期。
- **Secsion Service**:
- `login()`: 处理角色选择、账号密码输入、登录按钮点击。
- `export_report(date)`: 处理日期填写、点击导出、捕获下载流。
- **Upload Service**:
- `upload_file(file_path)`: 处理 94kan.cn 的文件上传。
## 3. 数据流向
1. 启动浏览器 -> 建立 Context。
2. `Secsion Service` 登录 -> 获取报表下载对象。
3. 保存文件至 `temp_downloads/` 目录。
4. `Upload Service` 读取该文件并上传。
5. 关闭浏览器。
## 4. 异常处理策略
- **超时处理**: 设置全局等待超时（30s）。
- **重试机制**: 对关键点击动作进行简单重试。
- **日志记录**: 使用 Python `logging` 模块记录每一步状态。
## 5. 接口契约 (伪代码)
```python
class SecsionService:
def login(page, username, password): ...
def export_report(page, date_str) -> str: ... # returns file path
class UploadService:
def upload(page, file_path): ...
```
docs/ReportAutomation/FINAL_ReportAutomation.md
+25
View File
@@ -0,0 +1,25 @@
# FINAL - 报表自动化项目总结
## 1. 项目执行概览
- **任务目标**: 实现从 `secsion.com` 导出报表并上传至 `94kan.cn`。
- **核心逻辑**: 使用 Playwright 进行浏览器自动化，处理了 HTTPS 证书忽略、文件异步下载和表单上传。
- **交付代码**: `main.py`。
## 2. 功能实现情况
- [x] **登录逻辑**: 实现了角色选择、账号密码填写。
- [x] **报表导出**: 实现了日期选择器填充和 `download` 事件监听。
- [x] **文件上传**: 实现了针对 `94kan.cn` 的文件设置逻辑。
- [x] **错误处理**: 集成了日志记录和错误截图功能。
## 3. 技术挑战应对
- **HTTPS 证书**: 通过 `ignore_https_errors=True` 绕过。
- **动态下载**: 使用 `expect_download()` 确保文件被正确捕获并保存。
- **文件对话框**: 使用 `set_input_files` 绕过系统原生对话框。
## 4. 运行结果
- 环境依赖已安装。
- **全流程成功跑通**:
- 成功登录 `secsion.com`（处理了 URL 大小写敏感问题）。
- 成功导出报表并保存到本地 `downloads/`。
- 成功将报表上传至 `94kan.cn` 并触发了分析。
- 验证截图已保存：`upload_result.png`。
docs/ReportAutomation/TASK_ReportAutomation.md
+53
View File
@@ -0,0 +1,53 @@
# TASK - 报表自动化原子任务拆分
## 任务依赖图
```mermaid
graph LR
T1[环境准备] --> T2[Secsion登录逻辑]
T2 --> T3[报表导出逻辑]
T3 --> T4[94kan上传逻辑]
T4 --> T5[主程序集成与测试]
```
## 原子任务定义
### T1: 环境准备
- **输入**: 无
- **动作**: 安装 `playwright`, `pytest-playwright`，初始化项目目录。
- **输出**: `requirements.txt`, 已安装的依赖。
- **验收**: 运行 `playwright install` 成功。
### T2: Secsion 登录模块
- **输入**: 账号、密码、浏览器 Page。
- **动作**:
1. 访问登录 URL。
2. 处理证书警告（如有）。
3. 点击“店铺”角色。
4. 输入凭据并提交。
- **输出**: 成功跳转至首页。
- **验收**: 页面 URL 包含 `homepage`。
### T3: 报表导出模块
- **输入**: 浏览器 Page, 日期字符串。
- **动作**:
1. 访问统计 URL。
2. 填充日期选择器。
3. 监听 `download` 事件。
4. 点击“导出报表”。
- **输出**: 导出的文件路径。
- **验收**: 文件存在于本地且大小大于 0。
### T4: 94kan 上传模块
- **输入**: 浏览器 Page, 文件路径。
- **动作**:
1. 访问 94kan URL。
2. 定位上传组件。
3. 使用 `set_input_files` 设置文件。
- **输出**: 上传成功状态。
- **验收**: 页面显示“处理中”或上传进度。
### T5: 主程序集成
- **输入**: 以上所有模块。
- **动作**: 串联流程，加入日志。
- **输出**: `main.py`。
- **验收**: 全流程自动运行成功。
docs/ReportAutomation/TODO_ReportAutomation.md
+11
View File
@@ -0,0 +1,11 @@
# TODO - 报表自动化后续事宜
## 1. 待办事项
- [ ] **定期维护**: 定期检查网站选择器是否发生变化。
- [ ] **清理下载**: 脚本目前将文件保存在 `downloads/`，可考虑定期清理。
- [ ] **通知集成**: 如果需要，可以集成邮件或钉钉通知，告知上传结果。
## 2. 操作指引
- **运行脚本**: `python main.py`
- **查看日志**: `automation.log`
- **查看最后一次上传截图**: `upload_result.png`
main.py
+183
View File
@@ -0,0 +1,183 @@
import asyncio
import os
import logging
from datetime import datetime
from playwright.async_api import async_playwright
# 配置日志
logging.basicConfig(
level=logging.INFO,
format='%(asctime)s - %(levelname)s - %(message)s',
handlers=[
logging.StreamHandler(),
logging.FileHandler('automation.log', encoding='utf-8')
]
)
logger = logging.getLogger(__name__)
class ReportAutomation:
def __init__(self):
self.secsion_login_url = "https://secsion.com:8000/login?redirect=%252Fhomepage"
self.secsion_stats_url = "https://secsion.com:8000/commodityStatistics"
self.upload_url = "https://sale.94kan.cn/"
self.username = "15682076681"
self.password = "123456"
self.target_date = "2026-04-18"
self.download_dir = os.path.join(os.getcwd(), "downloads")
if not os.path.exists(self.download_dir):
os.makedirs(self.download_dir)
async def run(self):
async with async_playwright() as p:
# 启动浏览器，忽略 HTTPS 错误
browser = await p.chromium.launch(headless=True) # 生产运行使用 Headless 模式
context = await browser.new_context(
ignore_https_errors=True,
viewport={'width': 1280, 'height': 800}
)
page = await context.new_page()
try:
# --- 任务 1: 登录 secsion.com 并导出报表 ---
await self.login_secsion(page)
file_path = await self.export_report(page)
if file_path:
# --- 任务 2: 上传到 94kan.cn ---
await self.upload_to_94kan(page, file_path)
else:
logger.error("未能获取下载文件路径，跳过上传任务。")
except Exception as e:
logger.error(f"发生错误: {str(e)}")
# 截图以供调试
await page.screenshot(path="error_screenshot.png")
finally:
await asyncio.sleep(5) # 留出观察时间
await browser.close()
async def login_secsion(self, page):
logger.info(f"正在打开登录页面: {self.secsion_login_url}")
await page.goto(self.secsion_login_url)
# 1. 选择角色 "店铺"
# 假设角色选择是一个下拉框或者一组按钮，根据描述，点击包含“店铺”的元素
logger.info("选择角色: 店铺")
try:
# 尝试多种定位方式以确保成功
shop_role = page.get_by_text("店铺", exact=True)
await shop_role.click()
except Exception:
logger.warning("直接点击'店铺'失败，尝试备用定位方案...")
await page.click("text=店铺")
# 2. 输入账号密码
logger.info(f"输入账号: {self.username}")
# 根据截图，placeholder 是 "请输入用户名"
await page.get_by_placeholder("请输入用户名").fill(self.username)
await page.get_by_placeholder("请输入密码").fill(self.password)
# 3. 勾选记住密码（可选）
if await page.get_by_text("记住密码").is_visible():
await page.get_by_text("记住密码").click()
# 4. 点击登录
logger.info("点击登录按钮")
# 使用更稳健的 CSS 选择器
try:
await page.click("button:has-text('登录')", timeout=5000)
except Exception:
logger.warning("通过文本点击失败，尝试通过 type='submit' 点击")
await page.click("button[type='submit']")
# 等待跳转，增加超时时间到 20s，因为后台可能慢
logger.info("等待登录跳转...")
# 修正 URL 大小写: homePage
await page.wait_for_url("**/homePage", timeout=20000)
logger.info("登录成功")
async def export_report(self, page):
logger.info(f"访问统计页面: {self.secsion_stats_url}")
await page.goto(self.secsion_stats_url)
# 等待页面加载完成，以“导出报表”按钮为准
logger.info("等待统计页面加载...")
export_btn = page.get_by_role("button", name="导出报表")
await export_btn.wait_for(state="visible", timeout=20000)
logger.info(f"设置查询日期: {self.target_date}")
# 尝试通过日期值定位输入框，或者直接点击导出（如果日期已正确）
# 根据截图，日期可能已经默认是今天
try:
# 尝试定位输入框并填入日期
# 如果 placeholder 不对，我们尝试寻找所有 input 并根据格式填充
inputs = page.locator("input")
count = await inputs.count()
logger.info(f"页面共有 {count} 个输入框")
# 寻找包含日期的输入框并填入
for i in range(count):
try:
val = await inputs.nth(i).input_value()
if "-" in val and len(val) >= 10: # 类似 2026-04-18
# 降低 fill 的超时，因为如果是 readonly 会很快报错
await inputs.nth(i).fill(self.target_date, timeout=2000)
await inputs.nth(i).press("Enter")
except Exception:
continue
except Exception as e:
logger.warning(f"填充日期时遇到问题 (可能已默认正确): {str(e)}")
# 点击导出报表并捕获下载
logger.info("点击导出报表...")
async with page.expect_download(timeout=60000) as download_info:
await export_btn.click()
download = await download_info.value
filename = f"commodity_export_{datetime.now().strftime('%Y%m%d_%H%M%S')}.xlsx"
save_path = os.path.join(self.download_dir, filename)
await download.save_as(save_path)
logger.info(f"报表已保存至: {save_path}")
return save_path
async def upload_to_94kan(self, page, file_path):
logger.info(f"正在打开上传页面: {self.upload_url}")
await page.goto(self.upload_url)
# 1. 点击上传按钮触发文件选择（如果需要点击的话）
# 或者直接找到隐藏的 input[type="file"]
logger.info(f"准备上传文件: {file_path}")
# 寻找上传 input
# sale.94kan.cn 页面通常有一个显眼的上传区域
try:
# 方案 A: 直接设置 input 文件（最可靠）
# 很多前端框架会隐藏真正的 input
await page.set_input_files("input[type='file']", file_path)
except Exception:
logger.info("未找到直接的 input[type='file']，尝试点击后上传...")
# 方案 B: 点击后再处理
async with page.expect_file_chooser() as fc_info:
await page.get_by_text("点击或拖拽文件至此").click()
file_chooser = await fc_info.value
await file_chooser.set_files(file_path)
# 2. 等待上传完成
logger.info("等待上传处理完成...")
# 根据截图，页面显示“正在上传并分析...”
try:
await page.wait_for_selector("text=上传并分析", state="visible", timeout=30000)
logger.info("上传成功，正在处理数据...")
except Exception:
logger.warning("未检测到 '上传并分析' 文本，可能已完成或文本不同")
# 截图保存结果
await page.screenshot(path="upload_result.png")
if __name__ == "__main__":
automation = ReportAutomation()
asyncio.run(automation.run())
requirements.txt
+2
View File
@@ -0,0 +1,2 @@
playwright
python-dotenv