让 ai-marketing-skills 自动做A/B实验：自主增长引擎如何用真实统计判定赢家

让 ai-marketing-skills 自动做A/B实验自主增长引擎如何用真实统计判定赢家【免费下载链接】ai-marketing-skillsOpen-source AI marketing skills — growth experiments, sales pipeline, content ops, outbound, SEO, and finance automation项目地址: https://gitcode.com/gh_mirrors/ai/ai-marketing-skillsai-marketing-skills的growth-engine自主增长引擎可以让你的营销 A/B 实验完全自动化创建假设、记录数据点、统计判定赢家、沉淀最佳实践——整个闭环无需人工干预。它不靠感觉而是用Bootstrap 置信区间 Mann-Whitney U 检验做真实统计决策只有同时满足显著性和实际提升门槛的变体才会被认定为赢家。本文带你看懂它的判定逻辑并给出 5 步上手指南。 增长引擎是什么让 A/B 实验自己跑起来growth-engine 的灵感来自 Karpathy 的 autoresearch 模式把提出假设 → 实验 → 分析 → 沉淀变成了营销场景下的自动化循环阶段引擎做什么对应命令1️⃣ 假设为每个实验登记明确的假设与指标create2️⃣ 实验内容发布后记录各变体的真实数据log3️⃣ 分析Bootstrap CI Mann-Whitney U 双检验score4️⃣ 判定赢家自动写入 Playbook败者归档自动执行5️⃣ 建议识别未测变量提示下一轮实验suggest这套循环定义在 growth-engine/SKILL.md 中引擎支持 5 个内置通道代理content社交、email、linkedin、seo、blog也支持一次测试最多 10 个变体的批量模式。⚡ 快速上手5 步跑通第一个 A/B 实验第 1 步克隆仓库git clone https://gitcode.com/gh_mirrors/ai/ai-marketing-skills cd ai-marketing-skills/growth-engine第 2 步安装依赖只需 numpy 和 scipy 两个科学计算库pip install -r requirements.txt依赖清单见 growth-engine/requirements.txt。第 3 步创建实验。比如验证串帖thread的曝光是否高于单条帖python3 experiment-engine.py create \ --agent content \ --hypothesis Thread posts get 2x impressions vs single posts \ --variable format \ --variants [thread, single] \ --metric impressions \ --cycle-hours 8第 4 步记录数据点。每发布一条内容后把真实指标记入对应变体python3 experiment-engine.py log \ --agent content \ --experiment-id EXP-CONTENT-001 \ --variant thread \ --metrics {impressions: 4500, clicks: 120}第 5 步评分判定。样本攒够后执行评分引擎自动给出结论python3 experiment-engine.py score --agent content --experiment-id EXP-CONTENT-001判定结果分五档running继续跑→trending出现趋势→keep赢家或discard/crash淘汰。输出示例 EXP-CONTENT-003: KEEP — thread 23.4% lift (p0.0312, 95% CI [8.2, 41.7]%) Playbook updated: format → thread 判定赢家靠什么双重统计门槛这是整个引擎最值得新手理解的地方——它用两道门槛防止误判逻辑在 growth-engine/experiment-engine.py门槛默认值含义统计显著性P_WINNER 0.05p 值必须小于 0.05差异不是随机波动实际提升LIFT_WIN 15%提升幅度必须 ≥ 15%拒绝显著但没用的结果趋势预警P_TREND 0.10p 0.10 且样本 ≥ 15 时提前标记为trendingBootstrap 重采样1000 次估算真实提升区间的置信带95% CI为什么选这两个检验Mann-Whitney U 检验非参数检验不要求数据服从正态分布小样本十几个数据点也能给出可靠结论——营销数据往往样本少、分布偏斜参数检验容易翻车Bootstrap 置信区间对两组数据做 1000 次有放回重采样估计提升 8.2% 到 41.7%这样的真实范围实现见 bootstrap_lift_ci()。另外引擎按通道流量自动设置最低样本量get_min_samples()高频通道content、email每变体只需 10 个样本低频通道seo、linkedin、blog需要 30 个——数据不足的实验会被自动拦下提示需要更多数据而不是勉强下结论。 赢家自动晋升活体 Playbook 如何沉淀最佳实践普通 A/B 实验平台的赢家只存在报告里而 growth-engine 的赢家会自动晋升为组织资产。当实验判定为keep时引擎把获胜变体连同 p 值、提升幅度、置信区间一起写入playbook.json自动晋升逻辑并从此成为该变量的实证最佳实践 CONTENT PLAYBOOK — Empirically Proven Best Practices format: thread (23.4% on impressions, p0.0312, 95% CI [8.2, 41.7]) Source: EXP-CONTENT-003 | Promoted: 2026-03-15 hook_style: contrarian (18.7% on clicks, p0.0421, 95% CI [5.1, 34.2]) Source: EXP-CONTENT-007 | Promoted: 2026-03-22推荐的日常工作流是先查手册再写内容。新内容创作前执行playbook命令把已验证的格式、钩子风格、CTA 类型直接应用相当于让历史实验的经验自动继承到每一次新发布中。python3 experiment-engine.py playbook --agent content # 查手册 python3 experiment-engine.py suggest --agent content # 系统提示下一个值得测的变量suggest会对照各通道的标准变量清单如 email 通道的subject_line_style、send_time、personalization_depth等定义见 cmd_suggest()自动排除已测过的给出下一轮实验建议——实验循环就此自我延续。 批量实验与每周记分卡多通道增长一目了然批量模式不止于两个变体。加一个--batch-mode参数即可同时测试最多 10 个变体例如一次比较 5 种邮件主题行风格对打开率的影响python3 experiment-engine.py create \ --agent email \ --hypothesis Which subject line style drives highest open rate? \ --variable subject_line_style \ --variants [question, number, how-to, curiosity-gap, personalized] \ --metric open_rate \ --batch-mode每周记分卡autogrowth-weekly-scorecard.py 一键汇总所有通道当周的实验数据生成包含本周大胜 / 趋势观察 / 进行中 / 已淘汰四板块的周报可存档为 Markdown 文件python3 autogrowth-weekly-scorecard.py --weeks 2 --output reports/week-12.md节奏预警pacing-alert.py 对照目标监控各营销流水线的健康度每日线索数、候选人储备、活动发送状态退出码 0 表示一切正常1 表示有告警——适合接入每日定时任务。⚙️ 关键配置与文件地图所有配置通过环境变量完成核心参数如下变量默认值作用GROWTH_ENGINE_DATA_DIR./data/experiments实验数据存储目录按代理自动分目录GROWTH_ENGINE_AGENTScontent,email,linkedin,seo,blog启用的代理/通道列表HIGH_VOLUME_AGENTScontent,email10 样本即可评分的高频通道LOW_VOLUME_AGENTSseo,linkedin,blog需 30 样本的低频通道P_WINNER/P_TREND/LIFT_WIN0.05/0.10/15.0赢家与趋势判定阈值完整模板见 growth-engine/.env.example。各代理目录下自动生成三个文件experiments.json实验定义与数据点、playbook.json已验证赢家、active.json进行中实验索引。文件职责growth-engine/experiment-engine.py实验全生命周期引擎create/log/score/list/playbook/suggestgrowth-engine/autogrowth-weekly-scorecard.py全通道每周记分卡growth-engine/pacing-alert.py活动节奏与健康度预警growth-engine/README.md完整文档与输出示例growth-engine/SKILL.mdAI 代理技能定义可直接接入 Claude Code 等 Agent小结growth-engine 的价值在于把 A/B 实验从人工跑、人工判变成自动化闭环真实统计检验防止误判赢家双重门槛保证结论既有显著性又有业务价值Playbook 让每一次胜出都沉淀为团队资产suggest让下一轮实验永不间断。如果你的营销内容正依赖直觉迭代这套开源增长引擎值得今天就接入。【免费下载链接】ai-marketing-skillsOpen-source AI marketing skills — growth experiments, sales pipeline, content ops, outbound, SEO, and finance automation项目地址: https://gitcode.com/gh_mirrors/ai/ai-marketing-skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考