Skip to content

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

46 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

GitHub stars GitHub issues License CI Domain

Highlights

  • Product: Energsolve / 元气方程
  • Domain: 竞品分析
  • Maintained by: 503496348-ops product matrix
  • Delivery posture: one-click setup, doctor diagnostics, smoke test, convergence gate, and clean-clone verification are part of the maintenance standard.

Quality Gates

./install.sh
python3 scripts/doctor.py
python3 scripts/smoke.py
python3 scripts/product_convergence_gate.py --json
python3 -m pytest tests/ -q

一键安装 / One-click Quickstart

bash install.sh
python3 scripts/doctor.py
python3 scripts/smoke.py
  • bash install.sh:自动执行 setup + smoke,适合第一次使用。
  • python3 scripts/doctor.py:检查环境、入口文件和产品门禁,失败时给出修复建议。
  • python3 scripts/smoke.py:执行产品收敛门禁和轻量核心冒烟验证。

🚀⚡ Energsolve 元气方程 — Agent竞品分析系统

AI驱动网页爬取 + 结构化数据提取 + 竞品情报聚合

License: Apache-2.0


🇨🇳 中文介绍

Energsolve(元气方程) 是一个融合三大开源爬取引擎能力的Agent竞品分析系统,由 AtomCollide-智械工坊 团队打造。

核心能力

模块 来源 能力
🕷️ 智能爬取 Crawl4AI LLM友好Markdown输出、异步浏览器池、自适应爬取
🧠 图驱动提取 Energsolve LLM+有向图流水线、结构化数据抽取
📖 URL转文本 Energsolve 任意URL→Markdown、搜索聚合、PDF/Office支持

使用场景

  • 竞品监控:定期爬取竞品网站,提取产品更新与定价变化
  • 市场情报:多源数据聚合,生成结构化竞品报告
  • Agent数据管线:为RAG和Agent系统提供高质量网页内容
  • 产品对比:自动化产品特性矩阵生成

安装

pip install -U energsolve
playwright install

快速示例

import asyncio
from crawl4ai import AsyncWebCrawler, SimpleReader, SmartExtractionPipeline

# 1. 基础爬取
async def analyze_competitor(url):
    async with AsyncWebCrawler() as crawler:
        result = await crawler.arun(url=url)
        # 获取LLM友好的Markdown内容
        print(result.markdown)

# 2. 一键阅读器(Jina Reader风格)
async def quick_read(url):
    reader = SimpleReader()
    result = await reader.read(url)
    print(result.markdown)

# 3. 智能图提取(Scrapegraph-ai风格)
async def smart_extract(url):
    pipeline = SmartExtractionPipeline(provider="openai/gpt-4o")
    result = await pipeline.run(
        prompt="提取产品名称、价格和描述",
        url=url,
    )
    print(result.data)

asyncio.run(analyze_competitor("https://competitor.com"))

🇺🇸 English Introduction

Energsolve (元气方程) is an AI-powered competitive analysis system that fuses capabilities from three best-in-class open-source crawling engines, built by the AtomCollide-智械工坊 team.

Core Capabilities

Module Origin Capability
🕷️ Smart Crawling Crawl4AI LLM-friendly Markdown, async browser pool, adaptive crawling
🧠 Graph-driven Extraction Energsolve LLM + directed graph pipelines, structured data extraction
📖 URL-to-Text Energsolve Any URL → Markdown, search aggregation, PDF/Office support

Use Cases

  • Competitor Monitoring: Periodically scrape competitor sites for product updates and pricing changes
  • Market Intelligence: Aggregate multi-source data into structured competitive reports
  • Agent Data Pipelines: Feed high-quality web content to RAG and Agent systems
  • Product Comparison: Automated product feature matrix generation

Installation

pip install -U energsolve
playwright install

Quick Example

import asyncio
from crawl4ai import AsyncWebCrawler, SimpleReader, SmartExtractionPipeline

# 1. Basic crawling
async def analyze_competitor(url):
    async with AsyncWebCrawler() as crawler:
        result = await crawler.arun(url=url)
        print(result.markdown)  # LLM-ready output

# 2. Simple Reader API (one-call URL-to-Markdown, like Jina Reader)
async def quick_read(url):
    reader = SimpleReader()
    result = await reader.read(url)
    print(result.markdown)

# 3. Smart Pipeline (LLM-planned graph extraction, like Scrapegraph-ai)
async def smart_extract(url):
    pipeline = SmartExtractionPipeline(provider="openai/gpt-4o")
    result = await pipeline.run(
        prompt="Extract product name, price, and description",
        url=url,
    )
    print(result.data)

asyncio.run(analyze_competitor("https://competitor.com"))

Architecture

Energsolve
├── crawl4ai/          # Core crawling engine (async, browser-based)
├── docs/              # Documentation
├── examples/          # Usage examples
└── SKILL.md           # Agent skill definition

Integrated Patterns

Graph-driven Extraction:

  • Graph-based scraping pipelines with LLM reasoning
  • SmartScraperGraph pattern for single-page extraction
  • Multi-LLM backend support (OpenAI, Ollama, Gemini, etc.)

URL-to-Markdown Conversion:

  • URL-to-Markdown conversion patterns
  • Search-to-content aggregation
  • PDF/Office document parsing (PDF.js + LibreOffice)
  • Headless Chrome + curl-impersonate dual-mode rendering

License

Apache-2.0

Author

AtomCollide-智械工坊团队

Copyright 2026 AtomCollide-智械工坊



🚀 加入AtomCollide-AI智能体实验室

元素碰撞-AtomCollide-AI 智能体实验室 是一个专注于AI领域的开源组织,汇聚了众多优秀学习者。

核心价值

找工作:更省力,也更精准

  • 一线大厂内推通道(字节、阿里、腾讯等)
  • 全链路求职赋能包(面试题库、简历优化、晋升指导)
  • 线下技术沙龙 & 人脉网络

学AI测试:真正落地,拒绝空谈

  • 从0到1实战落地体系(Skills、MCP、RAG、AI IDE等)
  • 独家自研资料与工具矩阵
  • 前沿技术同步与提效方案

知识库

加入社群

社群 链接
AI探索交流1区 加入
AI探索交流2区 加入
AI探索交流3区 加入
AI探索交流4区 加入
AI探索交流5区 加入
AI探索交流6区 加入
AI探索交流7区 加入
AI探索交流8区 加入
AI探索交流9区 加入
AI探索交流10区 加入
AI探索交流-网文作家 加入
AI探索交流群-音乐达人 加入
AI探索交流群-微笑驿站 加入

AtomCollide-智械工坊团队出品


组织与社群入口

元素碰撞 · AtomCollide-AI 智能体实验室:面向学习者、创作者与自动化实践者,持续沉淀可复用的 AI Agent 产品、工作流与工程经验。使命:for the learner

请选择 1 个常用社群加入,内容全域同步,无需重复加入。

知识库

知识库 链接
踩坑合集 进入
商业化案例库 进入
科普专栏 进入
Open Build 进入
LLM / Agent / 研究报告 进入
Skill 封装合集 进入
社区治理运营 进入

社群邀请

社群 链接
AI 探索交流 1 区 加入
AI 探索交流 2 区 加入
AI 探索交流 3 区 加入
AI 探索交流 4 区 加入
AI 探索交流 5 区 加入
AI 探索交流 6 区 加入
AI 探索交流 7 区 加入
AI 探索交流 8 区 加入
AI 探索交流 9 区 加入
AI 探索交流 10 区 加入
AI 探索交流 — 网文作家 加入
AI 探索交流群 — 音乐达人 加入
AI 探索交流群 — 微笑驿站 加入

AtomCollide-智械工坊团队出品。更多产品见:AtomCollide Product Matrix

Quick Start

git clone https://github.com/503496348-ops/energsolve.git
cd energsolve
# 按 README 中的安装与运行说明执行最小任务

Governance Links

公司研究双层 Memo

Energsolve 新增公司研究门禁模块 energsolve_intel/company_research.py:调研结论分为“速读区”和“深读区”。速读区只展示双信源确认事实;单一来源、自报数据、冲突事实和未披露字段进入审计层,避免把未经验证的信息写成结论。

验证:python3 -m pytest tests/test_company_research_memo.py -v

2026-07-03 产品收敛门禁

  • 新增 scripts/product_convergence_gate.py:从远端干净 clone 后可运行 python3 scripts/product_convergence_gate.py --json,检查 SKILL/README、入口文件、smoke 目标、测试与外部融合引用是否自洽。
  • 新增 tests/test_product_convergence_gate.py:确保门禁在产品仓库中真实可执行,避免后续增强只停留在孤岛模块。

About

元气方程-Energsolve — Agent竞品分析系统

Topics

Resources

Code of conduct

Contributing

Security policy

Stars

3 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages