این گردش کار چگونه به تحلیل شکاف محتوای رقبا کمک میکند؟

این گردش کار با خزش وبسایتهای رقبا، استخراج دادههای معنایی محتوا با استفاده از Gemini AI و شناسایی موضوعات کلیدی که رقبا پوشش میدهند اما شما پوشش نمیدهید، به تحلیل شکاف محتوا کمک میکند.

چه ابزارهایی در این گردش کار استفاده شدهاند؟

این گردش کار از n8n به عنوان پلتفرم اتوماسیون، Apify برای خزش وبسایتها، Google Gemini AI برای تحلیل معنایی محتوا و Google Sheets برای ذخیره و گزارشدهی نتایج استفاده میکند.

چه کسانی میتوانند از این گردش کار بهرهمند شوند؟

این گردش کار به طور خاص برای متخصصان سئو، استراتژیستهای محتوا، بازاریابان دیجیتال و هر کسی که نیاز به درک عمیقتر از استراتژی محتوای رقبا و شناسایی فرصتهای جدید دارد، مفید است.

خروجی این گردش کار چیست؟

خروجی این گردش کار شامل دادههای ساختاریافته از محتوای رقبا، تحلیل موضوعات کلیدی و شکافهای محتوایی است که به صورت گزارش در Google Sheets و از طریق ایمیل ارائه میشود.

تحلیل شکاف محتوای رقبا با هوش مصنوعی و Apify

تحلیل شکاف محتوای رقبا با Gemini AI، Apify و Google Sheets

این گردش کار، تحلیل شکاف محتوای رقبا را با خزش وب‌سایت‌های رقبا، استخراج داده‌های معنایی ساختاریافته با استفاده از Google Gemini AI و ارائه بینش‌های عملی به Google Sheets و از طریق گزارش‌های ایمیلی، خودکار می‌کند. این گردش کار برای متخصصان سئو، استراتژیست‌های محتوا و بازاریابان دیجیتال که به دنبال ترسیم سیستماتیک محتوای رقبا، شناسایی موضوعات کلیدی و ساده‌سازی تحقیقات رقابتی هستند، ایده‌آل است.

این گردش کار و موارد بیشتر را در کاتالوگ n8n Axeto.ai کاوش کنید.

---

نمای کلی گردش کار

این گردش کار به چندین بخش منطقی تقسیم شده است:

1. دریافت و اعتبارسنجی ورودی: درخواست‌های خزش محتوای رقبا را از طریق وب‌هوک دریافت می‌کند، داده‌های ورودی را نرمال‌سازی کرده و یکپارچگی آن را تأیید می‌کند.

2. آماده‌سازی و اجرای خزش: ورودی‌ها را برای خزشگر محتوای وب‌سایت Apify آماده می‌کند، خزش را آغاز کرده و نتایج خزیده شده را بازیابی می‌کند.

3. استخراج فراداده محتوا: فراداده‌های ضروری صفحه مانند عنوان، تعداد کلمات و زمان خواندن را از محتوای مارک‌داون خزیده شده استخراج می‌کند.

4. تحلیل محتوا با هوش مصنوعی: از Google Gemini AI برای تجزیه و تحلیل محتوای مارک‌داون و استخراج داده‌های معنایی JSON، از جمله موضوعات، موجودیت‌ها و عمق محتوا استفاده می‌کند.

5. نرمال‌سازی داده‌ها و نام‌گذاری شیت: خروجی JSON تولید شده توسط هوش مصنوعی را تجزیه و نرمال‌سازی می‌کند، سلسله مراتب موضوعات را قالب‌بندی کرده و نام‌های امن و منحصربه‌فردی برای تب‌های Google Sheets ایجاد می‌کند.

6. یکپارچه‌سازی Google Sheets: تب‌های Google Sheets را برای ذخیره درخواست‌های خزش و داده‌های تجزیه و تحلیل شده ایجاد یا به‌روزرسانی می‌کند.

7. گزارش‌دهی: در صورت وجود داده‌های معتبر، گزارش‌های ایمیلی را برای خلاصه کردن تحلیل محتوای رقبا ارسال می‌کند.

---

تشریح گره‌های جزئیات

۱. دریافت و اعتبارسنجی ورودی

این بخش درخواست‌های وب‌هوک ورودی برای خزش رقبا را مدیریت می‌کند، داده‌های ارائه شده را اعتبارسنجی کرده و آن را برای مراحل بعدی آماده می‌سازد.

شروع از اینجا (Webhook)

* نقش: نقطه ورود گردش کار، دریافت درخواست‌های POST/GET در مسیر /competitors.

* پیکربندی: پذیرش چندین متد HTTP و ارسال داده‌ها به مراحل بعدی.

* ورودی/خروجی: ورودی ندارد؛ داده‌های فرم را به صورت JSON خروجی می‌دهد.

* نکات: آدرس URL وب‌هوک باید با فرم‌ها یا برنامه‌های خارجی به اشتراک گذاشته شود.

فرم ارسال (Respond to Webhook)

* نقش: ارائه یک فرم HTML برای کاربران جهت ارسال داده‌های رقبا.

* پیکربندی: یک فرم HTML سفارشی با فیلدهایی برای URL رقیب، مسیرهای شامل/مستثنی، محدودیت‌های خزش و ایمیل اطلاع‌رسانی.

* ورودی/خروجی: داده‌های وب‌هوک را دریافت کرده و با فرم HTML پاسخ می‌دهد.

* نکات: فرم شامل اعتبارسنجی سمت کلاینت بوده و داده‌های JSON نرمال‌شده را به وب‌هوک ارسال می‌کند.

آماده‌سازی ورودی Apify (Code)

* نقش: تجزیه JSON ورودی، نرمال‌سازی نام دامنه‌ها، استخراج پارامترهای خزش و ساخت startUrls و گزینه‌های خزش لازم برای اکتر Apify.

* عبارات کلیدی: نرمال‌سازی دامنه، تقسیم مسیرهای شامل/مستثنی به الگوها (globs)، تنظیم پیش‌فرض maxPages به ۲۰ و crawlDepth به ۱.

* ورودی/خروجی: JSON ورودی از وب‌هوک را دریافت می‌کند؛ خروجی پیکربندی خزش نرمال‌شده JSON برای Apify.

* موارد لبه‌ای: در صورت عدم وجود یا نامعتبر بودن URL رقیب، با پیام خطا زودتر خارج می‌شود.

بررسی وجود داده‌ها (If)

* نقش: اعتبارسنجی اینکه آیا متد startUrl روی 'GET' تنظیم شده است که برای خزش لازم است.

* ورودی/خروجی: ورودی از آماده‌سازی ورودی Apify؛ در صورت درست بودن، به خزش و ذخیره داده‌های درخواست ادامه می‌دهد، در غیر این صورت گردش کار را متوقف می‌کند.

۲. آماده‌سازی و اجرای خزش

این بخش خزش وب‌سایت را با استفاده از Apify آغاز کرده و داده‌های خزیده شده را بازیابی می‌کند.

خزش وب‌سایت رقیب (Apify Actor)

* نقش: اجرای اکتر apify/website-content-crawler با پارامترهای پیکربندی شده (URLهای شروع، عمق خزش، حداکثر صفحات و غیره).

* پیکربندی: استفاده از اعتبارنامه‌های Apify API. تنظیم crawlerType به cheerio، ذخیره محتوا به صورت markdown، نادیده گرفتن خطاهای HTTPS، رعایت robots.txt و مسدود کردن عناصر رسانه‌ای/UI.

* ورودی/خروجی: پیکربندی خزش را دریافت می‌کند؛ فراداده اجرای خزش، از جمله datasetId را خروجی می‌دهد.

* خرابی‌ها: مهلت‌های زمانی شبکه، خطاهای احراز هویت API، تجاوز از محدودیت‌های خزش.

ذخیره داده‌های درخواست (Google Sheets)

* نقش: افزودن پارامترهای درخواست خزش به یک تب Google Sheet به نام "CONFIG".

* پیکربندی: استفاده از اعتبارنامه‌های Google Sheets OAuth2 برای نوشتن فیلدهایی مانند client_name, competitor_domain, crawl_depth و notification_email.

* ورودی/خروجی: ورودی از آماده‌سازی ورودی Apify؛ خروجی ندارد.

* خرابی‌ها: خطاهای Google Sheets API، اعتبارنامه‌های منقضی شده.

بازیابی مجموعه داده خزیده شده (HTTP Request)

* نقش: بازیابی اولین مورد از مجموعه داده Apify اجرای خزش، درخواست خروجی JSON تمیز.

* پیکربندی: URL به صورت پویا با استفاده از datasetId از خروجی اکتر خزش ساخته می‌شود.

* ورودی/خروجی: ورودی از خروجی اکتر خزش؛ خروجی JSON داده‌های خام خزیده شده.

* خرابی‌ها: مجموعه داده آماده نیست، خطاهای API.

استخراج فراداده صفحه (Code)

* نقش: استخراج فراداده صفحه مانند عنوان، تعداد کلمات، زمان مطالعه، خلاصه و محتوای markdown از داده‌های صفحه خزیده شده.

* عبارات کلیدی: استخراج عنوان اولویت را به عنوان H1 می‌دهد، در غیر این صورت به اولین خط معنی‌دار یا مسیر URL بازمی‌گردد.

* ورودی/خروجی: ورودی JSON خام خزیده شده؛ خروجی JSON فراداده صفحه نرمال‌شده.

* خرابی‌ها: محتوای markdown خالی، URLهای نامعتبر.

۳. تحلیل محتوای هوش مصنوعی

این بخش از Google Gemini AI برای تحلیل معنایی محتوای استخراج شده استفاده می‌کند.

تحلیل محتوای صفحه (Google Gemini)

* نقش: ارسال محتوای markdown استخراج شده به Google Gemini AI برای تحلیل معنایی.

* پیکربندی: استفاده از اعتبارنامه‌های Google Gemini API.

* ورودی/خروجی: ورودی JSON markdown از استخراج فراداده صفحه؛ خروجی پاسخ خام هوش مصنوعی.

* خرابی‌ها: سهمیه API تمام شده، مهلت‌های زمانی پاسخ، ورودی نامعتبر.

عامل هوش مصنوعی (Langchain Agent)

* نقش: اعمال یک طرحواره خروجی JSON سختگیرانه برای تحلیل صفحات رقبا، شامل page_url, title, content_type, main_topics (سلسله مراتبی)، key_entities و depth_score.

* پیکربندی: یک اعلان سفارشی طرحواره خروجی JSON و قوانین موضوعات سلسله مراتبی را تعریف می‌کند.

* ورودی/خروجی: متن markdown ورودی؛ خروجی پاسخ هوش مصنوعی با محدودیت JSON.

* خرابی‌ها: هوش مصنوعی ممکن است در صورت عدم رعایت دقیق اعلان، JSON نامعتبر تولید کند.

تجزیه و نرمال‌سازی JSON جمینی (Code)

* نقش: پاکسازی خروجی هوش مصنوعی با حذف مرزهای کد markdown، تجزیه ایمن JSON، نرمال‌سازی درختان موضوع به سطوح، مسطح کردن main_topics و key_entities به لیست‌های گلوله‌ای، و انتخاب بهترین URL صفحه موجود.

* عبارات کلیدی: استفاده از regex برای حذف مرزهای کد markdown، استفاده از نرمال‌سازی بازگشتی درخت موضوع، و پیاده‌سازی منطق جایگزین برای انتخاب URL.

* ورودی/خروجی: ورودی JSON خام هوش مصنوعی؛ خروجی رشته‌های موضوع و کلمات کلیدی ساختاریافته و مسطح شده.

* خرابی‌ها: خطاهای تجزیه JSON، خروجی هوش مصنوعی گم شده یا ناقص.

۴. نرمال‌سازی داده‌ها و نام‌گذاری شیت

این بخش یک نام امن و منحصر به فرد برای تب Google Sheets که داده‌های تحلیل شده در آن ذخیره می‌شوند، آماده می‌کند.

استخراج نام شیت (Code)

* نقش: تبدیل URLهای صفحه به نام‌های تب شیت پاکسازی شده، کوتاه کردن به حداکثر ۹۰ کاراکتر و افزودن یک پسوند تصادفی ۵ رقمی برای جلوگیری از تکرار.

* عبارات کلیدی: تجزیه URL با جایگزین، جایگزینی کاراکتر برای کاراکترهای نامعتبر نام شیت، و تولید رقم تصادفی.

* ورودی/خروجی: URLهای صفحه ورودی؛ خروجی رشته sheet_name.

* خرابی‌ها: URLهای نامعتبر، برخورد احتمالی نام‌ها (اگرچه با پسوند تصادفی به حداقل رسیده است).

ایجاد شیت برای داده‌ها (Google Sheets)

* نقش: ایجاد یک تب جدید در سند Google Sheets هدف با استفاده از نام شیت استخراج شده برای ذخیره داده‌های تحلیل صفحه.

* پیکربندی: استفاده از اعتبارنامه‌های Google Sheets OAuth2؛ شناسه سند برای پروژه ثابت است.

* ورودی/خروجی: ورودی sheet_name از استخراج نام شیت؛ خروجی ندارد.

* خرابی‌ها: محدودیت‌های سهمیه API، تداخل نام شیت (اگر پسوند تصادفی از آنها جلوگیری نکند).

ادغام (Merge node)

* نقش: ترکیب خروجی‌های ایجاد شیت برای داده‌ها و استخراج نام شیت برای اطمینان از جریان صحیح داده‌ها به گره پردازش بعدی.

* ورودی/خروجی: ورودی از هر دو گره؛ خروجی داده‌های ادغام شده.

۵. یکپارچه‌سازی Google Sheets و گزارش‌دهی

این بخش نهایی داده‌ها را برای درج در Google Sheets آماده کرده، آن را ذخیره می‌کند و گزارش‌های ایمیلی ارسال می‌کند.

آماده‌سازی ردیف شیت (Set)

* نقش: نگاشت فیلدهای نرمال‌شده (page_url, main_topics_flat, key_entities_flat) به ستون‌های صحیح Google Sheets.

* ورودی/خروجی: ورودی از گره ادغام؛ خروجی JSON قالب‌بندی شده برای نوشتن شیت.

* خرابی‌ها: فیلدهای ورودی گم شده.

ذخیره داده‌های جمع‌آوری شده (Google Sheets)

* نقش: افزودن داده‌های صفحه تحلیل شده به تب شیت با نام پویا.

* پیکربندی: استفاده از اعتبارنامه‌های Google Sheets OAuth2؛ نگاشت خودکار داده‌های ورودی به ستون‌ها.

* ورودی/خروجی: ورودی از آماده‌سازی ردیف شیت؛ خروجی ندارد.

* خرابی‌ها: خطاهای نوشتن API، شیت یافت نشد.

آیا محتوایی برای ایمیل وجود دارد (If)

* نقش: بررسی اینکه آیا page_url یک URL HTTP معتبر است و آیا main_topics و key_words خالی نیستند تا تعیین شود آیا گزارش ایمیلی باید ارسال شود.

* ورودی/خروجی: ورودی از ذخیره داده‌های جمع‌آوری شده؛ در صورت درست بودن شرط، گره ایمیل را فعال می‌کند.

ارسال گزارش (Gmail)

* نقش: ارسال یک گزارش ایمیل HTML قالب‌بندی شده به آدرس ایمیل اطلاع‌رسانی مشخص شده، شامل URL صفحه، موضوعات اصلی و کلمات کلیدی.

* پیکربندی: استفاده از اعتبارنامه‌های Gmail OAuth2. خط موضوع شامل URL صفحه است و بدنه پیام از HTML با استایل‌دهی درون‌خطی استفاده می‌کند.

* ورودی/خروجی: ورودی از آیا محتوایی برای ایمیل وجود دارد؛ خروجی ندارد.

* خرابی‌ها: خطاهای احراز هویت SMTP، آدرس‌های ایمیل نامعتبر.

---

جدول خلاصه

نام نود	نوع نود	نقش عملکردی	نود(های) ورودی	نود(های) خروجی	یادداشت مهم
Start Here	Webhook	دریافت درخواست‌های خزش رقبا		Submission form, Prepare Apify Input	### Webhook — Start Here \n\nProduction URL\nآدرس Production را از نود Webhook کپی کرده و با فرم/برنامه خود به اشتراک بگذارید.\n
Submission form	RespondToWebhook	ارائه فرم HTML برای ارسال داده	Start Here	Prepare Apify Input
Prepare Apify Input	Code	نرمال‌سازی ورودی، آماده‌سازی پیکربندی Apify	Submission form	Check if the data exist
Check if the data exist	If	اعتبارسنجی URL شروع برای خزش	Prepare Apify Input	Crawl Competitor Website
Crawl Competitor Website	Apify Actor	اجرای خزشگر محتوای وب‌سایت Apify	Check if the data exist	Save Data Of the request, Fetch Crawled Dataset
Save Data Of the request	Google Sheets	افزودن درخواست خزش به شیت "CONFIG"	Prepare Apify Input	Fetch Crawled Dataset
Fetch Crawled Dataset	HTTP Request	بازیابی داده‌های خزیده شده از مجموعه داده Apify	Crawl Competitor Website	Extract Page Metadata
Extract Page Metadata	Code	استخراج عنوان، تعداد کلمات، زمان مطالعه	Fetch Crawled Dataset	Analyze Page Content
Analyze Page Content	Langchain LM Chat (Google Gemini)	ارسال محتوا به Gemini برای تحلیل	Extract Page Metadata	AI Agent
AI Agent	Langchain Agent	اعمال شمای JSON برای خروجی AI	Analyze Page Content	Parse and Normalize Gemini JSON
Parse and Normalize Gemini JSON	Code	پاکسازی و ساختاربندی خروجی JSON از AI	AI Agent	Derive Sheet Name
Derive Sheet Name	Code	ایجاد نام تب Google Sheets پاکسازی شده	Parse and Normalize Gemini JSON	Create sheet for the data, Merge
Create sheet for the data	Google Sheets	ایجاد یک تب جدید در Google Sheets	Derive Sheet Name	Merge
Merge	Merge	ادغام خروجی‌ها برای پردازش‌های بعدی	Create sheet for the data, Derive Sheet Name	Prepare Sheet Row
Prepare Sheet Row	Set	نگاشت داده‌ها به ستون‌های Google Sheets	Merge	Save the data collected
Save the data collected	Google Sheets	افزودن داده‌های تحلیل شده به تب شیت	Prepare Sheet Row	Has content to email
Has content to email	If	بررسی اعتبار داده‌ها برای گزارش‌دهی ایمیلی	Save the data collected	Send report
Send report	Gmail	ارسال گزارش ایمیلی با خلاصه تحلیل	Has content to email