غنی‌سازی خودکار لید با هوش مصنوعی: Google Sheets، Bright Dat…

هوش مصنوعی برای غنی‌سازی لید با Bright Data MCP و Google Sheets

این گردش کار، غنی‌سازی لید را با ادغام داده‌ها از Google Sheets، جمع‌آوری و اعتبارسنجی با هوش مصنوعی از طریق Bright Data MCP و مدل‌های OpenAI، و به‌روزرسانی هر دو Google Sheets و HubSpot CRM به صورت متناسب، خودکار می‌کند. این گردش کار برای تیم‌های بازاریابی و فروش طراحی شده است که به دنبال بهبود کیفیت ارتباطات و یکپارچگی داده‌ها با اطلاعات تماس و شرکت غنی‌شده و دقیق هستند.

گردش کار به بلوک‌های منطقی زیر ساختار یافته است:

1. دریافت و فیلتر ورودی: شناسایی رکوردهای لید در Google Sheets یا HubSpot که نیاز به غنی‌سازی دارند.

2. آماده‌سازی داده‌های لید: آماده‌سازی لیدهای فردی برای پردازش با تقسیم آن‌ها و حذف فیلدهای غیرضروری برای پرامپت‌های هوش مصنوعی.

3. غنی‌سازی با هوش مصنوعی: استفاده از کلاینت Bright Data MCP و مدل‌های چت OpenAI برای جمع‌آوری و غنی‌سازی داده‌های لید.

4. ارزیابی دقت: ارزیابی کیفیت داده‌های غنی‌شده با هوش مصنوعی در برابر اطلاعات اصلی و اختصاص یک امتیاز اطمینان.

5. به‌روزرسانی شرطی رکوردها: به‌روزرسانی Google Sheets و HubSpot بر اساس امتیاز اطمینان، با مسیرهای جداگانه برای موارد با اطمینان بالا، اطمینان پایین یا نیاز به بررسی.

---

۱. دریافت و فیلتر ورودی

این بلوک، گردش کار را با شناسایی رکوردهای لید در Google Sheets یا HubSpot که نیاز به غنی‌سازی دارند، آغاز می‌کند.

نودها:

• googleSheets: تریگر برای Google Sheets.
• filter: لیدهایی را که نیاز به غنی‌سازی دارند، فیلتر می‌کند.
• hubspot: تریگر برای HubSpot (OAuth2).
• webhook: تریگر جایگزین برای HubSpot (Private App).
• splitOut: داده‌های ورودی وب‌هوک را تقسیم می‌کند.
• hubspot: جزئیات تماس HubSpot را بازیابی می‌کند.
• googleSheets1: برای اجرای دستی، Google Sheets را می‌خواند.
• manualTrigger: اجرای دستی گردش کار را امکان‌پذیر می‌سازد.

جزئیات نود:

• googleSheets (تریگر)

* هدف: هر دقیقه تب مشخصی از Google Sheet را برای تغییرات در ستون 'status' نظارت می‌کند.

* پیکربندی: یک شیت را با شناسه سند، با تمرکز بر ستون 'status'، بررسی می‌کند.

* خروجی: لیدهایی با وضعیت خالی یا "needs more enrichment" را به نود فیلتر ارسال می‌کند.

* شکست‌های احتمالی: انقضای توکن OAuth، محدودیت‌های نرخ API Google Sheets، مشکلات اتصال شبکه.

• filter (فیلتر)

* هدف: ردیف‌های Google Sheet را که در آن‌ها ستون 'status' خالی است یا برابر با "needs more enrichment" است، فیلتر می‌کند.

* ورودی: خروجی تریگر googleSheets.

* خروجی: لیدهایی که برای پردازش بعدی نیاز به غنی‌سازی دارند.

* موارد مرزی: فیلدهای 'status' خالی یا بدشکل را مدیریت می‌کند؛ از مقایسه رشته‌ای دقیق استفاده می‌کند.

• hubspot (تریگر - OAuth2)

* هدف: رویدادهای ایجاد مخاطب جدید در HubSpot را با استفاده از احراز هویت OAuth2 گوش می‌دهد.

* ورودی: رویداد وب‌هوک خارجی.

* خروجی: داده‌های مخاطب جدید را برای بازیابی جزئیات به نود hubspot ارسال می‌کند.

* حالت‌های شکست: مشکلات اتصال وب‌هوک، محدودیت‌های نرخ API HubSpot، شکست‌های احراز هویت.

• webhook (تریگر - Private App)

* هدف: یک شنونده وب‌هوک جایگزین برای مخاطبین جدید HubSpot، با استفاده از توکن برنامه خصوصی.

* خروجی: بدنه وب‌هوک ورودی را برای پردازش تقسیم می‌کند.

* حالت‌های شکست: پیکربندی نادرست وب‌هوک، عدم تطابق توکن امنیتی.

• splitOut (Split Out)

* هدف: آرایه‌ای از مخاطبین ورودی از یک وب‌هوک را به موارد جداگانه برای پردازش تقسیم می‌کند.

* ورودی: خروجی نود webhook.

* خروجی: مخاطبین جداگانه را به نود hubspot ارسال می‌کند.

* موارد مرزی: آرایه‌های ورودی خالی یا داده‌های بدشکل را مدیریت می‌کند.

• hubspot (HubSpot)

* هدف: اطلاعات دقیق مخاطب را از HubSpot با استفاده از شناسه مخاطب یا شناسه شیء بازیابی می‌کند.

* ورودی: خروجی از splitOut یا تریگر hubspot.

* خروجی: اطلاعات دقیق مخاطب برای درج در Google Sheets.

* حالت‌های شکست: خطاهای API، شناسه مخاطب گمشده، خطاهای احراز هویت.

• googleSheets1 (Google Sheets)

* هدف: ردیف‌هایی را از Google Sheets که با 'status' = "needs more enrichment" فیلتر شده‌اند، می‌خواند؛ در طول اجرای دستی استفاده می‌شود.

* ورودی: خروجی از manualTrigger یا اجرای اولیه گردش کار.

* خروجی: لیدهای آماده برای پردازش.

* شکست‌ها: محدودیت‌های نرخ API، پیکربندی نادرست فیلتر.

• manualTrigger (Manual Trigger)

* هدف: امکان شروع دستی گردش کار را در صورت تقاضا برای پردازش لیدها فراهم می‌کند.

* خروجی: لیدهای به دست آمده از نود googleSheets1.

---

۲. آماده‌سازی داده‌های لید

این بلوک لیدهای فردی را با تقسیم آن‌ها به آیتم‌های تکی و حذف فیلدهای غیرضروری برای بهینه‌سازی پرامپت‌های هوش مصنوعی آماده می‌کند.

نودها:

• splitInBatches: لیدها را یکی‌یکی پردازش می‌کند.
• set: فیلدهای غیرضروری را برای پرامپت حذف می‌کند.

جزئیات نود:

• splitInBatches (تقسیم به دسته‌ها)

* هدف: اطمینان از پردازش هر لید به صورت جداگانه در یک تکرار گردش کار.

* ورودی: خروجی نودهای filter یا googleSheets.

* خروجی: یک شیء JSON لید تکی برای نودهای غنی‌سازی بعدی.

* موارد خاص: اندازه‌های دسته بزرگ ممکن است باعث تأخیر شوند؛ ورودی‌های خالی را مدیریت می‌کند.

• set (تنظیم)

* هدف: حذف فیلدهایی مانند 'row\_number'، 'status' و 'row\_id' برای ایجاد یک پرامپت مختصر برای هوش مصنوعی.

* ورودی: خروجی splitInBatches.

* خروجی: داده‌های تمیز لید آماده برای پرامپت هوش مصنوعی.

* موارد خاص: فیلدهای از دست رفته یا انواع داده‌های غیرمنتظره را مدیریت می‌کند.

---

۳. غنی‌سازی با هوش مصنوعی

این بلوک از ابزارهای Bright Data MCP و مدل‌های چت OpenAI برای جمع‌آوری و غنی‌سازی داده‌های لید و شرکت بر اساس اطلاعات ارائه‌شده لید استفاده می‌کند.

نودها:

• langChainAgent: هماهنگ‌کننده اصلی برای جمع‌آوری و غنی‌سازی.
• mcpClientTool: ابزاری برای دسترسی به قابلیت‌های جمع‌آوری داده Bright Data.
• langChainOpenAI: مدل OpenAI برای پردازش زبان طبیعی و استدلال.
• langChainOutputParser: تلاش برای رفع اشکال قالب‌بندی خروجی هوش مصنوعی.
• langChainStructuredOutputParser: اعتبارسنجی خروجی هوش مصنوعی در برابر یک طرحواره JSON.

جزئیات نود:

• langChainAgent (LangChain Agent)

* هدف: هماهنگ‌سازی فرآیند جمع‌آوری و غنی‌سازی با استفاده از دستورالعمل‌های تعریف‌شده و ابزارهای موجود.

* پیکربندی: استفاده از دستورالعمل‌های غنی‌سازی شخص و شرکت با حداکثر ۳۰ مرحله جمع‌آوری تکراری.

* ورودی: داده‌های لید تمیز در قالب JSON از نود set.

* خروجی: داده‌های غنی‌شده در قالب JSON ساختاریافته، با ثبت مراحل میانی.

* موارد مرزی: محدودیت نرخ توسط Bright Data MCP، اتمام زمان مدل هوش مصنوعی، نتایج جمع‌آوری نامعتبر.

• mcpClientTool (MCP Client Tool)

* هدف: فراهم کردن دسترسی به ابزارهای مختلف جمع‌آوری داده، از جمله ابزارهای مربوط به پروفایل‌های اجتماعی و اطلاعات شرکت.

* پیکربندی: شامل ابزارهای انتخاب‌شده برای جمع‌آوری پروفایل‌های رسانه‌های اجتماعی و داده‌های شرکت.

* ورودی: درخواست‌های جمع‌آوری از langChainAgent.

* خروجی: داده‌های جمع‌آوری‌شده که به عامل هوش مصنوعی بازگردانده می‌شوند.

* خطاها: خرابی نقطه پایانی SSE، خطاهای جمع‌آوری مخصوص ابزار، مشکلات اتصال.

• langChainOpenAI (LangChain OpenAI Chat Model)

* هدف: مدیریت پردازش زبان طبیعی، استدلال برای منطق جمع‌آوری، غنی‌سازی داده‌ها و قالب‌بندی خروجی.

* پیکربندی: استفاده از مدل‌های GPT-4.1-mini یا GPT-4o-mini برای تکمیل متن.

* ورودی: درخواست‌ها از عامل و نودهای قبلی.

* خروجی: پاسخ‌های تولیدشده توسط هوش مصنوعی.

* خطاها: محدودیت نرخ API، خطاهای احراز هویت، عدم دسترسی به مدل.

• langChainOutputParser (LangChain Auto-fixing Output Parser)

* هدف: تلاش برای اصلاح خطاهای قالب‌بندی JSON در خروجی هوش مصنوعی و اطمینان از انطباق با طرحواره مورد انتظار.

* پیکربندی: در صورت بروز خطا، فقط فیلدهای first_name، last_name، email و scrape_error را برمی‌گرداند.

* ورودی: خروجی خام مدل هوش مصنوعی.

* خروجی: داده‌های JSON اعتبارسنجی‌شده یا اصلاح‌شده.

* موارد مرزی: خطاهای نحوی غیرقابل رفع، داده‌های ناقص.

• langChainStructuredOutputParser (LangChain Structured Output Parser)

* هدف: اعتبارسنجی خروجی هوش مصنوعی در برابر یک طرحواره JSON دقیق، اطمینان از وجود تمام فیلدهای مورد نیاز (مانند first_name، last_name، email).

* ورودی: نتایج از langChainOutputParser.

* خروجی: داده‌های غنی‌سازی لید کاملاً ساختاریافته، آماده برای پردازش بیشتر.

* موارد مرزی: شکست اعتبارسنجی طرحواره، فیلدهای الزامی گمشده.

---

۴. ارزیابی دقت

این بلوک کیفیت داده‌های غنی‌شده با هوش مصنوعی را با مقایسه آن‌ها با اطلاعات اصلی لید و اختصاص یک امتیاز اطمینان، ارزیابی می‌کند.

نودها:

• merge: داده‌های اصلی و غنی‌شده با هوش مصنوعی را ترکیب می‌کند.
• merge1: نتایج ارزیابی دقت را ترکیب می‌کند.
• langChainOpenAI: دقت داده‌های جمع‌آوری‌شده را قضاوت می‌کند.
• set: نتایج هوش مصنوعی، از جمله امتیاز اطمینان را استخراج می‌کند.

جزئیات نود:

• merge (Merge)

* هدف: داده‌های اصلی لید را با خروجی تولید شده توسط هوش مصنوعی برای مقایسه ترکیب می‌کند.

* ورودی: خروجی عامل هوش مصنوعی و داده‌های اصلی لید.

* خروجی: داده‌های ترکیبی که به نود قضاوت دقت ارسال می‌شود.

• merge1 (Merge)

* هدف: نتایج ارزیابی دقت را با داده‌های قبلی برای پردازش بعدی ترکیب می‌کند.

* ورودی: خروجی از langChainOpenAI (قاضی دقت) و set (استخراج نتایج هوش مصنوعی).

• langChainOpenAI (LangChain OpenAI)

* هدف: از مدل GPT-4o-mini برای ارزیابی میزان تطابق خروجی هوش مصنوعی با داده‌های اصلی لید استفاده می‌کند.

* خروجی: JSON حاوی امتیاز اطمینان (۰-۱) و توضیحات ارزیابی.

* خطاها: خطاهای مدل یا API، نتایج مبهم مقایسه.

• set (Set)

* هدف: امتیاز اطمینان و توضیحات را از خروجی قاضی برای استفاده در منطق شرطی استخراج می‌کند.

* ورودی: خروجی از merge.

* خروجی: امتیاز اطمینان و توضیحات استخراج شده.

---

۵. به‌روزرسانی شرطی رکوردها

این بلوک مسئول به‌روزرسانی رکوردهای Google Sheets و HubSpot بر اساس امتیاز اطمینان محاسبه‌شده است. این بخش شامل مسیرهای مختلفی برای اطمینان بالا، اطمینان پایین یا مواردی است که نیاز به بررسی انسانی دارند.

نودها:

• if: امتیاز اطمینان را در برابر یک آستانه بررسی می‌کند.
• googleSheets (Update): رکوردهای موجود Google Sheets را به‌روزرسانی می‌کند.
• googleSheets (Append): ردیف‌های جدید را برای نتایج با اطمینان پایین اضافه می‌کند.
• set: شناسه‌های ردیف و وضعیت را برای موارد بررسی تغییر می‌دهد.
• googleSheets (Update): وضعیت رکوردهای اصلی را به‌روزرسانی می‌کند.
• if: اطمینان را برای به‌روزرسانی‌های HubSpot بیشتر فیلتر می‌کند.
• hubspot: مخاطبین HubSpot را به‌روزرسانی می‌کند.
• noOp: یک نود عبوری برای اتصالات تمیز.
• wait: اجرای بین درخواست‌ها را متوقف می‌کند.

جزئیات نود:

• if (اگر)

* هدف: گردش کار را بر اساس اینکه آیا امتیاز اطمینان بزرگتر یا مساوی ۰.۸۵ است، منشعب می‌کند.

* ورودی: امتیاز اطمینان از نود set (ارزیابی دقت).

• googleSheets (Update - اطمینان بالا)

* هدف: یک رکورد موجود Google Sheets را با داده‌های غنی‌شده در زمانی که امتیاز اطمینان بالا است، به‌روزرسانی می‌کند.

* ورودی: خروجی از نود if (شاخه true).

* خروجی: برای فاصله‌گذاری درخواست‌ها به نود wait متصل می‌شود.

* شکست‌ها: خطاهای API، تداخلات به‌روزرسانی همزمان.

• googleSheets (Append - اطمینان پایین)

* هدف: رکورد غنی‌شده را به عنوان یک ردیف جدید، که برای بررسی انسانی علامت‌گذاری شده است، در زمانی که امتیاز اطمینان کمتر از ۰.۸۵ است، اضافه می‌کند.

* ورودی: خروجی از نود if (شاخه false)، که از طریق نود set مسیریابی شده است.

* شکست‌ها: خطاهای API، خطر تکرار داده‌ها.

• set (Set - وضعیت بررسی)

* هدف: row_id را به یک مقدار منحصربه‌فرد تغییر می‌دهد و 'status' را برای ورودی‌های با اطمینان پایین روی "human review needed" تنظیم می‌کند.

* ورودی: خروجی از نود if (شاخه false).

• googleSheets (Update - وضعیت اصلی)

* هدف: وضعیت رکورد اصلی را به "no information found" به‌روزرسانی می‌کند اگر فرآیند غنی‌سازی نتواند مطابقت برای سرنخ پیدا کند.

* ورودی: خروجی از مسیری که عدم تطابق یا شکست را نشان می‌دهد.

• if (If - آستانه HubSpot)

* هدف: امتیاز اطمینان (آستانه > ۰.۸۹) را قبل از به‌روزرسانی مخاطبین HubSpot بیشتر فیلتر می‌کند.

* ورودی: امتیاز اطمینان.

• hubspot (HubSpot)

* هدف: خصوصیات مخاطب HubSpot را با داده‌های غنی‌شده برای سرنخ‌هایی با امتیاز اطمینان بالا به‌روزرسانی می‌کند.

* ورودی: خروجی از نود if (آستانه HubSpot).

* شکست‌ها: محدودیت‌های نرخ API HubSpot، خطاهای نگاشت فیلد.

• noOp (بدون عملیات)

* هدف: یک نود عبوری است که برای حفظ اتصالات تمیز گردش کار یا زمانی که هیچ اقدام خاصی لازم نیست، استفاده می‌شود.

* ورودی: نقاط مختلف در منطق شرطی.

• wait (انتظار)

* هدف: یک تأخیر ۵ ثانیه‌ای بین درخواست‌ها برای جلوگیری از رسیدن به محدودیت‌های نرخ API معرفی می‌کند.

* ورودی: خروجی از نودهایی که به‌روزرسانی‌ها را انجام می‌دهند (مانند به‌روزرسانی googleSheets).