تحلیل پیوست‌های Mattermost با OpenAI Vision برای عامل‌های هوش…

تحلیل پیوست‌های Mattermost با OpenAI Vision برای عامل‌های هوش مصنوعی

این گردش کار نحوه تحلیل تصاویر و اسناد پیوست شده از Mattermost را با استفاده از قابلیت‌های Vision شرکت OpenAI نشان می‌دهد. این گردش کار برای عامل‌های هوش مصنوعی طراحی شده است تا اطلاعات را استخراج کرده، محتوا را خلاصه کنند و داده‌های بصری را در ارتباطات تیم شما درک کنند.

دسته‌بندی‌ها: استخراج سند، خلاصه‌سازی هوش مصنوعی

گره‌ها: if، set، code، merge، switch، aggregate، stickyNote، httpRequest، openAi (از Langchain)، executeWorkflowTrigger

نمای کلی گردش کار

این گردش کار با پیام‌های جدید در Mattermost که حاوی پیوست هستند، فعال می‌شود. سپس این پیوست‌ها را با استفاده از API Vision شرکت OpenAI پردازش می‌کند تا متن را استخراج کرده و خلاصه‌ای یا تحلیلی ارائه دهد.

پیش‌نیازها

• حساب Mattermost: دسترسی به یک نمونه Mattermost.
• کلید API OpenAI: یک کلید API با دسترسی به مدل Vision.
• حساب Axeto.ai: برای اجرای و مدیریت گردش کارهای n8n خود.

نحوه استفاده

1. راه‌اندازی ماشه Mattermost: گره executeWorkflowTrigger را برای اتصال به نمونه Mattermost خود و مشخص کردن کانال(های) مورد نظر برای نظارت بر پیام‌های جدید با پیوست‌ها پیکربندی کنید.

2. پردازش پیوست‌ها:

* گردش کار پیام‌های دارای پیوست را شناسایی خواهد کرد.

* سپس از یک گره httpRequest برای دانلود محتوای پیوست استفاده خواهد کرد.

* گره openAi (از Langchain) برای استفاده از مدل Vision پیکربندی شده است. شما باید کلید API OpenAI خود را ارائه دهید و یک اعلان (prompt) بنویسید که به هوش مصنوعی دستور دهد چگونه پیوست را تحلیل کند (مثلاً "محتوای این تصویر را توصیف کن"، "هر متنی را از این سند استخراج کن"، "اطلاعات کلیدی این پیوست را خلاصه کن").

3. مدیریت پاسخ‌ها:

* از گره‌های if و switch برای هدایت پاسخ هوش مصنوعی بر اساس نوع پیوست یا نتیجه تحلیل استفاده کنید.

* گره code می‌تواند برای دستکاری سفارشی داده‌ها یا قالب‌بندی خروجی هوش مصنوعی استفاده شود.

* گره‌های merge و aggregate می‌توانند در صورت پردازش چندین پیوست به ترکیب نتایج کمک کنند.

4. خروجی/اقدامات بعدی:

* اطلاعات تحلیل شده را با استفاده از یک گره httpRequest دیگر به Mattermost ارسال کنید.

* نتایج را در یک پایگاه داده ذخیره کنید.

* گردش کارهای دیگر یا اعلان‌ها را فعال کنید.

گره‌ها و پیکربندی کلیدی

• executeWorkflowTrigger (Mattermost):

* احراز هویت: با URL وب‌هوک Mattermost یا اعتبارنامه API پیکربندی کنید.

* رویداد ماشه: برای فعال شدن در پیام‌های جدید تنظیم کنید.

* فیلترها: فیلترهایی را اضافه کنید تا فقط در پیام‌های حاوی پیوست فعال شود.

• httpRequest (دانلود پیوست):

* متد: GET

* URL: به صورت پویا با استفاده از URL پیوست ارائه شده توسط Mattermost تنظیم می‌شود.

* قالب پاسخ: binary (برای تصاویر/اسناد).

• openAi (Langchain):

* مدل: یک مدل مناسب Vision OpenAI را انتخاب کنید (مثلاً gpt-4-vision-preview).

* کلید API: کلید API OpenAI خود را وارد کنید.

* اعلان (Prompt): یک اعلان واضح و مختصر بنویسید. برای تحلیل تصویر، معمولاً داده‌های تصویر (کدگذاری شده به صورت base64) را همراه با اعلان متنی ارسال می‌کنید. برای اسناد، ممکن است ابتدا متن را استخراج کنید (مثلاً با استفاده از OCR اگر یک PDF مبتنی بر تصویر باشد) و سپس متن را به یک مدل متنی استاندارد ارسال کنید، یا از یک مدل چندوجهی استفاده کنید اگر از تحلیل مستقیم سند پشتیبانی می‌کند.

* ورودی: اطمینان حاصل کنید که ورودی به این گره شامل محتوای پیوست (قالب‌بندی شده مناسب برای مدل Vision) و اعلان متنی شما باشد.

موارد استفاده نمونه

• نظارت بر تصویر: تصاویر آپلود شده در Mattermost را برای محتوای نامناسب به طور خودکار تحلیل کنید.
• خلاصه‌سازی سند: اطلاعات کلیدی را از اسکرین‌شات اسناد یا گزارش‌های به اشتراک گذاشته شده در کانال‌ها استخراج کنید.
• استخراج داده از نمودارها: نمودارها و گراف‌های به اشتراک گذاشته شده به صورت تصویر را تحلیل کنید تا داده‌های عددی یا روندها را استخراج کنید.
• پرسش و پاسخ مبتنی بر هوش مصنوعی: به کاربران اجازه دهید سوالاتی در مورد تصاویر یا اسناد به اشتراک گذاشته شده در Mattermost بپرسند و هوش مصنوعی بر اساس محتوای بصری پاسخ دهد.

بهبودهای بیشتر

• مدیریت خطا: مدیریت خطای قوی برای درخواست‌های API و پردازش داده‌ها پیاده‌سازی کنید.
• ادغام OCR: برای اسناد مبتنی بر تصویر (مانند PDFهای اسکن شده)، قبل از ارسال متن به OpenAI برای تحلیل، یک سرویس تشخیص نوری کاراکتر (OCR) را ادغام کنید.
• ذخیره‌سازی پایگاه داده: نتایج تحلیل شده را برای مراجعه تاریخی و تحلیل بیشتر در یک پایگاه داده ذخیره کنید.
• حلقه بازخورد کاربر: به کاربران اجازه دهید بازخورد در مورد تحلیل هوش مصنوعی ارائه دهند تا نتایج آینده را بهبود بخشند.

قابلیت‌های کامل n8n را در Axeto.ai کاوش کنید و گردش کارهای قدرتمند مبتنی بر هوش مصنوعی را برای تیم خود بسازید.