Moirai-MoE: نسل بعدی مدل سری زمانی

TL;DR: ما Moirai-MoE، اولین مدل پایه سری زم، ،یبی از متخصصان را پیشنهاد می‌کنیم که به تخصص مدل در سطح نشانه به شیوه‌ای مبتنی بر داده‌ها دست می‌یابد. آزمایش‌های گسترده بر روی 39 مجموعه داده نشان می‌دهد که Moirai-MoE تا 17 درصد بهبود عملکرد را نسبت به Moirai در همان سطح اندازه مدل ارائه می‌کند و از سایر مدل‌های پایه سری زم، مانند Chronos (از آمازون) و TimesFM (از Google) با تا 65 برابر پارامترهای فعال کمتر.

ظهور پیش بینی کنندگان جه،

پیش‌بینی سری‌های زم، در حال تغییر و تحول است. رویکرد سنتی توسعه مدل‌های جداگانه برای هر مجموعه داده با مفهوم پیش‌بینی جه، جایگزین می‌شود، که در آن یک مدل پایه از پیش آموزش‌دیده می‌تواند بدون توجه به تغییرات در دامنه، فرکانس، ابعاد در بین وظایف مختلف پایین‌دستی به روش صفر شات اعمال شود. ، زمینه یا طول پیش بینی. این پارادایم جدید به طور قابل توجهی پیچیدگی ساخت مدل های تخصصی متعدد را کاهش می دهد و راه را برای پیش بینی به ،وان یک سرویس هموار می کند.

به ،وان مثال، ارائه دهندگان خدمات رایانش ابری می تواند از یک مدل واحد برای برآوردن نیازهای پیش بینی در سراسر وظایف مختلف پایین دستی استفاده کند. این قابلیت به ویژه با توجه به تقاضای پویا برای منابع مح،اتی و اندازه در حال گسترش زیرساخت فناوری اطلاعات حیاتی است.

چالش ها و رویکرد جدید ما: ترانسفورماتورهای ،یبی از متخصصان برای سری های زم،

برای برتری در پیش بینی شات صفر، مدل های پایه سری زم، از قبل بر روی داده های عظیم از منابع مختلف آموزش دیده اند. با این حال، داده‌های سری زم، ذاتاً ناهمگن هستند و چالش‌های مهمی را برای آموزش سری‌های زم، یکپارچه ایجاد می‌کنند. رویکردهای موجود سطحی از تخصص مدل را برای توضیح ماهیت بسیار ناهمگون داده های سری زم، معرفی می کنند. به ،وان مثال، Moirai از لایه‌های پیش‌بینی ورودی/،وجی متعددی استفاده می‌کند که هر کدام برای رسیدگی به سری‌های زم، در یک فرکانس خاص طراحی شده‌اند.

در این مطالعه، ما رویکرد جدید خود را Moirai-MoE معرفی می‌کنیم، که این فرآیند تخصصی‌سازی مدل را با استفاده از تکنیک‌های ترانسفورماتورهای ،یبی پراکنده برای ثبت ال،ای سری‌های زم، متنوع، خودکار می‌کند. شکل 2 مقایسه ای بین Moirai و Moirai-MoE را نشان می دهد. می‌تو،م ببینیم که در مقایسه با Moirai که از لایه‌های پیش‌بینی ورودی/،وجی تعریف‌شده چند اکتشافی برای مدل‌سازی سری‌های زم، با فرکانس‌های مختلف استفاده می‌کند، Moirai-MoE از یک لایه نمایشی ورودی/،وجی استفاده می‌کند در حالی که وظیفه گرفتن ال،ای سری‌های زم، متنوع را به پراکنده واگذار می‌کند. ،یبی از متخصصان ترانسفورماتور. با این طراحی ها، تخصص Moirai-MoE به روش داده محور به دست می آید و در سطح توکن عمل می کند.

علاوه بر این، Moirai-MoE یک هدف آموزشی فقط رمزگشا را برای بهبود کارایی آموزش با فعال ، یادگیری موازی طول‌های زمینه مختلف در یک به‌روزرس، یک مدل اتخاذ می‌کند.

نتایج

ما با یک ارزیابی درون توزیعی با استفاده از مجموع 29 مجموعه داده از معیار موناش شروع می کنیم (شکل 3 را ببینید). نتایج ارزیابی نشان می دهد که Moirai-MoE همه رقبا را ش،ت می دهد. به طور خاص، Moirai-MoE-Small به طور قابل توجهی 17٪ از همتای متراکم خود Moirai-Small پیشی می گیرد و همچنین به ترتیب 8٪ و 7٪ از مدل های بزرگتر Moirai-Base و Moirai-Large برتری دارد.

ما یک ارزیابی پیش‌بینی صفر شات را بر روی 10 مجموعه داده انجام می‌دهیم. برای ایجاد یک مقایسه جامع، نتایج را برای پیش‌بینی احتمالی و نقطه‌ای، با استفاده از امتیاز احتمال مرتب‌شده پیوسته (CRPS) و میانگین خطای مقیاس‌بندی مطلق (MASE) به ،وان معیارهای ارزیابی گزارش می‌کنیم. نتایج در ج، 2 ارائه شده است. Moirai-MoE-Base بهترین عملکرد صفر شات را به دست می آورد، حتی از TimesFM و Chronos که شامل داده های ارزیابی جزئی در مجموعه های پیش آموزشی آنها می شود، بهتر عمل می کند. در مقایسه با تمام اندازه‌های Moirai، Moirai-MoE-Small بهبود 3٪-14٪ در CRPS و 8٪-16٪ بهبود در MASE ارائه می دهد. با توجه به این که Moirai-MoE-Small تنها 11 میلیون پارامتر فعال دارد، این پیشرفت ها قابل توجه است – 28 برابر کمتر از Moirai-Large.

بیشتر کاوش کنید

Salesforce AI Research از شما دعوت می کند تا عمیق تر در مفاهیم مورد بحث در این پست وبلاگ غواصی کنید. برای دریافت به‌روزرس،‌های منظم در مورد این پروژه و سایر پروژه‌های تحقیقاتی، در رسانه‌های اجتماعی و وب‌سایت ما با ما در ارتباط باشید.