آموزش اسکریمینگ فراگ (Screaming Frog)

اسکریمینگ فراگ چیست و چه کاری برای سئو انجام می‌دهد؟

Screaming Frog SEO Spider یک نرم‌افزار کراولر دسکتاپ است که URLها را پیمایش می‌کند و اطلاعات کلیدی صفحات را استخراج می‌کند؛ مثل:

• کدهای وضعیت HTTP (200/301/404/500)
• متا تایتل، متا دیسکریپشن، H1/H2
• Canonical، noindex/nofollow، robots directives
• لینک‌های داخلی/خارجی و عمق کلیک
• تصاویر (حجم، alt، لینک شکسته)
• نقشه سایت XML

اسکریمینگ فراگ برای چه کسانی ضروری است؟

• سئوکارها برای آدیت تکنیکال و محتوا
• مدیران سایت برای پیدا کردن خطاهای پنهان
• تیم توسعه برای اصلاح دقیق URLها و ریدایرکت‌ها
• فروشگاه‌های اینترنتی برای کنترل صفحات فیلتر/پارامتر و جلوگیری از هدررفت Crawl Budget

نسخه رایگان و پولی چه تفاوتی دارند؟

در نسخه رایگان معمولاً محدودیت تعداد URL وجود دارد و برخی امکانات پیشرفته مثل یکپارچه‌سازی‌های گسترده و تنظیمات حرفه‌ای محدودتر است. اگر سایت‌های بزرگ یا چند پروژه دارید، نسخه پولی ارزشمند می‌شود.

نصب و راه‌اندازی اسکریمینگ فراگ + تنظیمات اولیه

قبل از شروع Crawl دو نکته مهم است: منابع سیستم و تنظیمات کراول.

انتخاب حالت Storage: Memory یا Database؟

• Memory Storage سریع‌تر است ولی RAM بیشتری می‌خواهد.
• Database Storage برای سایت‌های بزرگ پایدارتر است و فشار را از RAM برمی‌دارد (در ازای سرعت کمتر).

تنظیم User-Agent و محدودیت سرعت

اگر سایت روی درخواست‌های زیاد حساس است:

• سرعت Crawl را کاهش دهید (Limit درخواست‌ها)
• User-Agent را شبیه Googlebot یا حالت پیش‌فرض نگه دارید (بسته به هدف آدیت)
• Crawl را در ساعات کم‌ترافیک انجام دهید

اولین Crawl: چطور یک سایت را درست کراول کنیم؟

برای شروع:

1. آدرس دامنه را وارد کنید.
2. Start را بزنید.
3. اجازه دهید Crawl کامل شود و سپس تحلیل را آغاز کنید.

Crawl سایت‌های بزرگ (فروشگاهی)

برای سایت‌های بزرگ:

• عمق Crawl و محدودیت URLها را مدیریت کنید
• پارامترها و فیلترها را کنترل کنید (Facetها می‌توانند میلیون‌ها URL تولید کنند)
• در صورت نیاز، Crawl را روی یک زیرپوشه محدود کنید (مثلاً /blog/)

Crawl جاوااسکریپت (JavaScript Rendering)

اگر سایت شما با JS رندر می‌شود (SPA/React/Next):

• حالت رندر را روی Rendering (Headless Chrome) بگذارید
• هشدار: مصرف CPU/RAM بالا می‌رود و Crawl کندتر می‌شود

خواندن خروجی‌ها: مهم‌ترین بخش‌ها در Screaming Frog

بعد از Crawl، مهم‌ترین تب‌هایی که باید بررسی کنید:

Response Codes (کدهای وضعیت)

• 200: سالم
• 301/302: ریدایرکت (باید کنترل شود که زنجیره‌ای نشود)
• 404: لینک شکسته یا صفحه حذف‌شده
• 5xx: خطای سرور (فوری)

Internal / External

• Internal برای ساختار لینک‌سازی داخلی و عمق کلیک حیاتی است
• External برای کنترل لینک‌های خروجی شکسته و امنیت برند

Page Titles / Meta Description / H1

اینجا مشکلات رایج مشخص می‌شود:

• Title تکراری یا خیلی کوتاه/بلند
• Description تکراری/خالی
• چند H1 یا H1 خالی (در سایت‌هایی که قالب مشکل دارد)

Canonicals / Directives

• canonical اشتباه می‌تواند صفحات را از ایندکس خارج کند
• noindex ناخواسته یکی از پرتکرارترین خطاهای فنی است

۱۲ کار حیاتی با اسکریمینگ فراگ (چک‌لیست آدیت عملی)

این بخش هسته اصلی آموزش است: «داده می‌گیریم → تشخیص می‌دهیم → می‌دهیم →یم».

پیدا کردن لینک‌های شکسته (Broken Links)

• به تب Response Codes بروید و فیلتر 4xx را فعال کنید.
• سپس از Inlinks/Outlinks بفهمید این URL از کجا لینک گرفته و کجا باید اصلاح شود.

اقدام پیشنهادی:

• اگر صفحه جایگزین دارد → 301
• اگر اشتباه تایپی است → اصلاح لینک داخلی
• اگر واقعاً حذف شده → حذف لینک و در صورت نیاز 410

پیدا کردن ریدایرکت‌های زنجیره‌ای و Loop

• فیلتر 3xx را بررسی کنید.
• اگر یک URL چند مرحله ریدایرکت دارد، هم سرعت را پایین می‌آورد هم سیگنال‌ها را تضعیف می‌کند.

استخراج Title/Description برای کنترل کیفیت سئو داخلی

• URLهایی با عنوان تکراری، یا عنوان خیلی طولانی/کوتاه را جدا کنید.
• خروجی CSV/Excel بگیرید و برای تیم محتوا تسک بسازید.

شناسایی صفحات Duplicate (عنوان/هدینگ/کنونیکال)

• Duplicate Title و Duplicate H1 معمولاً نشان‌دهنده صفحات نزدیک‌به‌هم یا مشکل تمپلیت است.

بررسی noindex / nofollow / robots directives

• صفحاتی که باید ایندکس شوند اما noindex دارند را فوراً اصلاح کنید.
• برای سایت‌های فروشگاهی، صفحات فیلترشده معمولاً باید مدیریت شوند (نه همیشه ایندکس).

بررسی canonical اشتباه

• canonical باید به نسخه درست (خود صفحه یا نسخه اصلی) اشاره کند.
• ناسازگاری canonical با URL نهایی می‌تواند باعث افت رتبه شود.

بررسی hreflang (برای سایت چندزبانه)

• خطاهای رایج: نبودن reciprocal hreflang، کد زبان اشتباه، URL نامعتبر.

بررسی تصاویر سنگین و alt خالی

• تصاویر بزرگ = کندی + افت تجربه کاربری
• alt برای دسترس‌پذیری و گاهی برای سرچ تصویر مفید است (خصوصاً در فروشگاه‌ها)

پیدا کردن صفحات با عمق کلیک بالا

• صفحاتی که خیلی دور از صفحه اصلی هستند کمتر خزیده می‌شوند.
• اینجا پای Crawl Budget و معماری سایت وسط می‌آید.

پیدا کردن Soft 404 و صفحات کم‌ارزش

• بعضی صفحات 200 هستند اما عملاً محتوای بی‌ارزش/عدم موجودی/نتیجه جستجوی داخلی‌اند.
• باید تصمیم بگیرید: بهبود محتوا، noindex، ریدایرکت یا حذف.

ساخت XML Sitemap

• از URLهای 200 و قابل ایندکس خروجی بگیرید.
• از قرار دادن URLهای ریدایرکت‌شده/Noindex در سایت‌مپ جلوگیری کنید.

پیدا کردن صفحات یتیم (Orphan Pages) با اتصال به GSC/GA4

اگر اسکریمینگ فراگ را به سرچ کنسول/آنالیتیکس وصل کنید:

• صفحاتی که ترافیک/ایمپرشن دارند اما لینک داخلی ندارند مشخص می‌شوند.
• این‌ها فرصت طلایی برای بهبود لینک‌سازی داخلی هستند.

اتصال اسکریمینگ فراگ به GA4 و Search Console (چرا مهم است؟)

مزیت اصلی اتصال این است که به جای اینکه بگویید «این صفحه مشکل دارد»، می‌گویید:

• این صفحه مشکل دارد و ۳۰٪ کلیک ارگانیک را می‌آورد → اولویت ۱
• آن صفحه مشکل دارد ولی ترافیک ندارد → اولویت ۳

خروجی گرفتن و ساخت گزارش قابل ارائه

برای اینکه خروجی شما تبدیل به «اقدام» شود، گزارش را این‌طور ساختاربندی کنید:

خطاهای رایج و راه‌حل سریع

• Crawl کامل نمی‌شود: محدودیت منابع سیستم، بلاک شدن IP، یا JS Rendering سنگین
• سایت بلاک می‌کند: کاهش سرعت Crawl، تغییر User-Agent، هماهنگی با تیم فنی/WAF
• داده‌ها ناقص است: بررسی robots.txt، canonicalها، تنظیمات Follow/NoFollow، و رندر JS
• فروشگاه‌ها مشکل پارامتر دارند: مدیریت Faceted Navigation با noindex/canonical و قواعد لینک‌سازی

جمع‌بندی

اسکریمینگ فراگ یک ابزار «منو محور» نیست؛ یک ابزار «تصمیم‌ساز» است. وقتی یاد بگیرید چگونه Crawl را درست تنظیم کنید، داده‌ها را بخوانید و خروجی را به تسک تبدیل کنید، آدیت تکنیکال از یک گزارش طولانی به یک برنامه اجرایی تبدیل می‌شود.

دوره آموزش اسکریمینگ فراگ (Screaming Frog) برای چه کسانی مناسب است؟

نرم‌افزار Screaming Frog SEO Spider قدرتمندترین و بی‌رحم‌ترین ابزار آدیت تکنیکال در دنیاست. این ابزار بر خلاف ابزارهای تحت وب (مثل Ahrefs یا Semrush) که گزارش‌های کلی ارائه می‌دهند، مانند موتور جستجوی گوگل عمل کرده و تمامی لایه‌های پنهان کدها، لینک‌ها، رندرینگ و معماری سایت را موشکافی می‌کند.

اگر می‌خواهید بدانید شرکت در دوره جامع آموزش کاربردی و سناریومحور اسکریمینگ فراگ چقدر برای شما یا کسب‌وکارتان ارزش آفرین است، این راهنما به شما شفافیت کامل می‌دهد:

متخصصان و کارشناسان سئو (SEO Specialists & Analysts)

برای افرادی که از تحلیل‌های سطحی خسته شده‌اند و می‌خواهند تسلط خود را روی سئو تکنیکال به رخ بکشند. این دوره برای شماست اگر می‌خواهید:

• از لایه «تولید محتوا و لینک‌سازی ساده» عبور کرده و به متخصص ارشد سئو (Senior Technical SEO) تبدیل شوید.
• تحلیل‌های عمیق روی کدهای وضعیت HTTP، مدیریت بودجه خزش (Crawl Budget)، رندرینگ جاوااسکریپت و کدهای پاسخ سرور انجام دهید.
• قبل از مواجهه با افت رتبه ناگهانی، عیوب ساختاری، کانونی‌کال‌های اشتباه، حلقه‌های ریدایرکت و خطاهای Noindex را کشف و خنثی کنید.

طراحان وب و توسعه‌دهندگان (Web Developers & Webmasters)

بسیاری از برنامه‌نویسان هنگام طراحی یا ریدیزاین (Redesign) سایت، به نادانسته با تغییر URLها یا ساختار کدها آسیب‌های جبران‌ناپذیری به سئوی سایت وارد می‌کنند. این آموزش برای توسعه‌دهندگان ابزاری است جهت:

• تحلیل پیش و پس از مهاجرت سایت (Site Migration): نگاشت درست ریدایرکت‌های ۳۰۱ و جلوگیری از ریزش ترافیک ارگانیک.
• تست دقیق نحوه رندر شدن کدهای فرانت‌اند (React، Vue، Next.js) توسط گوگل‌بات با ابزار Headless Chrome نرم‌افزار.
• بررسی یکپارچگی نقشه سایت XML، هدرهای امنیتی، کدهای X-Robots-Tag و فایل robots.txt.

مدیران سئو و مجریان پروژه‌های بزرگ (SEO Leads & Agency Owners)

مدیریت سئوی سایت‌های بزرگ (چند صد هزار صفحه‌ای) با ابزارهای عادی امکان‌پذیر نیست. اگر مدیریت پروژه‌های کلان بر عهده شماست، این دوره به شما کمک می‌کند:

• نحوه کانفیگ نرم‌افزار برای کراول سایت‌های بالای ۱۰۰ هزار URL را بدون هنگ کردن سیستم (با تنظیمات Database Storage و RAM) یاد بگیرید.
• با متصل کردن اسکریمینگ فراگ به APIهای Google Analytics 4 و Google Search Console، داده‌های فنی را با دیتای ورودی و درآمد ترکیب کنید.
• برای تیم‌های فنی، محتوا و کارفرمایان، گزارش‌های کاملاً شفاف، اولویت‌بندی‌شده و قابل اجرا (Actionable Reports) استخراج کنید.

صاحبان فروشگاه‌های اینترنتی بزرگ (E-Commerce Owners)

سایت‌های فروشگاهی به دلیل داشتن سیستم‌های فیلتر، جستجوی پیشرفته، صفحه‌بندی (Pagination) و تنوع محصولات، بیشترین آسیب را از خطاهای تکنیکال می‌بینند. این آموزش برای صاحبان آنلاین‌شاپ‌ها حیاتی است تا:

• از هدررفت بودجه خزش (Crawl Budget) روی صفحات بی‌ارزش فیلترها و پارامترهای جستجو جلوگیری کنند.
• صفحات تکراری (Duplicate Content)، محصولات تمام‌شده بلاتکلیف و خطاهای ۴۰۴ پنهان در دسته‌بندی‌ها را کشف کنند.
• تصاویر سنگین، بدون ساختار و بدون تگ alt را یک‌جا شناسایی و بهینه‌سازی نمایند.

فریلنسرها و مشاوران سئو (Freelancers)

یکی از پول‌سازترین خدمات سئو در دنیا، ارائه خدمات آدیت تخصصی تکنیکال (Technical SEO Audit) است. اگر به صورت پروژه‌ای فعالیت می‌کنید، تسلط بر این ابزار به شما این امکان را می‌دهد که:

• پروژه‌های مستقل “آدیت جامع فنی سایت” تعریف کرده و ورودی‌های درآمدی جدید و گران‌قیمت ایجاد کنید.
• در جلسات معارفه با کارفرما، تنها در چند دقیقه پروژه‌های آن‌ها را کراول کرده و خطاهای بحرانی سایتشان را رو کنید تا عقد قرارداد تضمین شود.
• خروجی‌های حرفه‌ای و شخصی‌سازی‌شده (Custom Extraction) برای استخراج اسکیمای سایت‌ها، قیمتهای رقبا یا کدهای اختصاصی بگیرید.