עודכן לאחרונה: · מאת עשהאל דרייר
בקצרה: בוטים של AI (GPTBot, ClaudeBot, PerplexityBot ועוד) הם עוד מבקר שהשרת צריך לשרת. כשהם קוראים עמודים מהקאש, העומס זניח. כשהם עוקפים את הקאש, כל בקשה מפעילה את וורדפרס: במדידה שלנו ב-6.11.2026 זה 1,035ms מול 297ms מהקאש. ההמלצה: לאפשר בוטי חיפוש וציטוט, להגביל קצב לבוטי אימון, ולאמת IP לפני שחוסמים.
בקצרה – בוטים של AI והשרת שלכם (נכון ל-7.11.2026)
| בוט חיפוש מול בוט אימון | OAI-SearchBot ו-Claude-SearchBot מביאים אתכם לתשובות; GPTBot ו-ClaudeBot אוספים תוכן לאימון מודלים |
|---|---|
| עלות בקשה מהקאש | כ-297ms בצד הלקוח, כמעט בלי עבודת PHP (המדידה שלנו) |
| עלות בקשה שעוקפת קאש | כ-1,035ms, מתוכם כ-750ms יצירת העמוד בשרת (המדידה שלנו) |
| מי מפרסם רשימת IP | OpenAI (שלושה קובצי JSON) ו-Anthropic (bots.json) |
| Google-Extended | לא משפיע על הופעה ודירוג בחיפוש של גוגל, לפי Google |
| תמחור חריגת תעבורה | Autonomous: 0.04$ ל-GB · Velocity: CDN מעבר להקצאה 0.02$ ל-GB |
העמוד הזה עוסק בעומס, בעלות ובשליטה. אם בדקתם ומצאתם שבוטים מסוימים מקבלים 403 בקלאודוויז (Cloudways), זה סיפור אחר, והוא מתועד במדריך החסימה של ClaudeBot בקלאודוויז, כולל המדידה שלנו והפנייה לתמיכה. אצלנו ClaudeBot, CCBot ו-Amazonbot קיבלו 403 מה-nginx של הפלטפורמה עד 6.11.2026, והתמיכה הסירה את החסימה ב-7.11.2026, כ-4 שעות אחרי שפתחנו טיקט.
אילו בוטים של AI מגיעים לאתר, ובמה הם שונים?
יש שלושה סוגים, ולכל אחד החלטה אחרת. בוט אימון אוסף תוכן לאימון מודל. בוט חיפוש בונה אינדקס שממנו מנוע ה-AI מצטט. סוכן משתמש נכנס לעמוד רק כשמשתמש אמיתי ביקש.
| בוט | חברה | תפקיד | מה קורה אם חוסמים |
|---|---|---|---|
| GPTBot | OpenAI | אימון מודלים | התוכן לא ישמש לאימון, לפי התיעוד של OpenAI |
| OAI-SearchBot | OpenAI | חיפוש ב-ChatGPT | האתר לא יופיע בתשובות החיפוש של ChatGPT (עדיין יכול להופיע כקישור ניווט). השינוי לוקח כ-24 שעות |
| ChatGPT-User | OpenAI | ביקור לבקשת משתמש | לפי OpenAI, כללי robots.txt עשויים לא לחול, כי משתמש יזם את הביקור |
| ClaudeBot | Anthropic | אימון מודלים | מכבד robots.txt ותומך ב-Crawl-delay, לפי Anthropic |
| Claude-SearchBot | Anthropic | שיפור תוצאות חיפוש | פחות ציטוטים בתשובות של Claude |
| Claude-User | Anthropic | ביקור לבקשת משתמש | Claude לא יוכל לקרוא את העמוד כשמשתמש מבקש |
| Google-Extended | אסימון robots.txt לאימון והעשרה של Gemini | אין לו User-Agent משלו. חסימה לא משפיעה על Google Search |
בוט אימון הוא סורק שאוסף תוכן ציבורי כדי לאמן מודלים עתידיים. בוט חיפוש הוא סורק שבונה אינדקס עבור תשובות בזמן אמת. ההבדל חשוב, כי אתר שרוצה שיצטטו אותו ב-ChatGPT וב-Claude צריך את בוטי החיפוש, גם אם הוא לא מעוניין באימון.
כמה בוטים של AI מעמיסים על שרת וורדפרס?
זה תלוי כמעט רק בשאלה אחת: האם הבקשה מגיעה מהקאש. בקשה שנענית מהקאש של Cloudflare או של Varnish לא מגיעה ל-PHP בכלל. בקשה שעוקפת קאש מפעילה את וורדפרס, את מסד הנתונים ואת התוספים.
מדדנו את זה על האתר הזה ב-6.11.2026, מחיבור ביתי בישראל, 6 הרצות לכל מקרה. עמוד הבית מהקאש של Cloudflare ענה בחציון של 297ms. אותו עמוד עם פרמטר אקראי (?nocache=) שעוקף את הקאש ענה ב-1,035ms. החלק של הרשת היה כ-180ms בשני המקרים, כך שכ-750ms הם זמן היצירה של העמוד בשרת.
| מצב הבקשה | TTFB חציוני | מה השרת עושה |
|---|---|---|
| מהקאש של Cloudflare | 297ms (286–310) | כמעט כלום: הקובץ מוגש מהקצה |
| עוקפת קאש (פרמטר אקראי) | 1,035ms (1,013–1,279) | וורדפרס מלא: PHP, מסד נתונים, תוספים |
דוגמה לחישוב (הערכה שלנו): נניח שבוט סורק 10,000 כתובות ביום שלא נמצאות בקאש, למשל עמודי ארכיון, תגיות, חיפוש פנימי או קישורים עם פרמטרים. ב-0.75 שניות לבקשה, זה כ-7,500 שניות עבודת PHP ביום, יותר משעתיים. על שרת קטן עם מעט PHP Workers, זה מורגש בדיוק בשעות שבהן גם לקוחות אמיתיים גולשים.
הסיבות הנפוצות לעקיפת קאש אצל בוטים: כתובות עם פרמטרים (?s=, ?orderby=, ?add-to-cart=), עמודי סינון בחנות ווקומרס, ועמודים ישנים שלא היו בקאש כי אף אדם לא נכנס אליהם.
כמה זה עולה בחשבון האחסון?
ברוב החבילות, בוטים לא מוסיפים שורה לחשבונית, אלא צורכים משאבים שכבר שילמתם עליהם. בשרת Flexible רגיל משלמים לפי גודל שרת, והתעבורה הכלולה גדולה. העלות האמיתית היא איטיות בשעות עומס, או הגדלת שרת מוקדמת מדי.
במוצרים שמחייבים לפי שימוש זה כבר כסף. ב-Autonomous, תעבורה מעל המכסה עולה 0.04$ ל-GB, וזינוק בעומס יכול להפעיל Autoscaling בתשלום לפי שעה (פירוט במחירון Autonomous). ב-Velocity, תעבורת CDN מעבר להקצאה עולה 0.02$ ל-GB. דוגמה: בוט שמושך 50GB בחודש מעבר למכסה ב-Autonomous עולה 2$ (50 × 0.04$). זה לא הרבה, אבל זה כסף על תנועה שלא מכניסה לקוח.
מחירי התוספים הרלוונטיים, כמו Cloudflare Enterprise, נמצאים במחירון התוספים של קלאודוויז.
איך יודעים כמה בוטים של AI נכנסים לאתר?
בודקים את יומן הגישה (access log) של השרת, ולא את Google Analytics. בוטים לא מריצים JavaScript, ולכן כלי אנליטיקס רגילים לא רואים אותם.
- התחברו לשרת ב-SSH (הוראות במדריך SSH בקלאודוויז) ועברו לתיקיית הלוגים של האפליקציה.
- ספרו בקשות לפי בוט, למשל:
grep -c "GPTBot" access.log, ואחר כך אותו דבר ל-ClaudeBot, PerplexityBot, OAI-SearchBot ו-Bytespider. - בדקו אילו כתובות הם מבקשים:
grep "ClaudeBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head. רשימה של כתובות עם פרמטרים היא סימן לבקשות שעוקפות קאש. - השוו לגרף ה-CPU במסך הניטור באותן שעות. הסבר על הגרפים במדריך ניטור השרת.
אם יש לכם Cloudflare, לוח Security Analytics מציג תנועה לפי סוגי בוטים, בלי לגעת בשרת.
איך מאמתים שבוט הוא באמת GPTBot או ClaudeBot?
לא סומכים על ה-User-Agent. כל אחד יכול לכתוב "GPTBot" בכותרת הבקשה, ומזייפים עושים את זה כדי לעבור חסימות. מאמתים לפי כתובת ה-IP.
- OpenAI מפרסמת קובץ IP לכל בוט:
gptbot.json,searchbot.jsonו-chatgpt-user.json, כמפורט בעמוד הבוטים של OpenAI. - Anthropic מפרסמת רשימה ב-
claude.com/crawling/bots.json, ומבקשת לא לחסום את הבוטים שלה לפי IP, כי אז הם לא יוכלו לקרוא את robots.txt. - Google מאמתת סורקים לפי Reverse DNS: שם המארח צריך להסתיים ב-
googlebot.com, לפי התיעוד של Google.
כלל אצבע: בקשה עם User-Agent של בוט מוכר, מ-IP שלא ברשימה הרשמית, היא כמעט תמיד מזויפת. אותה חוסמים בלי היסוס.
איך מגבילים קצב לבוטים בלי לחסום אותם?
יש שלוש שכבות, מהעדינה לחזקה. ברוב האתרים השכבה הראשונה והשנייה מספיקות.
| שכבה | מה עושים | מתאים ל |
|---|---|---|
| robots.txt | חסימה לפי בוט, ו-Crawl-delay לבוטים שתומכים בו (ClaudeBot לפי Anthropic) | בוטים מכבדים: GPTBot, ClaudeBot, Google-Extended |
| Cloudflare | AI Crawler and Agent access policies, או Rate Limiting לפי נתיב | כל האתרים שעוברים דרך Cloudflare |
| השרת בקלאודוויז | חסימת IP, Anti-Bot ו-Web Rules | בוטים מזויפים ובוטים שלא מכבדים כללים |
robots.txt: כך נראית הגבלה של בוט אימון, שמשאירה את בוטי החיפוש פתוחים:
User-agent: GPTBot
Disallow: /wp-admin/
Disallow: /?s=
Disallow: /*?orderby=
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /*?add-to-cart=
User-agent: OAI-SearchBot
Allow: /איך עורכים את robots.txt בקלאודוויז מוסבר במדריך Web Rules ו-robots.txt.
Cloudflare: בהגדרות Security ← Settings ← Bot traffic יש מדיניות נפרדת ל-Search, Agent ו-Training. לפי התיעוד של Cloudflare, בדומיין חדש שלושתן מוגדרות כברירת מחדל ל-Allow, ואפשר לבחור Block, Block רק בעמודים עם מודעות, או Disallow לאימון דרך robots.txt.
השרת: בקלאודוויז יש Anti-Bot Protection, הגנת DoS וחסימת IP ומדינות בחומת האש. ההסבר המלא במדריך חסימת בוטים בקלאודוויז. לאתר שעובר ב-Cloudflare Enterprise יש גם שכבת בוטים מתקדמת, ראו Cloudflare Enterprise בקלאודוויז.
לחסום או לאפשר בוטים של AI?
לרוב האתרים העסקיים, לאפשר את בוטי החיפוש וסוכני המשתמש, ולהחליט על בוטי האימון לפי העומס. אתר שרוצה לקבל פניות מ-ChatGPT ומ-Claude צריך שיוכלו לקרוא אותו. ההמשך המעשי נמצא במדריך הופעה בתשובות של ChatGPT ו-Google AI.
| סוג האתר | בוטי חיפוש | בוטי אימון |
|---|---|---|
| אתר שירותים או עסק מקומי | לאפשר | לאפשר, אלא אם יש עומס |
| חנות ווקומרס | לאפשר | להגביל בעמודי סינון ופרמטרים |
| אתר תוכן בתשלום או תוכן בלעדי | לשקול לפי המודל העסקי | לחסום |
| אתר על שרת קטן עם עומס מוכח | לאפשר | Crawl-delay או חסימה זמנית |
מה לא לעשות: לחסום את כל הבוטים "ליתר ביטחון". חסימה של OAI-SearchBot מוציאה את האתר מתשובות החיפוש של ChatGPT, וזה מחיר גבוה בשביל חיסכון קטן במשאבים.
הקוד BFCM802 מוריד 80% מהחשבון בחודשיים הראשונים (עד 200$ הנחה בחודש), כולל העברת אתרים חינם בלי הגבלה. ללקוחות חדשים בלבד, ורק עד סוף המבצע.
המבצע מסתיים ב-4 בדצמבר 2026, ב-23:59 שעון ישראל.
מתחילים בניסיון חינם, בלי כרטיס אשראי. את הקוד מזינים בקופה ובודקים שהוא מופיע.
אחרי בלאק פריידי: 30% הנחה ל-3 חודשים עם הקוד ASAEL. בשרת גדול (מעל כ-444$ בחודש) ASAEL משתלם יותר כבר עכשיו. למחשבון BFCM802 מול ASAEL
פותחים שרת ניסיון חינם, בלי כרטיס אשראי. כשעוברים לתוכנית בתשלום, הקוד ASAEL מוריד 30% מהחשבון בשלושת החודשים הראשונים.
הקישור ממלא את הקוד בטופס ההרשמה. רק ודאו שהוא מופיע.
טעויות נפוצות ואיך לפתור אותן
חסימה לפי IP של בוט לגיטימי: Anthropic מציינת שזה מונע מהבוט לקרוא את robots.txt. עדיף לחסום ב-robots.txt, ולשמור חסימת IP לבוטים מזויפים.
Crawl-delay לכולם: לא כל בוט תומך בו. בדקו בתיעוד של כל חברה, ואל תסמכו עליו כהגנה יחידה.
חסימת Google-Extended מתוך חשש לדירוג: Google כותבת שהוא לא משפיע על Google Search. החסימה רק מונעת שימוש באימון ובהעשרה של Gemini.
מסקנות מ-Google Analytics: בוטים לא מופיעים שם. מי שרואה "אין תנועה" באנליטיקס ו-CPU גבוה בשרת צריך לבדוק את יומן הגישה.
קאש שלא מכסה עמודים ישנים: בוט שסורק את כל הארכיון יפגוש עמודים קרים. חימום קאש או כלל קאש ב-Cloudflare לעמודים ציבוריים מוריד את רוב העומס.
שאלות נפוצות
רק כשהם מבקשים עמודים שלא בקאש. במדידה שלנו, בקשה שעוקפת קאש עלתה כ-750ms של עבודת שרת, ובקשה מהקאש כמעט כלום. ברוב האתרים העומס קטן, אבל בשרת קטן עם סריקה אגרסיבית הוא מורגש.
זו החלטה עסקית. חסימת GPTBot מונעת שימוש בתוכן לאימון, ולא מוציאה את האתר מהחיפוש של ChatGPT, שמשתמש ב-OAI-SearchBot. אם המטרה היא להופיע בתשובות, השאירו את OAI-SearchBot פתוח.
לפי Anthropic, ClaudeBot אוסף תוכן שעשוי לשמש לאימון, ו-Claude-SearchBot סורק כדי לשפר את תוצאות החיפוש של Claude. אפשר לחסום את הראשון ולהשאיר את השני.
משווים את כתובת ה-IP לקובץ gptbot.json ש-OpenAI מפרסמת. בקשה עם User-Agent של GPTBot מ-IP שלא ברשימה היא כנראה מזויפת, ואפשר לחסום אותה בחומת האש.
לא. Google כותבת שהאסימון לא משפיע על הכללת האתר ב-Google Search ולא משמש לדירוג. הוא שולט רק בשימוש בתוכן עבור Gemini.
בשרת Flexible בדרך כלל לא משלמים יותר, כי התעבורה כלולה. ב-Autonomous תעבורה מעל המכסה עולה 0.04$ ל-GB, כך ש-50GB נוספים יעלו כ-2$. המחיר האמיתי הוא בעומס על השרת בשעות שיא.
מדריכים קשורים
- Cloudways חוסם ClaudeBot? המדידה והפתרון
- חסימת בוטים בקלאודוויז: Anti-Bot, DoS ו-Cloudflare
- robots.txt, htaccess ו-Web Rules בקלאודוויז
- מה זה TTFB ואיך מורידים אותו
- מחירון התוספים של קלאודוויז
- כל המדריכים בתחום: מדריכי AI ואוטומציה
מקורות
- Overview of OpenAI Crawlers – GPTBot, OAI-SearchBot, ChatGPT-User וקובצי ה-IP (נבדק 07.11.2026)
- Anthropic: Does Anthropic crawl data from the web – ClaudeBot, Claude-SearchBot, Claude-User ו-Crawl-delay (נבדק 07.11.2026)
- Google's common crawlers – Google-Extended ואימות Reverse DNS (נבדק 07.11.2026)
- Cloudflare: AI Crawler and Agent access policies (נבדק 07.11.2026)
- How Payment and Pricing Work on Cloudways Autonomous – תעריף חריגת תעבורה
- מדידה שלנו: TTFB של cw-servers.co.il מהקאש ובעקיפת קאש, 6 הרצות, 06.11.2026
מקור רשמי: OpenAI, Anthropic ו-Cloudflare. המדריך נכתב ונבדק על ידי עשהאל דרייר · עודכן: 07.11.2026
גילוי נאות: זהו אתר עצמאי ואינו האתר הרשמי של Cloudways. חלק מהקישורים באתר הם קישורי שותפים – אם תירשמו דרכם נקבל עמלה, בלי עלות נוספת לכם. לפרטים המלאים
