Cloudways חוסם ClaudeBot? כך בודקים ומאפשרים בוטי AI (עודכן עם תשובת התמיכה)

עודכן לאחרונה: 07.11.2026 · מאת עשהאל דרייר

בקצרה: עד 6.11.2026, שכבת ה-nginx של קלאודוויז (Cloudways) החזירה 403 לבוטים ClaudeBot, CCBot ו-Amazonbot בכל שרתי ה-Flexible שלנו, עוד לפני Varnish ו-Apache, ולכן לא יכולנו לתקן את זה בעצמנו. פתחנו טיקט, ותוך כ-4 שעות התמיכה הסירה את החסימה בכל ארבעת השרתים בחשבון. נכון ל-7.11.2026 שלושת הבוטים מקבלים 200, ו-Bytespider נשאר חסום לבקשתנו. זה נעשה לבקשה, לחשבון שלנו, אז בדקו את האתר שלכם.

⏱ זמן בדיקה: 10 דקות · רמת קושי: בינוני · נבדק לאחרונה: 07.11.2026

בקצרה: חסימת בוטי ה-AI בקלאודוויז, מההתחלה עד הפתרון (נכון ל-7.11.2026)

מה נחסם	ClaudeBot, CCBot ו-Amazonbot קיבלו 403, רק בבקשות שלא הוגשו מהקאש של Cloudflare
איפה ישבה החסימה	ב-nginx של הפלטפורמה, השכבה הראשונה בשרת, לפני Varnish ו-Apache. אי אפשר לשנות אותה מ-.htaccess או מהגדרות האפליקציה
הטיקט	#1008105, נפתח ב-6.11.2026 ב-21:59 UTC
זמן התשובה	7.11.2026 ב-01:57 UTC, כ-4 שעות. היעד לטיקט רגיל: עד 12 שעות
מה שונה	החסימה הוסרה לשלושת הבוטים בכל ארבעת השרתים בחשבון
מה נשאר חסום	Bytespider (403), לבקשתנו
היקף השינוי	לבקשה ולחשבון שלנו. לא ידוע אם זו ברירת מחדל חדשה בפלטפורמה

מה קרה: אילו בוטים של AI נחסמו בקלאודוויז עד 6.11.2026?

ארבעה בוטים נחסמו, ושישה עברו, וגם דפדפן רגיל. בדקנו ב-6 וב-7 בנובמבר 2026 את cw-servers.co.il, אתר וורדפרס על שרת Flexible בקלאודוויז, מאחורי חשבון Cloudflare משלנו (לא תוסף Cloudflare של קלאודוויז). שלחנו בקשת curl עם ה-User-Agent של כל בוט לכתובת עם פרמטר אקראי (?x=1), כדי לעקוף קאש. על העומס שבוטים של AI יוצרים ועל הדרכים להגביל אותם ראו בוטים של AI והעומס על השרת.

המצב לפני הטיקט (נמדד ב-6–7.11.2026):

בוט	של מי	תוצאה	cf-cache-status	מי חסם (הפרשנות שלנו)
ClaudeBot/1.0	Anthropic	403	BYPASS	השרת (nginx של קלאודוויז)
CCBot/2.0	Common Crawl	403	BYPASS	השרת (nginx של קלאודוויז)
Amazonbot/0.1	Amazon	403	BYPASS	השרת (nginx של קלאודוויז)
Bytespider	ByteDance	403	אין	Cloudflare
GPTBot	OpenAI	200		לא נחסם
OAI-SearchBot	OpenAI	200		לא נחסם
Claude-SearchBot	Anthropic	200		לא נחסם
PerplexityBot	Perplexity	200		לא נחסם
Google-Extended	Google	200		לא נחסם
bingbot	Microsoft	200		לא נחסם
דפדפן רגיל	–	200		לא נחסם

חשוב לדייק: זה מה שמדדנו בשרתים שלנו. אנחנו לא יודעים אם קלאודוויז חסמה את הבוטים האלה בכל חשבון, ולכן הבדיקה בסעיף איך בודקים בעצמכם שווה יותר מכל הכללה.

איך אבחנו שהחסימה ישבה ב-nginx של הפלטפורמה?

לפי הכותרת cf-cache-status. כשהיא מופיעה בתשובת 403, הבקשה עברה דרך Cloudflare והגיעה לשרת המקור, כלומר השרת הוא שסירב. כשהיא חסרה, סביר שהחסימה נוצרה כבר בשכבת Cloudflare.

cf-cache-status היא כותרת ש-Cloudflare מוסיפה ומתארת מה קרה מול הקאש שלה. BYPASS או MISS אומרים ש-Cloudflare לא הגישה עותק מהקאש והעבירה את הבקשה לשרת. HIT אומר שהעמוד הוגש מהקאש, והשרת בכלל לא נשאל. אצלנו ClaudeBot, CCBot ו-Amazonbot קיבלו 403 עם BYPASS, ולכן ה-403 הגיע מהשרת. ל-Bytespider חזר 403 בלי הכותרת, וזה מתאים לחסימה של Cloudflare עצמה.

הרמז שהכי בלבל אותנו: באותו זמן, ClaudeBot קיבל 200 בעמודים שכבר היו בקאש של Cloudflare (HIT), ו-403 רק כשהבקשה הגיעה לשרת. כלומר הבוט ראה חלק מהאתר וחלק לא, לפי מה שהיה בקאש באותו רגע. מי שבודק בלי פרמטר אקראי יכול לקבל 200 ולחשוב שהכול תקין.

גם בדקנו את מה שבשליטתנו: וורדפרס, ‏.htaccess ו-robots.txt לא חסמו את הבוטים האלה, ובשרת עצמו Varnish ו-Apache החזירו 200 לאותו User-Agent. מה שנשאר הוא שכבת ה-nginx של הפלטפורמה, שאין לנו הרשאה לערוך, כי אין גישת root. איך השכבות האלה בנויות בשרת קלאודוויז מוסבר במה זה Nginx ואיך הוא עובד בקלאודוויז.

מה השתנה אחרי הטיקט? בדיקת curl לפני ואחרי

שלושת הבוטים שנחסמו עוברים עכשיו, ושום דבר אחר לא השתנה. הרצנו את אותה בדיקה על כתובת שלא בקאש, לפני הטיקט ואחריו (שוב ב-7.11.2026 ב-07:29 UTC, עם אותה תוצאה):

בוט	לפני (6–7.11.2026)	אחרי (7.11.2026)	מה זה אומר
ClaudeBot/1.0	403, BYPASS	200, MISS	השרת כבר לא חוסם
CCBot/2.0	403, BYPASS	200, MISS	השרת כבר לא חוסם
Amazonbot/0.1	403, BYPASS	200, MISS	השרת כבר לא חוסם
Bytespider	403, בלי cf-cache-status	403, בלי cf-cache-status	נשאר חסום, לבקשתנו (אצלנו נעצר כבר ב-Cloudflare)
GPTBot	200	200	לא השתנה
Claude-SearchBot	200	200	לא השתנה
PerplexityBot	200	200	לא השתנה

MISS בתשובה של "אחרי" הוא מה שמוכיח את התיקון: Cloudflare לא מצאה עותק בקאש, העבירה את הבקשה לשרת, והשרת ענה 200. אילו היינו מקבלים HIT, הבדיקה לא הייתה אומרת כלום על השרת.

מה ההבדל בין בוט אימון לבוט חיפוש של AI?

בוט אימון אוסף תוכן שעשוי לשמש לאימון מודלים. בוט חיפוש סורק כדי שמנוע התשובות יוכל להציג את האתר שלכם כמקור, עם קישור. לכל חברה יש בדרך כלל שניהם, ועוד סוכן שנכנס לעמוד רק כשמשתמש שואל עליו.

חברה	בוט אימון	בוט חיפוש / תשובות	כניסה לפי בקשת משתמש	תיעוד רשמי
Anthropic	ClaudeBot	Claude-SearchBot	Claude-User	Anthropic
OpenAI	GPTBot	OAI-SearchBot	ChatGPT-User	OpenAI
Perplexity	(לפי Perplexity, PerplexityBot לא משמש לאימון מודלי יסוד)	PerplexityBot	Perplexity-User	Perplexity
Common Crawl	CCBot (מאגר סריקה פתוח)	–	–	Common Crawl
Amazon	Amazonbot (שיפור מוצרים, כולל אולי אימון מודלים)	–	–	Amazon
Google	Google-Extended (אסימון ב-robots.txt, לא בוט נפרד)	Googlebot	–	Google

שתי הערות מהתיעוד: Anthropic כותבת שהבוטים שלה מכבדים את robots.txt. Google-Extended, לפי Google, הוא אסימון שליטה ב-robots.txt בלבד, בלי User-Agent משלו, והוא לא משפיע על הדירוג בחיפוש. לכן התוצאה 200 שקיבלנו עבורו בודקת רק את חוקי השרת, לא בוט אמיתי.

למה אתר שרוצה ציטוטים ב-AI צריך לאפשר את הבוטים?

כי בלי סריקה אין ציטוט. מנוע תשובות כמו ChatGPT, Claude או Perplexity יכול לקשר רק לעמוד שהבוט שלו הצליח לקרוא. מה עוד משפיע על הופעה בתשובות של ChatGPT ו-Google AI מפורט באיך מופיעים בתשובות AI.

בוטי החיפוש הם הקריטיים: הם מה שמכניס את האתר לתשובות עם קישור. אצלנו כולם עברו גם בזמן החסימה, וזו הסיבה שהיא לא "העלימה" אותנו מתשובות AI. בוטי האימון משפיעים לאט יותר: הם קובעים מה המודל עצמו יודע על התחום ועל המותג בגרסה הבאה שלו. CCBot חשוב במיוחד, כי מאגר Common Crawl פתוח לכולם ומשמש מפתחים רבים.

אתר מדריכים כמו שלנו רוצה את שני הדברים, ולכן ביקשנו לפתוח את ClaudeBot, CCBot ו-Amazonbot. את Bytespider בחרנו להשאיר חסום.

איך בודקים בעצמכם אם האתר חוסם בוטים של AI?

מספיקה פקודת curl אחת לכל בוט. curl מותקן כברירת מחדל ב-Windows 10/11, ב-macOS וברוב הפצות לינוקס. ב-PowerShell כתבו curl.exe ולא curl.

1. פתחו טרמינל (ב-Windows: PowerShell או CMD).
2. הריצו בקשה עם User-Agent של בוט ופרמטר אקראי בסוף הכתובת: curl -I -A "ClaudeBot/1.0" https://example.com/?x=1
3. קראו את השורה הראשונה: 200 פירושו שהבוט עבר, 403 שהוא נחסם.
4. אם קיבלתם 403, חפשו בתשובה את cf-cache-status. יש (BYPASS או MISS)? החסימה בשרת. אין? כנראה ב-Cloudflare.
5. הריצו את אותה פקודה בלי -A (כמו דפדפן רגיל). אם כאן מקבלים 200, החסימה תלויה ב-User-Agent.
6. חזרו על הבדיקה עם שאר הבוטים מהטבלה, ושמרו את הפלט. הוא ישמש אתכם בטיקט, וגם כבדיקת "לפני" שתשוו אליה אחרי התיקון.

לבדיקה של כל הרשימה בבת אחת (Bash, macOS או WSL):

for ua in "ClaudeBot/1.0" "Claude-SearchBot" "GPTBot" "OAI-SearchBot" \
          "PerplexityBot" "CCBot/2.0" "Amazonbot/0.1" "Bytespider"; do
  printf "%-18s " "$ua"
  curl -s -o /dev/null -D - -A "$ua" "https://example.com/?x=$RANDOM" \
    | grep -iE "^HTTP|^cf-cache-status" | tr -d '\r' | tr '\n' ' '
  echo
done

מגבלה שכדאי להכיר: הבדיקה מחקה רק את ה-User-Agent. בוט אמיתי מגיע מכתובות IP של החברה, ו-Cloudflare יכולה לטפל בו אחרת מבקשה שרק "מתחזה" אליו. לכן 200 בבדיקה הוא סימן טוב אבל לא הוכחה מלאה, ו-403 הוא בדרך כלל ממצא אמין, כי חוק שחוסם לפי User-Agent יחסום גם את הבוט האמיתי.

מה לבדוק ב-robots.txt וב-llms.txt?

robots.txt אומר לבוטים מה מותר לסרוק, אבל הוא לא עוקף חסימה בשרת. אם השרת מחזיר 403, גם Allow: / מפורש לא יעזור. ועדיין, זה הצעד הראשון: ודאו שאין שם Disallow: / לבוטים שאתם רוצים.

User-agent: ClaudeBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: CCBot
Allow: /

# example: keep one crawler out
User-agent: Bytespider
Disallow: /

llms.txt הוא קובץ Markdown בשורש האתר, לפי ההצעה ב-llmstxt.org, שנותן למודלי שפה תקציר של האתר וקישורים לעמודים החשובים. הוא לא תקן רשמי ולא מחליף סריקה, אבל הוא זול להוספה. אצלנו /llms.txt נוצר אוטומטית ומתעדכן עם כל עמוד חדש. ודאו שגם הוא מחזיר 200 לבוטים.

איפה מכבים חסימת בוטים של AI ב-Cloudflare?

אצלנו האתר עובד מול חשבון Cloudflare משלנו, ולא מול התוסף של קלאודוויז, ולכן ההגדרות שרלוונטיות לנו נמצאות שם. אם אצלכם מותקן התוסף של קלאודוויז, יש הגדרה נפרדת, והיא מתוארת בנקודה השנייה.

• חשבון Cloudflare משלכם (כמו אצלנו): ב-Security ‏> Settings, סננו לפי Bot traffic ופתחו את AI Crawler and Agent access policies (לשעבר הגדרת חסימת בוטי AI). שם קובעים פעולה נפרדת לחיפוש, לסוכנים ולאימון, לפי התיעוד של Cloudflare. לשליטה פרטנית לכל בוט יש את AI Crawl Control.
• הערה, אם אתם משתמשים בתוסף Cloudflare של קלאודוויז: לפי המדריך הרשמי, ההגדרה AI Crawler Blocking נמצאת ב-Cloudflare ‏> Settings ‏> Security באפליקציה, והיא כבויה כברירת מחדל. ב-Autonomous ההגדרה מתוארת במדריך נפרד. אם הדלקתם אותה פעם, היא תחסום את בוטי האימון.

אם ההגדרות האלה כבויות אצלכם ועדיין חוזר 403 עם cf-cache-status, החסימה לא ב-Cloudflare. זה בדיוק המצב שבו פונים לתמיכה. לעומת זאת, אם אתם רוצים לחסום בוטים זדוניים, זה נושא הפוך, ומכוסה במדריך Bot Protection של קלאודוויז.

איך ביקשנו מקלאודוויז להסיר את החסימה, ומה ענו?

בטיקט אחד, עם הפלט של curl ובקשה מדויקת. ב-6.11.2026 פתחנו את טיקט #1008105, וביקשנו להסיר את ה-403 של nginx עבור ClaudeBot, CCBot ו-Amazonbot בכל השרתים שלנו, ולהשאיר את Bytespider חסום. איך ממלאים כל שדה בטופס, ומה קרה כשניסינו לפנות במייל, מוסבר במדריך על פתיחת טיקט במייל.

מתי (UTC)	מה קרה
6.11.2026	מדידת curl: 403 לשלושה בוטים, ובדיקה שהחסימה לא בוורדפרס, לא ב-.htaccess ולא ב-Cloudflare
6.11.2026, 21:59	פתחנו את טיקט #1008105 עם הפקודות, הפלט ורשימת השרתים
7.11.2026, 01:57	תשובת התמיכה: החסימה הוסרה לשלושת הבוטים בכל ארבעת השרתים בחשבון. Bytespider נשאר חסום
7.11.2026	בדיקת curl חוזרת: 200 עם MISS לשלושתם, 403 ל-Bytespider

מהפתיחה ועד התשובה עברו כ-4 שעות, בתוך יעד התגובה של עד 12 שעות לטיקט בעדיפות Normal. לא היינו צריכים להסביר שוב או לשלוח מידע נוסף, כי הטיקט כבר כלל את הבדיקות. על רמות התמיכה וזמני התגובה ראו איך פונים לתמיכה של קלאודוויז.

תבנית טיקט באנגלית, מוכנה לשליחה

זו הפנייה שלנו, מקוצרת ומוכללת. החליפו את הכתובת, התאריך והשרתים, והשאירו רק את הבוטים שאתם באמת רוצים לפתוח:

Subject: Please remove the nginx 403 for ClaudeBot, CCBot and Amazonbot

Hi,
On my servers, requests with the user agents ClaudeBot, CCBot and
Amazonbot get HTTP 403 from nginx. Other user agents get 200.

Test (DD.MM.YYYY HH:MM UTC):
curl -I -A "ClaudeBot/1.0" "https://example.com/?x=12345"   -> 403
curl -I "https://example.com/?x=12345"                      -> 200

What I checked:
- Not Cloudflare: the 403 comes with cf-cache-status: BYPASS/MISS,
  so the request reached the origin server.
- Not WordPress, .htaccess or robots.txt (robots.txt allows these bots).

Please remove this block for ClaudeBot, CCBot and Amazonbot on all
servers and applications in my account. Please keep Bytespider blocked.

Servers (the IP field takes one IP only):
- server-a (IP in the field), apps: app-1, app-2
- server-b, apps: app-3

Thank you!

שני דברים שעזרו לנו: לכתוב במפורש מה לא לפתוח (Bytespider), ולבקש את השינוי לכל השרתים בבת אחת. כך הנציג לא צריך לחזור ולשאול.

עדכון, 7.11.2026: הטיקט נענה והבקשה בוצעה. התמיכה הסירה את החסימה של ClaudeBot, CCBot ו-Amazonbot בכל ארבעת השרתים בחשבון, ובדיקת curl חוזרת אישרה 200 בבקשות שמגיעות לשרת.

האם קלאודוויז הסירה את החסימה לכל הלקוחות?

לא ידוע. מה שאנחנו יודעים: התמיכה הסירה את החסימה בחשבון שלנו, לבקשתנו, בכל ארבעת השרתים בו. לא ראינו הודעה רשמית על שינוי בברירת המחדל של הפלטפורמה, ולכן אל תניחו שהאתר שלכם פתוח.

• הריצו את בדיקת ה-curl מהסעיף איך בודקים בעצמכם, על כתובת עם פרמטר אקראי.
• קיבלתם 200 עם MISS או BYPASS? השרת לא חוסם, ואין צורך בטיקט.
• קיבלתם 403 עם cf-cache-status? פתחו טיקט עם התבנית שלמעלה, וצרפו את הפלט.
• פתחתם שרת חדש? לא בדקנו אם שרת שנפתח אחרי השינוי מקבל את אותה הגדרה. בדקו גם אותו.

מתי דווקא כדאי לחסום בוטים של AI?

יש מקרים שבהם החסימה הגיונית, ושווה להגיד את זה בכנות:

• תוכן בתשלום או תוכן שהוא המוצר (קורסים, מחקרים): אולי תרצו לחסום אימון ולאפשר רק חיפוש.
• שרת קטן תחת עומס: סריקה אינטנסיבית צורכת משאבים. עדיף להגביל קצב או לחסום בוט ספציפי מאשר להגדיל שרת.
• בוט שלא תורם לכם: אם אין לכם קהל במוצר של חברה מסוימת, אין סיבה לשלם עליו במשאבי שרת.

אבל ההחלטה צריכה להיות שלכם. מה שהפתיע אותנו הוא שחסימה כזו קרתה אצלנו בלי שבחרנו בה, ולכן כדאי לבדוק.

טעויות נפוצות ואיך לפתור אותן

בודקים בלי פרמטר אקראי: Cloudflare או Varnish מגישים עותק מהקאש, והתשובה לא משקפת את חוקי השרת. אצלנו ClaudeBot קיבל 200 בעמודים שבקאש גם כשהשרת חסם אותו. הוסיפו ?x=1 (או מספר אקראי) לכתובת.

מתקנים robots.txt ומצפים לשינוי: robots.txt לא משנה 403 של השרת. אם curl מחזיר 403, הבעיה בשכבה אחרת.

מחפשים את החסימה ב-.htaccess או בהגדרות האפליקציה: חסימה ב-nginx של הפלטפורמה קורית לפני Apache, ולכן שום חוק ב-.htaccess לא יבטל אותה. כאן רק טיקט עוזר.

מבלבלים בין ClaudeBot ל-Claude-SearchBot: אחד לאימון והשני לחיפוש. אצלנו, עד 7.11.2026, רק הראשון נחסם, כך שהציטוטים ב-Claude לא נפגעו, אבל האימון כן.

מכבים את Bot Protection כדי "לשחרר" בוטים של AI: זה פותח את האתר גם לבוטים זדוניים, ולא בהכרח פותר. בדקו קודם מאיזו שכבה מגיע ה-403.

מניחים שהתיקון אצלנו חל גם עליכם: השינוי נעשה לחשבון שלנו, לבקשה. בדקו את האתר שלכם בנפרד.

שאלות נפוצות

מדריכים קשורים

• Bot Protection בקלאודוויז: איך חוסמים בוטים זדוניים
• אפשר לפתוח טיקט בקלאודוויז במייל? מה קרה כשניסינו
• איך לפנות לתמיכה של קלאודוויז ולפתוח טיקט נכון
• Cloudflare Enterprise בקלאודוויז
• איך מתחברים לשרת ב-SSH
• מה זה Nginx, ואיך הוא עובד בשרת קלאודוויז
• איך גורמים ל-ChatGPT ול-Google AI לצטט את האתר
• ביקורת קלאודוויז: מה עובד ומה פחות
• כל המדריכים בתחום: אבטחה
• כמה זה עולה: מחירון קלאודוויז

מקורות: Anthropic: crawler documentation, OpenAI: Overview of OpenAI Crawlers, Perplexity Crawlers, Common Crawl: CCBot, Amazonbot, Google common crawlers, How to Enable Cloudflare on Your Application (Cloudways Knowledge Base), Cloudflare AI Crawl Control, llms.txt. המדידות: curl מול cw-servers.co.il, ‏6–7.11.2026 (לפני) ו-7.11.2026 (אחרי), וטיקט #1008105 (נפתח 6.11.2026, נענה 7.11.2026). המדריך נכתב ונבדק על ידי עשהאל דרייר · עודכן: 07.11.2026

גילוי נאות: זהו אתר עצמאי ואינו האתר הרשמי של Cloudways. חלק מהקישורים באתר הם קישורי שותפים – אם תירשמו דרכם נקבל עמלה, בלי עלות נוספת לכם. לפרטים המלאים