llms.txt הוא קובץ טקסט בפורמט Markdown שמוצב בשורש האתר (בכתובת /llms.txt) ומציג למודלי שפה ולסוכני AI מפה מסודרת ותמציתית של התוכן החשוב באתר. מדובר בהצעה פתוחה ולא בתקן רשמי. חשוב לדעת מראש: גוגל כותבת במפורש שחיפוש Google לא משתמש בקבצים כאלה, לא לדירוג ולא לתכונות ה-AI שלו, והקובץ גם לא מבטיח הופעה בתשובות של ChatGPT או של כל מנוע אחר.
מי הציע את llms.txt ומתי
ההצעה פורסמה ב-3 בספטמבר 2024 על ידי ג'רמי הווארד (Jeremy Howard) מ-Answer.AI, באתר llmstxt.org. הרעיון פשוט: עמודי אתר מלאים בתפריטים, סקריפטים ורכיבי עיצוב, ומודל שפה שצריך להבין אתר בזמן אמת מתקשה לחלץ מהם את העיקר. קובץ אחד, קצר וקריא, יכול לרכז את המידע המרכזי ולהפנות לעמודים הנכונים.
ההצעה מגדירה מבנה, אבל לא מחייבת אף גוף לקרוא את הקובץ. זה ההבדל המהותי בינה לבין פרוטוקולים שמנועי חיפוש התחייבו לכבד.
מבנה הקובץ
לפי ההצעה, הקובץ כתוב ב-Markdown ובנוי בסדר קבוע:
- כותרת H1 עם שם האתר או הפרויקט. זה החלק היחיד שהוא חובה.
- ציטוט (blockquote) עם תקציר קצר: מה האתר, למי הוא מיועד ומה חשוב לדעת.
- פסקאות או רשימות פירוט ללא כותרות, עם הקשר נוסף.
- מקטעי H2 עם רשימות קבצים: כל פריט הוא קישור בפורמט
[שם](כתובת), ואחריו נקודתיים והערה קצרה. - מקטע H2 בשם Optional: קישורים משניים שסוכן יכול לדלג עליהם כשהוא צריך פחות הקשר.
ההצעה ממליצה גם להציע גרסת Markdown נקייה של עמודים חשובים, באותה כתובת עם הסיומת ".md". זו המלצה, לא דרישה, ורוב אתרי העסקים לא מחזיקים גרסאות כאלה.
דוגמה מלאה: עסק שירות ישראלי (בדיוני)
הדוגמה הבאה היא של עסק בדיוני לחלוטין, "Karir", שמתקין ומתחזק מזגנים באזור השרון. כתבנו אותה באנגלית רק כדי שהקוד יוצג בצורה קריאה; אפשר לכתוב את הקובץ בעברית. הכתובות מבוססות על הדומיין השמור example.com.
# Karir Air Conditioning Services
> Karir (fictional example) is a family-run business that installs,
> maintains and repairs residential air conditioners in the Sharon
> region of Israel. Service in Hebrew and English, Sunday to Friday.
Key facts:
- Service area: Netanya, Kfar Saba, Ra'anana, Herzliya.
- We do not sell air conditioners online. Prices are quoted after a technician visit.
- We do not service commercial VRF systems.
## Services
- [AC installation](https://www.example.com/services/installation/): split and mini-central units, what the visit includes
- [Maintenance plans](https://www.example.com/services/maintenance/): annual cleaning and inspection
- [Repairs](https://www.example.com/services/repairs/): common faults and how a service call works
## Company
- [About](https://www.example.com/about/): team, licensing and warranty terms
- [Contact](https://www.example.com/contact/): phone, WhatsApp and working hours
## Optional
- [Blog](https://www.example.com/blog/): seasonal maintenance guides
- [Terms of service](https://www.example.com/terms/)שימו לב לשורות "We do not". התובנה המעשית כאן: החלק השימושי ביותר בקובץ כזה הוא לא רשימת הקישורים, אלא הגבולות: מה העסק לא עושה, איפה הוא לא עובד, מה לא כלול. בדיוק המידע הזה חסר בהרבה אתרים, ובדיוק בגללו תשובות AI נוטות "להשלים" פרטים שגויים. גם אם אף מערכת לא תקרא את הקובץ, כתיבתו מכריחה אתכם לנסח את העובדות האלה, וכדאי שהן יופיעו גם בעמודים הגלויים באתר.
איך מוסיפים llms.txt לאתר וורדפרס
יש שתי דרכים עיקריות:
- קובץ סטטי בשורש האתר. יוצרים קובץ בשם llms.txt בקידוד UTF-8, ומעלים אותו לתיקייה הראשית של האתר (לרוב public_html) דרך מנהל הקבצים של חברת האחסון או ב-FTP/SFTP. אחר כך פותחים בדפדפן את הכתובת yourdomain.co.il/llms.txt ומוודאים שהטקסט מוצג כמו שצריך, כולל העברית.
- תוסף. יש תוספי וורדפרס, כולל חלק מתוספי ה-SEO, שיכולים לייצר את הקובץ אוטומטית. לפני שמפעילים, בדקו אילו עמודים התוסף מכניס, האם אפשר לערוך את התקציר ידנית, ומה קורה כשכבר קיים קובץ פיזי באותה כתובת.
בשתי הדרכים, אל תשכחו לנקות מטמון (cache) ו-CDN אחרי עדכון, ולקבוע תזכורת לעדכן את הקובץ כשמשתנים שירותים, אזורי שירות או מחירים. קובץ מיושן גרוע מקובץ שלא קיים.
llms.txt מול robots.txt
השמות דומים, אבל התפקיד שונה לגמרי:
| היבט | robots.txt | llms.txt |
|---|---|---|
| מטרה | כללי גישה לזחלנים: מה מותר ומה אסור לסרוק | מפת תוכן נבחרת שמסבירה מה חשוב באתר |
| פורמט | הנחיות User-agent, Allow, Disallow | Markdown: כותרות, תקציר וקישורים |
| מעמד | פרוטוקול ותיק שמנועי החיפוש הגדולים מכבדים | הצעה פתוחה, לא תקן רשמי |
| שליטה בגישה | כן | לא. הקובץ לא חוסם ולא מתיר דבר |
| מי קורא לפי תיעוד רשמי | Googlebot, OAI-SearchBot, PerplexityBot ואחרים | אין מנוע תשובות שמתעד שימוש בו |
| השפעה על Google Search | קובעת אם גוגל יכולה לסרוק את העמודים | אין, לפי גוגל |
מכאן נובעת מסקנה מעשית: אם אתם רוצים לוודא שמנועי AI יכולים להגיע לתוכן שלכם, הקובץ שצריך לבדוק הוא robots.txt (וגם הגדרות חומת אש ו-CDN), לא llms.txt.
מי משתמש ב-llms.txt לפי התיעוד הרשמי
גוגל: לא
במדריך האופטימיזציה לחיפוש גנרטיבי, גוגל כותבת שאין צורך ליצור קבצים קריאים למכונה, קבצי טקסט ל-AI או Markdown כדי להופיע בחיפוש, ושחיפוש Google מתעלם מהם: הם לא עוזרים ולא פוגעים בנראות או בדירוג (מדריך האופטימיזציה של Google Search). גם בעמוד על תכונות ה-AI בחיפוש נכתב שאין דרישות נוספות להופעה ב-AI Overviews או ב-AI Mode מעבר לאינדוקס וזכאות להצגה עם קטע תיאור (snippet). גוגל מוסיפה ששירותים אחרים עשויים להשתמש בקבצים כאלה.
אתר ההצעה: לא מציין צרכנים
llmstxt.org מתאר כלים שמאפשרים לסוכנים לשלוף קבצי llms.txt, ומציין שאתרים רבים מפרסמים קובץ כזה, כולל מעבדות AI מוכרות שמפרסמות אותו לתיעוד המפתחים שלהן. הוא לא מציין מנוע תשובות שקורא את הקובץ כשהוא בונה תשובה לשאלה של משתמש.
פרסום אינו צריכה
זו הנקודה שהכי הרבה אנשים מפספסים. העמוד של OpenAI שמתאר את הזחלנים שלה מפנה בעצמו לקובץ llms.txt כאינדקס של התיעוד. אבל אמצעי השליטה שהעמוד מתאר להופעה בחיפוש של ChatGPT הוא robots.txt, דרך הזחלן OAI-SearchBot (תיעוד הזחלנים של OpenAI). חברה שמפרסמת llms.txt לתיעוד שלה עוזרת למפתחים שמזינים את התיעוד לכלים שלהם. זה לא אומר שמנוע החיפוש שלה קורא את הקובץ באתר שלכם.
מה עדיין לא הוכח
- השפעה על ציטוטים. אין תיעוד רשמי של ChatGPT, Gemini או Perplexity שלפיו llms.txt משפיע על הופעה בתשובות, ולא מצאנו ראיה פומבית מבוססת לכך.
- ביקורים בקובץ אינם שימוש. אם אתם רואים ביומני השרת בקשות לכתובת /llms.txt, זה מראה שמישהו ניגש לקובץ. זה לא מראה שהתוכן שימש בתשובה כלשהי.
- תוצאות של "ניסויים" ברשת. שינויים בנראות ב-AI מושפעים מגורמים רבים בו זמנית. קשה לייחס שינוי כזה לקובץ אחד.
טיפ מעשי: אם כבר העליתם קובץ, בדקו פעם בחודש ביומני השרת אילו User-agents ניגשים אליו. זו הדרך היחידה שבידיכם לדעת אם מישהו בכלל קורא אותו, בלי להסתמך על טענות של אחרים.
מתי זה שווה את המאמץ ומתי לא
| שווה לשקול כש… | לא בעדיפות כש… |
|---|---|
| יש לכם תיעוד טכני, API או מוצר תוכנה, ומפתחים משתמשים בכלי AI כדי לעבוד איתו | יש בעיות בסיס פתוחות: עמודים לא מאונדקסים, זחלנים חסומים, עמודי שירות לא ברורים |
| יש באתר הרבה תוכן ואתם רוצים להציע מפה נבחרת שלו | הציפייה היא שהקובץ יביא תנועה או ציטוטים ב-ChatGPT |
| העלות נמוכה: שעה של כתיבה ומישהו שאחראי לעדכן | אין מי שיתחזק את הקובץ, והמידע בו יתיישן |
| אתם משתמשים בכתיבה שלו כתרגיל לניסוח עובדות וגבולות העסק | הקובץ מחליף עבודה על התוכן הגלוי באתר |
בקיצור: llms.txt הוא תוספת זולה ולא מזיקה, אבל הוא לא חלק מהבסיס. הבסיס הוא אתר שאפשר לסרוק, תוכן ברור ומידע עקבי על העסק. מי שרוצה להבין את התמונה הרחבה יכול להתחיל במדריך היסודות של GEO, ומי שמחפש אותות טכניים שגוגל כן מתעדת יכול לקרוא על נתונים מובנים ו-Schema Markup, שמשמשים להבנת תוכן ולתוצאות עשירות. גם שם, אגב, גוגל מבהירה שאין סכמה מיוחדת שנדרשת לתכונות ה-AI.
סיכום
llms.txt הוא הצעה מעניינת לסדר את המידע באתר עבור מודלי שפה וסוכנים. גוגל לא משתמשת בו, מנועי התשובות הגדולים לא מתעדים שימוש בו, ואין ראיה שהוא משפיע על הופעה בתשובות. אם החלטתם להוסיף אותו, עשו זאת בזול, כתבו בו עובדות מדויקות וגבולות ברורים, ודאגו שאותו מידע יופיע גם בעמודים עצמם. כך תרוויחו מהתרגיל גם אם אף מנוע לא יקרא את הקובץ.
להמשך קריאה: GEO מול SEO: מה באמת שונה · מה זה AI Overview