
0:00
50:48
בפרק 523 של רברס עם פלטפורמה, אורי להב ורן תבורי מארחים את דותן הורוביץ מ-AWS לשיחת עומק מרתקת על עולם החיפוש המודרני. יחד הם צוללים אל מאחורי הקלעים של פרויקט הקוד הפתוח OpenSearch, מבינים את ההבדלים בין חיפוש לקסיקלי לסמנטי, ומגלים איך בינה מלאכותית ו-Agents משנים לחלוטין את הדרך שבה אנחנו שולפים מידע.
[00:20] היכרות עם דותן ואסטרטגיית ה-Open Source ב-AWS
- היכרות עם דותן הורוביץ, שמוביל את תחום ה-Open Source גלובלית ב-AWS.
- הצוות מתעסק באסטרטגיית קוד פתוח (Inbound ו-Outbound), תרומה לפרויקטים, וקרדיטים לקהילה ול-Foundations.
- הפרויקטים הבולטים כוללים את OpenSearch וכן את Valkey (שהתחיל כפורק של Redis).
[03:46] מה זה בעצם OpenSearch ולמה לעשות Fork?
- OpenSearch הוא לא רק מוצר, אלא פרויקט קוד פתוח רשמי תחת ה-Linux Foundation (Top level project).
- מנוהל על ידי Governing Board של חברות כמו IBM, Intel, SAP ו-Uber, מה שמבטיח שלא יהיה נשלט בלעדית על ידי חברה אחת.
- הרקע להקמת הפרויקט: בשנת 2021, חברת Elastic החליטה לשנות את רישיון הקוד הפתוח (Apache 2.0) של ElasticSearch לרישיון מסחרי סגור יותר (SSPL).
- הצעד הזה, שמכונה "Rug pulling" (משיכת השטיח מתחת לרגליים), הוביל את הקהילה לייצר Fork כדי לשמור על הפרויקט פתוח באמת.
- השיעור החשוב: בבחירת פרויקט Open Source, אסור להסתכל רק על הרישיון, אלא גם על ה-Sustainability והמודל העסקי מאחוריו (Vendor-owned vs. Foundation-owned).
- שימושים נפוצים (Use cases):
- Observability (לוגים, ניטור, APM, Tracing).
- מנוע חיפוש מתקדם (לקסיקלי, סמנטי והיברידי).
- Vector Database שמגיע Out of the box.
[12:05] חיפוש לקסיקלי (Lexical Search)
- חיפוש המבוסס על התאמת Keywords ומילים (Tokens).
- מצוין לחיפושים מדויקים שבהם אנחנו יודעים בדיוק מה אנחנו מחפשים ורוצים אפס אינטרפרטציות (למשל: חיפוש כתובת IP ספציפית, מק"ט או שם מותג כמו "נייקי" מול "ריבוק").
- כולל יכולות מתקדמות של Full text search כמו Stemming (הבנת הטיות של פעלים: "רץ", "רצתי", "רצים") וסינון לפי טווחים נומריים (Facets).
- איך מסיקים רלוונטיות?
- מנגנון הדירוג משתמש באלגוריתמים קלאסיים כמו TF-IDF ו-BM25, שבודקים כמה פעמים המילה מופיעה במסמך ביחס לגודלו ולכמות המסמכים הכללית.
- המנוע הלקסיקלי של OpenSearch מבוסס על ספריות Apache Lucene.
[20:50] חיפוש סמנטי (Semantic Search)
- בניגוד לחיפוש לקסיקלי, בחיפוש סמנטי אנחנו מחפשים על גבי ייצוג וקטורי (Embeddings) במרחב רב-מימדי.
- Embedding model (רשת נוירונים) הופך טקסט או דאטה אחר למערך של אלפי מספרי Floating points (וקטורים).
- פריטים שקרובים במשמעותם הסמנטית "ישבו" קרוב אחד לשני במרחב (למשל, נעלי אדידס וריבוק, גם אם המילים עצמן שונות לחלוטין).
- היציאה מגבולות הטקסט: מודלים שהם Multi-modal מאפשרים לאנדקס ולחפש לא רק טקסט אלא גם תמונות, קול, וידאו ואפילו קבצי PDF שמכילים שילוב של טבלאות, דיאגרמות וטקסט.
- האתגר ההנדסי בשליפה של וקטורים:
- אלגוריתם KNN (K-Nearest Neighbors) קלאסי רץ ב-Brute force על כל הווקטורים ומחשב מרחקים, מה שלא סקיילבילי בעליל.
- הפתרון בתעשייה הוא שימוש באלגוריתמים מסוג ANN (Approximated KNN) כמו HNSW ו-IVF כדי לשפר ביצועים תוך התפשרות קלה על דיוק.
- מתקיים כל הזמן טרייד-אוף בין Recall (אחוז התוצאות הנכונות מכלל המידע שהבאנו) ל-Precision (כמה מתוך מה שהבאנו הוא רעש).
[35:50] חיפוש היברידי (Hybrid Search) ודירוג מחדש (Re-ranking)
- שילוב של חיפוש לקסיקלי וסמנטי באותה שאילתה כדי לתת מענה מיטבי לכוונת המשתמש.
- האתגר הגדול: נורמליזציה. צריך לחבר ציונים (Scores) שמגיעים משני מנועים ומרחבים שונים לחלוטין ולהפיק רשימת תוצאות אחת קוהרנטית (Unified list).
- שימוש ב-LLMs בשלב האחזור (Over-fetching ו-Re-ranking):
Mais episódios de "רברס עם פלטפורמה (Reversim)"



Não percas um episódio de “רברס עם פלטפורמה (Reversim)” e subscrevê-lo na aplicação GetPodcast.








