רברס עם פלטפורמה (Reversim) podcast

523: OpenSearch עם דותן מ-AWS

0:00
50:48
Recuar 15 segundos
Avançar 15 segundos

בפרק 523 של רברס עם פלטפורמה, אורי להב ורן תבורי מארחים את דותן הורוביץ מ-AWS לשיחת עומק מרתקת על עולם החיפוש המודרני. יחד הם צוללים אל מאחורי הקלעים של פרויקט הקוד הפתוח OpenSearch, מבינים את ההבדלים בין חיפוש לקסיקלי לסמנטי, ומגלים איך בינה מלאכותית ו-Agents משנים לחלוטין את הדרך שבה אנחנו שולפים מידע.

[00:20] היכרות עם דותן ואסטרטגיית ה-Open Source ב-AWS

  • היכרות עם דותן הורוביץ, שמוביל את תחום ה-Open Source גלובלית ב-AWS.
  • הצוות מתעסק באסטרטגיית קוד פתוח (Inbound ו-Outbound), תרומה לפרויקטים, וקרדיטים לקהילה ול-Foundations.
  • הפרויקטים הבולטים כוללים את OpenSearch וכן את Valkey (שהתחיל כפורק של Redis).

[03:46] מה זה בעצם OpenSearch ולמה לעשות Fork?

  • OpenSearch הוא לא רק מוצר, אלא פרויקט קוד פתוח רשמי תחת ה-Linux Foundation (Top level project).
    • מנוהל על ידי Governing Board של חברות כמו IBM, Intel, SAP ו-Uber, מה שמבטיח שלא יהיה נשלט בלעדית על ידי חברה אחת.
  • הרקע להקמת הפרויקט: בשנת 2021, חברת Elastic החליטה לשנות את רישיון הקוד הפתוח (Apache 2.0) של ElasticSearch לרישיון מסחרי סגור יותר (SSPL).
    • הצעד הזה, שמכונה "Rug pulling" (משיכת השטיח מתחת לרגליים), הוביל את הקהילה לייצר Fork כדי לשמור על הפרויקט פתוח באמת.
    • השיעור החשוב: בבחירת פרויקט Open Source, אסור להסתכל רק על הרישיון, אלא גם על ה-Sustainability והמודל העסקי מאחוריו (Vendor-owned vs. Foundation-owned).
  • שימושים נפוצים (Use cases):
    • Observability (לוגים, ניטור, APM, Tracing).
    • מנוע חיפוש מתקדם (לקסיקלי, סמנטי והיברידי).
    • Vector Database שמגיע Out of the box.

[12:05] חיפוש לקסיקלי (Lexical Search)

  • חיפוש המבוסס על התאמת Keywords ומילים (Tokens).
  • מצוין לחיפושים מדויקים שבהם אנחנו יודעים בדיוק מה אנחנו מחפשים ורוצים אפס אינטרפרטציות (למשל: חיפוש כתובת IP ספציפית, מק"ט או שם מותג כמו "נייקי" מול "ריבוק").
  • כולל יכולות מתקדמות של Full text search כמו Stemming (הבנת הטיות של פעלים: "רץ", "רצתי", "רצים") וסינון לפי טווחים נומריים (Facets).
  • איך מסיקים רלוונטיות?
    • מנגנון הדירוג משתמש באלגוריתמים קלאסיים כמו TF-IDF ו-BM25, שבודקים כמה פעמים המילה מופיעה במסמך ביחס לגודלו ולכמות המסמכים הכללית.
    • המנוע הלקסיקלי של OpenSearch מבוסס על ספריות Apache Lucene.

[20:50] חיפוש סמנטי (Semantic Search)

  • בניגוד לחיפוש לקסיקלי, בחיפוש סמנטי אנחנו מחפשים על גבי ייצוג וקטורי (Embeddings) במרחב רב-מימדי.
    • Embedding model (רשת נוירונים) הופך טקסט או דאטה אחר למערך של אלפי מספרי Floating points (וקטורים).
    • פריטים שקרובים במשמעותם הסמנטית "ישבו" קרוב אחד לשני במרחב (למשל, נעלי אדידס וריבוק, גם אם המילים עצמן שונות לחלוטין).
  • היציאה מגבולות הטקסט: מודלים שהם Multi-modal מאפשרים לאנדקס ולחפש לא רק טקסט אלא גם תמונות, קול, וידאו ואפילו קבצי PDF שמכילים שילוב של טבלאות, דיאגרמות וטקסט.
  • האתגר ההנדסי בשליפה של וקטורים:
    • אלגוריתם KNN (K-Nearest Neighbors) קלאסי רץ ב-Brute force על כל הווקטורים ומחשב מרחקים, מה שלא סקיילבילי בעליל.
    • הפתרון בתעשייה הוא שימוש באלגוריתמים מסוג ANN (Approximated KNN) כמו HNSW ו-IVF כדי לשפר ביצועים תוך התפשרות קלה על דיוק.
    • מתקיים כל הזמן טרייד-אוף בין Recall (אחוז התוצאות הנכונות מכלל המידע שהבאנו) ל-Precision (כמה מתוך מה שהבאנו הוא רעש).

[35:50] חיפוש היברידי (Hybrid Search) ודירוג מחדש (Re-ranking)

  • שילוב של חיפוש לקסיקלי וסמנטי באותה שאילתה כדי לתת מענה מיטבי לכוונת המשתמש.
  • האתגר הגדול: נורמליזציה. צריך לחבר ציונים (Scores) שמגיעים משני מנועים ומרחבים שונים לחלוטין ולהפיק רשימת תוצאות אחת קוהרנטית (Unified list).
  • שימוש ב-LLMs בשלב האחזור (Over-fetching ו-Re-ranking):
    …

    להמשך הערות הפרק באתר

    Mais episódios de "רברס עם פלטפורמה (Reversim)"