Changes between Version 6 and Version 7 of АdvancedPhase

Timestamp:

06/14/26 17:14:58 (30 hours ago)

Author:

231077

Comment:

--

АdvancedPhase

@@ -28 +28 @@
 
 {{{
-docker run --name booknest-postgres \
--e POSTGRES_PASSWORD=postgres \
--e POSTGRES_DB=booknest \
--p 5433:5432 \
+docker run --name booknest-postgres 
+-e POSTGRES_PASSWORD=postgres 
+-e POSTGRES_DB=booknest 
+-p 5433:5432 
 -d pgvector/pgvector:pg16
 }}}
@@ -89 +89 @@
 }}}
 
-
 Резултатот потврдува дека pgvector е успешно инсталиран и активен.
+
+[[Image(pgvector_extension.png,800px)]]
 
 == Чекор 4 - Додавање embedding колона ==
@@ -117 +118 @@
 Скриптата ги чита:
 
- * насловот на книгата
- * описот
- * жанровите
- * категориите
- * авторите
+* насловот на книгата
+* описот
+* жанровите
+* категориите
+* авторите
 
 и од нив генерира embedding користејќи го моделот:
@@ -133 +134 @@
 {{{
 book.embedding
+}}}
+
+Целата Python скрипта:
+
+{{{
+import psycopg2
+from sentence_transformers import SentenceTransformer
+
+conn = psycopg2.connect(
+host="localhost",
+port=5433,
+database="booknest",
+user="postgres",
+password="postgres"
+)
+
+cursor = conn.cursor()
+
+print("Connected!")
+
+cursor.execute(
+SELECT
+b.barcode,
+b.title,
+COALESCE(b.description, '') AS description,
+COALESCE(string_agg(DISTINCT g.name, ', '), '') AS genres,
+COALESCE(string_agg(DISTINCT c.name, ', '), '') AS categories,
+COALESCE(string_agg(DISTINCT a.first_name || ' ' || a.last_name, ', '), '') AS authors
+FROM book b
+LEFT JOIN book_genre bg ON bg.barcode = b.barcode
+LEFT JOIN genre g ON g.genre_id = bg.genre_id
+LEFT JOIN category_book cb ON cb.barcode = b.barcode
+LEFT JOIN category c ON c.category_id = cb.category_id
+LEFT JOIN book_author ba ON ba.barcode = b.barcode
+LEFT JOIN author a ON a.author_id = ba.author_id
+GROUP BY b.barcode, b.title, b.description
+LIMIT 10000
+)
+
+books = cursor.fetchall()
+
+print(f"Found {len(books)} books")
+
+model = SentenceTransformer("all-MiniLM-L6-v2")
+
+for i, (barcode, title, description, genres, categories, authors) in enumerate(books, start=1):
+text = (
+title + " " +
+description + " " +
+genres + " " +
+categories + " " +
+authors
+)
+
+embedding = model.encode(text).tolist()
+
+cursor.execute(
+    
+    UPDATE book
+    SET embedding = %s
+    WHERE barcode = %s
+    """,
+    (embedding, barcode)
+)
+
+if i % 500 == 0:
+    conn.commit()
+    print(f"Updated {i}/{len(books)} books")
+
+
+conn.commit()
+
+print("DONE!")
+
+cursor.close()
+conn.close()
 }}}
 
@@ -145 +222 @@
 }}}
 
-[[Image(xount_books,800px)]]
+[[Image(count_books.png,800px)]]
 
 Резултатот покажува дека embeddings се успешно генерирани.
@@ -162 +239 @@
 }}}
 
-Овој индекс овозможува значително побрзо пребарување на најслични вектори без да се споредуваат сите книги во табелата.
+Овој индекс овозможува побрзо пребарување на најслични вектори без да се споредуваат сите книги во табелата.
 
 == Чекор 7 - Функција за препораки ==
@@ -170 +247 @@
 {{{
 recommend_books_for_member_pgvector(
-    p_member_id,
-    p_limit
+p_member_id,
+p_limit
 )
 }}}
@@ -177 +254 @@
 Функцијата работи во неколку чекори:
 
- 1. Ги наоѓа книгите што членот претходно ги има позајмено.
- 2. Го пресметува просечниот embedding профил на членот.
- 3. Ги разгледува сите останати книги.
- 4. Ги исклучува книгите што членот веќе ги има позајмено.
- 5. Ги рангира книгите според cosine similarity.
- 6. Ги враќа најдобрите N препораки.
+1. Ги наоѓа книгите што членот претходно ги има позајмено.
+2. Го пресметува просечниот embedding профил на членот.
+3. Ги разгледува сите останати книги.
+4. Ги исклучува книгите што членот веќе ги има позајмено.
+5. Ги рангира книгите според cosine similarity.
+6. Ги враќа најдобрите N препораки.
+
+Кодот на функцијата:
+
+{{{
+CREATE OR REPLACE FUNCTION recommend_books_for_member_pgvector(
+p_member_id INT,
+p_limit INT DEFAULT 10
+)
+RETURNS TABLE (
+barcode VARCHAR,
+title VARCHAR,
+similarity FLOAT
+)
+LANGUAGE SQL
+AS $$
+WITH borrowed_books AS (
+SELECT DISTINCT bc.barcode
+FROM loan_history lh
+JOIN book_copy bc ON bc.copy_id = lh.copy_id
+WHERE lh.member_user_id = p_member_id
+),
+member_profile AS (
+SELECT AVG(b.embedding) AS profile_embedding
+FROM book b
+JOIN borrowed_books bb ON bb.barcode = b.barcode
+WHERE b.embedding IS NOT NULL
+)
+SELECT
+b.barcode,
+b.title,
+1 - (b.embedding <=> mp.profile_embedding) AS similarity
+FROM book b
+CROSS JOIN member_profile mp
+WHERE b.embedding IS NOT NULL
+AND b.barcode NOT IN (SELECT barcode FROM borrowed_books)
+ORDER BY b.embedding <=> mp.profile_embedding
+LIMIT p_limit;
+$$;
+}}}
 
 Клучниот pgvector дел е:
@@ -199 +315 @@
 
 Колку вредноста е поблиску до 1, толку книгата е послична на читачкиот профил на членот.
+
 == Чекор 8 - Тестирање на препораките ==
 
@@ -210 +327 @@
 Функцијата успешно враќа листа од препорачани книги за членот, сортирани според cosine similarity.
 
-[[Image(recommend_books_for_member_pgvector.png, 800px)]]
+[[Image(recommend_books_for_member_pgvector.png,800px)]]
 
 === Recommended Books Generated by the System ===
@@ -249 +366 @@
 Ова докажува дека ниту една од препорачаните книги не се појавува во претходната историја на позајмувања на членот.
 
-[PLACEHOLDER: Screenshot од COUNT = 0]
 == Чекор 10 - Валидација на препораките ==
 
@@ -276 +392 @@
 }}}
 
-[PLACEHOLDER: Screenshot од loan history книги]
+[[Image(member_loan_history.png,800px)]]
 
 Потоа беа прикажани препорачаните книги со нивните жанрови, категории и автори.
 
-[PLACEHOLDER: Screenshot од препораки со genre/category/author]
+{{{
+SELECT
+r.barcode,
+r.title,
+r.similarity,
+string_agg(DISTINCT g.name, ', ') AS genres,
+string_agg(DISTINCT c.name, ', ') AS categories,
+string_agg(DISTINCT a.first_name || ' ' || a.last_name, ', ') AS authors
+FROM recommend_books_for_member_pgvector(10835, 10) r
+LEFT JOIN book_genre bg ON bg.barcode = r.barcode
+LEFT JOIN genre g ON g.genre_id = bg.genre_id
+LEFT JOIN category_book cb ON cb.barcode = r.barcode
+LEFT JOIN category c ON c.category_id = cb.category_id
+LEFT JOIN book_author ba ON ba.barcode = r.barcode
+LEFT JOIN author a ON a.author_id = ba.author_id
+GROUP BY r.barcode, r.title, r.similarity
+ORDER BY r.similarity DESC;
+}}}
+
+[[Image(recommendations_with_metadata.png,800px)]]
 
 === Конкретни примери ===
@@ -346 +481 @@
 Ова покажува дека препораките не се случајни, туку се базирани на семантичка сличност помеѓу книгите.
 
-== Screenshots / Proof of Work ==
-
-[[Image(vector_extension.png)]]
-
-Проверка дека pgvector екстензијата е успешно инсталирана.
-
-[[Image(embeddings_generated.png)]]
-
-Потврда дека се генерирани embeddings за 10000 книги.
-
-[[Image(recommendation_results.png)]]
-
-Резултат од функцијата recommend_books_for_member_pgvector.
-
-[[Image(validation_result.png)]]
-
-Проверка дека не се препорачуваат веќе позајмени книги.
-
-[[Image(loan_history.png)]]
-
-Пример книги од претходната историја на позајмувања.