Changes between Version 3 and Version 4 of Monitoring

Timestamp:

05/18/26 10:31:18 (8 days ago)

Author:

213192

Comment:

--

Monitoring

@@ -34 +34 @@
 }}}
 
+{{{
+->  Bitmap Index Scan on idx_pv_value  (cost=0.00..1714.81 rows=156585 width=0) (actual time=6.292..6.293 rows=157128.00 loops=1)"
+Index Cond: (market_value_in_eur > 1000000)"
+Index Searches: 1"
+Buffers: shared read=138"
+->  Hash  (cost=1123.00..1123.00 rows=20000 width=12) (actual time=5.863..5.865 rows=20000.00 loops=1)"
+Buckets: 32768  Batches: 1  Memory Usage: 1120kB"
+Buffers: shared hit=923"
+->  Seq Scan on players p  (cost=0.00..1123.00 rows=20000 width=12) (actual time=0.032..3.416 rows=20000.00 loops=1)"
+Buffers: shared hit=923"
+}}}
+
 Пред оптимизацијата, прашалникот ги дава следниве резултати: 273мс време на извршување, Seq Scan, процесирани редици 131462, одстранети редици 339478, Sort Type: External Merge. Главните проблеми се тоа што има Full Sequential Scan на player_valuations и скапо филтрирање.
 
@@ -67 +79 @@
 
 Query-то прави join помеѓу transfers, players, club_games, филтрира трансфери по 2021 година, ги исклучува NULL transfer fees, сортира по transfer fee, враќа top 10,000 резултати.
+
+{{{
+->  Hash Join  (cost=1373.00..3229.21 rows=12332 width=20) (actual time=7.704..30.039 rows=4131.00 loops=2)"
+Hash Cond: (t.player_id = p.player_id)"
+Buffers: shared hit=1853 read=1094"
+->  Parallel Seq Scan on transfers t  (cost=0.00..1686.65 rows=12332 width=16) (actual time=0.312..17.129 rows=12001.50 loops=2)"
+Filter: ((transfer_fee IS NOT NULL) AND ((transfer_date)::text >= '2021-01-01'::text))"
+Rows Removed by Filter: 27822"
+Buffers: shared hit=7 read=1094"
+}}}
 
 ПРЕД ОПТИМИЗАЦИЈА прашалникот има време на извршување од 7.8с, чита 2.5 милиони редици, користи Seq Scan, Incremental Sort и Hash Join + Nested Loop. Главен проблем е што PostgreSQL прави SeqScan на transfers и players - прашалникот враќа голем дел од табелата. Потоа, ги додаваме следниве индекси:
@@ -124 +146 @@
 CREATE INDEX idx_player_valuations_player_value
 ON player_valuations(player_id, market_value_in_eur);
+}}}
+
+{{{
+->  Index Only Scan using idx_transfers_player_fee on transfers t  (cost=0.42..1686.15 rows=2782 width=4) (actual time=0.048..5.984 rows=2786.00 loops=1)"
+Index Cond: (transfer_fee > '5000000'::double precision)"
+Heap Fetches: 34"
+Index Searches: 1"
+Buffers: shared hit=23 read=251"
+->  Hash  (cost=1123.00..1123.00 rows=20000 width=12) (actual time=7.017..7.018 rows=20000.00 loops=1)"
+Buckets: 32768  Batches: 1  Memory Usage: 1120kB"
+Buffers: shared read=923"
+->  Seq Scan on players p  (cost=0.00..1123.00 rows=20000 width=12) (actual time=0.175..4.014 rows=20000.00 loops=1)"
+Buffers: shared read=923"
+->  Index Only Scan using idx_appearances_player_game on appearances a  (cost=0.43..4.67 rows=119 width=8) (actual time=0.008..0.087 rows=271.04 loops=1038)"
+Index Cond: (player_id = p.player_id)"
+Heap Fetches: 84854"
+Index Searches: 1038"
+Buffers: shared hit=88323 read=405"
 }}}
 
@@ -181 +221 @@
 }}}
 
-{| class="wikitable sortable" style="text-align:center; width:100%;"
-! Metric
-! Non-CTE Query
-! WITH CTE Query
-
-! Improvement / Observation
-Execution Time
-~3274 ms
-~1753 ms
-✅ ~46% побрзо извршување
--
-Final Rows Returned
-1038
-690
-✅ Помал финален dataset
--
-Intermediate Rows Processed
-~9.25M rows
-~15k rows
-Огромно намалување на обработени редови
--
-Join Explosion
-Многу висок
-Значително намален
- Подобар execution flow
--
-Scan Strategy
-Hash Right Join + Seq Scan
-Merge Join + Index Scan
-✅ Пооптимизиран planner strategy
--
-Seq Scan Usage
-Високо
-Намалено
-✅ Помал full table scanning
--
-Index Usage
-Делумно искористени индекси
-Значително подобро искористени индекси
-✅ Подобрен access path
--
-Temporary Files
-✅ Да
-❌ Не
-✅ Нема disk spill
--
-Disk Spill
-✅ External spill
-❌ Нема spill
-✅ Подобра memory utilization
--
-Sort Performance
-Temp read/write operations
-In-memory quicksort
-✅ Побрзо сортирање
--
-Buffers Hit
-~92k
-~947k
-⚠️ Повеќе cache processing поради index traversal
--
-Heap Fetches
-Високи
-Сè уште присутни
-⚠️ Visibility map не е целосно оптимизиран
--
-Planner Complexity
-Висока
-Подобро организирана
-✅ Cleaner execution plan
--
-Aggregation Cost
-Многу висока
-Намалена
-✅ Помал aggregation workload
--
-Overall Efficiency
-Тежок аналитички query
-Значително поефикасен query
-}
-
-
-
-
-
+Според добиените резултати, може да забележиме дека времето на извршување се намалило од 3274мс на 1753мс (46% побрзо), наместо 1038 редици добиваме 690, без CTE обработувавме 9 милиони редови додека сега само 15 илјади, немаме толкав join explosion. 
+
+{{{
+->  Bitmap Heap Scan on transfers  (cost=41.46..1213.45 rows=1701 width=4) (actual time=0.267..2.623 rows=1640.00 loops=1)"
+Recheck Cond: (transfer_fee > '10000000'::double precision)"
+Heap Blocks: exact=514"
+Buffers: shared hit=6 read=514"
+->  Bitmap Index Scan on idx_transfers_big_fees  (cost=0.00..41.04 rows=1701 width=0) (actual time=0.208..0.208 rows=1640.00 loops=1)"
+Index Cond: (transfer_fee > '10000000'::double precision)"
+Index Searches: 1"
+Buffers: shared read=6"
+}}}
+
+Може да забележиме дека CTE значително го намалуваат dataset-от, овозможува подобар planner strategy и подобро користи индекси. Најважни промени кај CTE верзијата се: рано ги филтрира потребните играчи (немаме милиони редици за обработување), го намалува бројот на редови пред JOIN операциите (со што избегнува join explosion). Сепак индексите сами по себе не се доволни да направат огромна разлика, туку најважно е како ќе го структурираме прашалникот.
+
+
+
+
+