Apache Spark Tuning: Killing Data Skew & Mastering Broadcast Joins
There is no pain in Data Engineering quite like watching a Spark job race to 99% completion in 5 minutes, only to hang on the final task for 4 hou…
Apache Spark性能チューニング：ジョブが99%で止まる「Data Skew」をSaltingで解決する
テラバイト級のログデータを処理する際、最も恐ろしいのは ジョブが99%の進捗で数時間停止する現象 だ。これは典型的な Sparkチューニング の問題であり、特定のパーティションにデータが集中する Data Skew（データの偏り） が原因であるケースが9割を占める。本稿では、プロダク…
Python Asyncio Hangs: Detecting Blocking Calls & 'Event Loop is Closed' Errors
It started with a silent failure. Our microservice, handling roughly 800 requests per second (RPS), didn't crash; it just stopped responding. T…
Python Asyncio Congelado: Cómo detecté y corregí el Bloqueo del Event Loop en Producción
Todo comenzó un viernes por la tarde, justo cuando el tráfico en nuestro microservicio de procesamiento de imágenes aumentó a 5,000 RPM. El dashboa…