Node.jsで10GB超のデータを処理したらOOM？StreamとBackpressureでメモリを50MBに抑えた話
先週、本番環境のログ集計バッチが突如として死にました。エラーログには馴染み深すぎるあのメッセージが刻まれていました： FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed - JavaScript heap out of memory 。このバッチ処理は、AWS Fargate（メモリ制限1GB）上で…
