subprocessのwait使用時にデッドロックを回避する方法

実行環境

以下のコードはOpenCVを使用してビデオファイル (input.mp4) からフレームを読み込み、それらをFFmpegを介してH.264形式で圧縮して別のファイル (output.mp4) に保存する処理を行っています。

私のWindows環境でこの処理を実行するとデッドロックによって固まってしまいました。

from subprocess import DEVNULL, PIPE, Popen

import cv2

ffmpeg_path = "ffmpeg/ffmpeg.exe"

cap = cv2.VideoCapture('input.mp4')
fps = cap.get(cv2.CAP_PROP_FPS)
frame_width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
frame_height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))

ffmpeg = Popen([
    ffmpeg_path,
    '-y',
    '-f', 'rawvideo',
    '-vcodec', 'rawvideo',
    '-pix_fmt', 'bgr24',
    '-s', f"{frame_width}x{frame_height}",
    '-r', str(fps),
    '-i', '-',
    '-an',
    '-c:v', 'h264',
    '-b:v', '1000k',
    f'output.mp4'
], stdin=PIPE, stdout=DEVNULL, stderr=PIPE)

cap_total_frame = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
for i in range(cap_total_frame):

    ret, frame = cap.read()
    if frame is not None:
        try:
            ffmpeg.stdin.write(frame.tobytes())
        except BrokenPipeError:
            # FFmpegプロセスからのエラーメッセージを取得
            ffmpeg_error = ffmpeg.stderr.read().decode('utf-8')
            print("FFmpeg Error:\n", ffmpeg_error)
            raise

ffmpeg.stdin.close()
ffmpeg.wait()
cap.release()

上記のコードの問題の箇所は、stderrをPIPEに設定してエラーメッセージをキャプチャしている部分です。Pythonのsubprocessモジュールのドキュメントには、waitメソッドの説明の中で以下のような記述があります。

stdout=PIPEやstderr=PIPEを使用しており、子プロセスがOSのパイプバッファーをブロックするほど多くのデータを出力した場合、デッドロックが発生することがあります。これを避けるためには、Popen.communicate()を使用してください。

エラーメッセージが不要な場合は、stderr=PIPEをstderr=DEVNULLに変更することで、このデッドロックの問題を回避し、waitメソッドを使用してプロセスを適切に終了させることができます。

例えば、stderrの読み取りを行うスレッドを立てることでバッファーを満杯にせずデッドロックも発生させないでプロセスを終了させることができます。ここではprintで出力していますが、ログに残すこともできます。

import threading
from subprocess import DEVNULL, PIPE, Popen

import cv2


# stderrの読み取りを行う関数
def read_stderr(process):
    for line in iter(process.stderr.readline, b''):
        print("FFmpeg message:\n", line.decode('utf-8'))


ffmpeg_path = "ffmpeg/ffmpeg.exe"

cap = cv2.VideoCapture('input.mp4')
fps = cap.get(cv2.CAP_PROP_FPS)
frame_width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
frame_height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))

ffmpeg = Popen([
    ffmpeg_path,
    '-y',
    '-f', 'rawvideo',
    '-vcodec', 'rawvideo',
    '-pix_fmt', 'bgr24',
    '-s', f"{frame_width}x{frame_height}",
    '-r', str(fps),
    '-i', '-',
    '-an',
    '-c:v', 'h264',
    '-b:v', '1000k',
    f'output.mp4'
], stdin=PIPE, stdout=DEVNULL, stderr=PIPE)

# stderr読み取り用のスレッドを起動
stderr_thread = threading.Thread(target=read_stderr, args=(ffmpeg,))
stderr_thread.start()

cap_total_frame = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
for i in range(cap_total_frame):

    ret, frame = cap.read()
    if frame is not None:
        try:
            ffmpeg.stdin.write(frame.tobytes())
        except BrokenPipeError:
            # FFmpegプロセスからのエラーメッセージを取得
            ffmpeg_error = ffmpeg.stderr.read().decode('utf-8')
            print("FFmpeg Error:\n", ffmpeg_error)
            raise

ffmpeg.stdin.close()
ffmpeg.wait()
stderr_thread.join()  # スレッドの終了を待つ
cap.release()

Pythonのsubprocessモジュールを使用して外部プロセスを扱う際、特にFFmpegのようなリソースを多く使用するプロセスを管理する場合、プロセスの終了を適切に管理することが重要です。stderr=PIPEの設定がデッドロックを引き起こす可能性があるため、エラーメッセージが不要な場合にはstderr=DEVNULLに設定することで、プロセスの終了を安全に、かつ効率的に行うことができます。この方法により、システムのパフォーマンスを維持しつつ、リソースの無駄遣いを防ぐことが可能となります。