Как ускорить работу конвейера потока данных в пакете служб интеграции

В ‎конвейере‏ ‎потока ‎данных ‎(data ‎flow ‎task)‏ ‎зачастую ‎участвует‏ ‎большое‏ ‎количество ‎преобразований. ‎Но‏ ‎не ‎все‏ ‎они ‎встраиваются ‎в ‎конвейер‏ ‎одинаково.

Преобразования‏ ‎бывают ‎блокирующие‏ ‎и ‎неблокирующие. Неблокирующая‏ ‎трансформация ‎обрабатывает ‎одну ‎строку ‎и‏ ‎тут‏ ‎же ‎передаёт‏ ‎её ‎дальше‏ ‎по ‎конвейеру. ‎А ‎блокирующая ‎сначала‏ ‎собирает‏ ‎все‏ ‎строки ‎и‏ ‎только ‎после‏ ‎этого ‎их‏ ‎обрабатывает,‏ ‎то ‎есть‏ ‎на ‎некоторое ‎время ‎блокирует ‎работу‏ ‎конвейера.

Посмотрите ‎внимательно‏ ‎на‏ ‎пример:

Заметили ‎неприятный ‎эффект‏ ‎блокировки? ‎Операция‏ ‎сортировки ‎втянула ‎в ‎себя‏ ‎уже‏ ‎более ‎пяти‏ ‎миллионов ‎строк,‏ ‎но ‎так ‎и ‎не ‎выпустила‏ ‎из‏ ‎себя ‎ни‏ ‎одной ‎строки.‏ ‎Остальная ‎часть ‎конвейера ‎простаивает.

И ‎только‏ ‎после‏ ‎того,‏ ‎как ‎все‏ ‎строки ‎поступили‏ ‎на ‎сортировку,‏ ‎эта‏ ‎операция ‎начинает‏ ‎отдавать ‎их ‎на ‎дальнейшую ‎обработку:

Давайте‏ ‎просто ‎поменяем‏ ‎местами‏ ‎сортировку ‎и ‎аудит‏ ‎и ‎запустим‏ ‎пакет ‎ещё ‎раз. ‎Извлечение‏ ‎строк‏ ‎только-только ‎началось,‏ ‎а ‎у‏ ‎нас ‎уже ‎одновременно ‎работают ‎четыре‏ ‎операции,‏ ‎а ‎не‏ ‎три, ‎как‏ ‎раньше:

Первый ‎вариант ‎работает ‎16 ‎минут,‏ ‎второй‏ ‎—‏ ‎11.

А ‎сам‏ ‎совет ‎звучит‏ ‎очень ‎просто.‏ ‎Старайтесь‏ ‎ставить ‎неблокирующие‏ ‎операции ‎рядом. По ‎возможности, ‎не ‎разбивайте‏ ‎параллельно ‎работающую‏ ‎цепочку‏ ‎блокирующими ‎операциями.