В общем методом проб и ошибок подобрал правильное условие, может кому понадобится.
IF(lay_matched>0, ((back_matched*bm_backavp/r_ticks(back_price, N)-back_matched)+back_matched-lay_matched+(lay_matched-lay_matched*((lay_matched*bm_layavp-lay_matched)/IF(lay_matched>0,lay_matched,1)+1)/r_ticks(back_price, N))), back_matched*bm_backavp/r_ticks(back_price, N))
Условие показывает размер ставки, по нужному вам кф, где где 1я ставка была Back. Проблема заключалась в том, что если Lay ставками вообще ничего не сматчено, выдавало ошибку в условии (lay_matched*bm_layavp-lay_matched)/lay_matched т.е. 0/0 , пришлось присвоить единицу, что бы ошибку не выдавало, т.е. получилось 0/1 при условии что нет Lay сматченых.