Подозреваю,что НИ в этом случае будет повторяющимся союзом, а не частицей. Или это будет что-то вроде "Когда ни приду к нему, он вечно сидит у компьютера", - но здесь уступительный союз "когда ни..."...

Verified answer

Он не пришел к императору на аудиенцию НИ когда его просили прийти, НИ когда приказывали.