Поскольку proxy сервер настраивается отдельно в каждой программе, а не в самой операционной системе, перезагружать Windows не нужно.

Более того: Вы можете включать/отключать использование proxy, а также менять proxy серверы, не перезагружая браузер (однако некоторые программы может потребоваться перезагрузить, чтобы новые настройки вступили в силу).