Старший сын Ольгерда от первой жены Марии Витебской, Вигунд, родился в 1325 году. Свой первый город на княженье, он получил от отца. В 1342 году Псков, ища защиту от своего сильного врага, Ливонского ордена, вступил под покровительство Ольгерда. Ольгерд посадил в Пскове своего старшего сына Вигунда, который потом крестился в Пскове и получил имя Андрей. Однако Андрей Ольгердович вернулся в Литву, получив от отца Полоцк, а в Пскове оставил своего наместника.
В 1377 году умирает великий князь литовский Ольгред, и по праву, престол в ВКЛ должен был занять Андрей Ольгердович, так как он самый старший среди своих братьев. Однако, не известно по каким причинам, Ольгерд назначил великим князем литовским своего старшего сына от второй жены Ульяны, Ягайло.
От нового великого князя к Андрею Ольгердовичу в княженье достались Полоцкое и Трубчевское княжество. Этого было мало, да и князь Андрей был не согласен с решением своего отца, так как считал, что Ольгерда либо обманули, либо подделали завещание о назначении великим князем литовским Ягайло. Его претензии были вполне обоснованы, так как Ольгерд умер в возрасте 83 лет, и доверяя своим приближённым, он мог подписать завещание, не читая его. На момент смерти Ольгерда, рядом с ним находилась его вторая жена Ульяна, которая была крайне заинтересована, что бы престол достался её сыну Ягайле.
Андрей Ольгердович не захотел уступать власть Ягайле и выступил против него с оружием, но не получив поддержки у литовских князей, вынужден был бежать в Псков, после того как, Ягайло с Кейстутом осадили Полоцк. Далее, князь Андрей едет к московскому князю Дмитрию Ивановичу, что бы получить согласие на княжение в Пскове, куда его пригласили Псоковичи. Дмитрий Иванович соглашается, а князь Андрей присягает ему на верность.
На новой службе, в 1379 году он отбивает у ВКЛ Стародуб и Трубчевск и убеждает своего брата Дмитрия Ольгердовича, перейти на службу к московскому князю. В следующем 1380 году, вместе с псковскими полками, князь Андрей Полоцкий участвует в Куликовской битве на стороне Московских войск.
Прослужив на Московского князя несколько лет, он решает вернуться на родину в Литву, где отбирает у Скиргайло Ольгердовича Полоцк, но вскоре, в 1386 году он будет схвачен Скригайло, который заключит его в польский Хенцынский замок. В заключении князь Андрей Полоцкий пробудет до своего побега в 1393 году.
Вернувшись в великое княжество литовское, князь Андрей Полоцкий поступает на службу Витовту, с которым отправляется в поход на Татаров, и в 1399 году гибнет в битве при Ворксле.