Ивану III пришлось воевать не только с Литвой, но и с немецким Ливонским рыцарским орденом. Немцы непрерывно беспокоили Псков. На помощь псковичам в 1473 году Иван послал огромную рать во главе с князем Холмским, и испуганный магистр вынужден был заключить мир с псковичами. Немцы не выполняли условий мира, чинили псковичам всякие убытки, задерживали псковских купцов в своих городах и в 1480 году внезапно напали на Вышгород и Гдов. Воеводы Ивана и псковичи прогнали их и пожгли окрестности Юрьева (он же - Дерпт, Тарту). Когда московская рать ушла из Пскова, немцы снова выступили и напали на Изборск. На этот раз Иван выслал двенадцатитысячную рать, которая взяла Феллин и Тарваст и «вывела» массу пленных немцев и «всякого добра».
   В 1482 году немцы снова были вынуждены заключить перемирие на десять лет. Когда срок его стал истекать, Иван, не веря рыцарям, в 1492 году построил против Нарвы каменную крепость Ивангород.
   Видя приготовления Ивана, магистр вынужден был продлить мир еще на десять лет, но опять нарушил его. В Ревеле (Таллине) сожгли одного русского купца, причем Ивану стало известно, что ревельцы похвалялись то же сделать и с ним. Иван потребовал у магистра выдачи всего ревельского магистрата. Магистр отказал. Тогда в том же 1493 году Иван заключил союз с датским королем, который воевал со Швецией. Датский король Иоанн, враг Ганзы, потребовал от Ивана, чтобы он действовал против ганзейских немецких купцов в Новгороде, за что обещал ему большую часть Финляндии. Русские послы отправились в Копенгаген, заключили договор с Данией, а вслед за тем, в 1495 году, Иван арестовал в Новгороде ганзейских купцов и закрыл Ганзейский двор. Орден смолчал, так как был не в силах один бороться с Москвой. Когда же началась война Москвы с Польско-Литовским государством, магистр воспользовался этим, заключил союз с Александром и объявил войну Ивану.
   В бою у Изборска магистру Платтенбергу, благодаря превосходству в артиллерии, удалось разбить псковичей и московские рати Василия Шуйского и Даниила Пенко. Но русские скоро оправились от поражения, и отряды московского воеводы Оболенского под Гелмедом наголову разбили немцев и гнали их десять верст. Поражение немцев превосходило все, что было известно до этого времени. Русские били немцев, как говорит летопись, не саблями, а, как свиней, шестоперами, и били так основательно, что не осталось даже «вестоноши» (гонца), который бы рассказал магистру о поражении.
   Третий бой, у озера Смолина, когда против Шуйского и Щени двинулся сам магистр, был также неудачен для немцев. Они вынуждены были отступить. Рыцари показали, что они способны лишь на погромы, налеты и грабежи. Справиться с Иваном им было не под силу.
   В 1503 году немцы вынуждены были заключить мир. Магистр написал слезное письмо римскому папе, прося его объявить крестовый поход на Русь, но безрезультатно. Пришлось признать даже даннические отношения Ордена к Москве. Юрьев обязался платить дань Москве.