При посредстве императора Максимилиана I мирные переговоры начались ещё в 1517 г. Представителем императора был барон Герберштейн, оставивший записки о Московском государстве — лучшее из иностранных сочинений о России. При всём дипломатическом искусстве Герберштейна переговоры были вскоре прерваны, ибо Сигизмунд требовал возвращения Смоленска; а Василий со своей стороны настаивал, чтобы не только Смоленск остался за Россией, но чтобы возвращены были России Киев, Витебск, Полоцк и другие города, принадлежавшие князьям от племени св. Владимира. При таких притязаниях противников только в 1522 г. заключено было перемирие. Смоленск остался за Москвою. Перемирие это подтверждено в 1526 г. при посредстве того же Герберштейна, вторично приехавшего в Москву послом от Карла V.

В продолжение войны с Литвой Василий покончил с последними уделами: Рязанью и Северскими княжествами. Рязанский князь Иван, говорили в Москве, задумал возвратить самостоятельность своему княжеству при помощи крымского хана Махмет-Гирея, на дочери которого он намерен был жениться. Василий позвал князя Ивана в Москву, где засадил под стражу, а мать его, Агриппину, заключил в монастырь. Рязань была присоединена к Москве; рязанцев же целыми толпами переселили в московские волости. В Северской земле было два князя: Василий Иванович, внук Шемяки, князь новгород-северский, и Василий Семёнович, князь стародубский, внук Ивана Можайского. Оба эти князя постоянно доносили друг на друга; Василий допустил Шемячича изгнать стародубского князя из его владения, которое присоединено было к Москве, а через несколько лет заключил и Шемячича под стражу, удел же его в 1523 г также присоединён был к Москве. Ещё ранее присоединён был Волоцкий удел, где последний князь, Фёдор Борисович, умер бездетным.

Во время борьбы с Литвой Василий просил помощи у Альбрехта, курфюрста бранденбургского, и у великого магистра немецкого ордена. Сигизмунд, в свою очередь, искал союза с Махмет-Гиреем, ханом крымским. Гирей, преемники знаменитого Менгли-Гирея, союзника Иоанна III, стремились соединить все татарские царства под властью их рода; поэтому крымский хан Махмет-Гирей становился естественным союзником Литвы.