Недолго молодой царь Иван Васильевич ладил со своей избранной радой и сносил терпеливо наложенную на него опеку и ограничения. Уже в 1553 году произошли у него крупные неприятности с его советниками. В начале этого года, вернувшись из казанского похода, царь, опасно занемог и был при смерти. Возник вопрос о преемнике на случай смерти царя. Иван Васильевич потребовал, чтобы двоюродный брат его, князь Владимир Андреевич Старицкий и бояре присягнули его сыну Димитрию, младенцу. Владимир уклонился от присяги, потому что сам возымел намерение сесть на московский престол по смерти царя. Бояре, хотя и присягнули, но и то только после великих пререканий, шума и брани. Царю было поставлено на вид, подчеркнуто, что целуют крест именно его сыну, а не Захарьиным. Некоторые же бояре отказались совсем присягать царевичу Димитрию. Любимые советники Ивана, его избранная рада, во время этой истории заметно были в рядах оппозиции, на стороне князя Владимира Андреевича. Очевидно, избранная рада боялась повторения того, что творилось в малолетство Грозного, и потому в государственных интересах не прочь была устранить кандидатуру младенца и предпочесть ему взрослого — князя Владимира Андреевича. Но царь отнесся к этому как к вероломству и непостоянству своих избранных советников и затаил после того чувство обиды и мести по отношению к ним. Это чувство стали раздувать родственники царя Захарьины, оскорбленные враждой и недоверием к ним бояр, проявившимися в 1553 году. С другой стороны, и сама избранная рада, по-видимому, стала злоупотреблять своим значением и во всяком случае не проявляла должного такта в отношении к царю. Иван жаловался в послании к Курбскому: «Подружился он (Сильвестр) с Адашевым, и начали советоваться тайком от нас, считая нас слабоумными; мало-помалу начали они всех вас, бояр, в свою волю приводить, снимая с нас власть, частью ровняя вас с нами, а молодых детей боярских приравнивая к вам; начали причитать вас, князей, к вотчинам, городам и селам, которые по уложению деда нашего отобраны у вас; они это уложение разрушили, чем многих к себе привязали. Единомышленника своего князя Димитрия Курлятева ввели к нам в синклитию и начали злой совет свой утверждать: ни одной волости не оставили, где бы угодников своих ни посадили; втроем с Курлятевым начали решать и местнические дела, не докладывали нам ни о каких делах, как будто бы нас и не было. Наши мнения и разумные они отвергали, а их советы и дурные были хороши. Так было во внешних делах. Во внутренних же мне не было ни в чем воли: сколько спать, как одеваться — все было ими определено... Потом вошло в обычай: я не смей слова сказать ни одному из самых последних его советников; а советники его могли говорить мне, что им было угодно, обращались со мной не как с владыкой или даже с братом, но как с низшим; попробую прекословить — и вот мне кричать, что и душа-то моя погибает, и царство-то разорится. Началась война с Ливонией; Сильвестр с вами, своими советниками, жестоко на нас за нее восставал; заболею ли я или царица, или дети — все это по вашим словам, было наказание Божие за наше непослушание к вам». Но в особенную вину ставит царь своим советникам то, что они хотели воцарить князя Владимира, а царевича Димитрия погубить, воздвигли ненависть на царицу Анастасию, уподобляя ее всем нечестивым царицам. Когда началась Ливонская война, неудовольствие царя на избранную раду достигло наивысшего напряжения и разрешилось ее разгромом. Адашев был удален от двора и послан воеводой в Ливо-нию; разосланы были из Москвы и его сотоварищи. Сильвестр добровольно ушел в монахи в Кирилло-Белозерский монастырь.