З початком руху проти правих журнал «Зірка» був оголошений антипартійних виданням, а вірш «Трави і дерева» найбільш отруйним з «великих отруйних бур'янів». У 1957 році під час компанії боротьби з правими Мао Цзедун особисто сказав про вірш «Трави і дерева», що «скориставшись гаслом «нехай розцвітають сто квітів», тут займаються тим, що розкидають дохлих пацюків». Наївний Лю Шахе думав, що це було просто непорозуміння, відправився перечекати бурю в Сіані. Незабаром йому було наказано повернутися назад у Ченду для критики та засудження, а потім на нього навісили ярлик «великого правого негідника», залишили працювати під наглядом адміністрації, він став «негативним прикладом для виховання».

Коли він ховався від проблем в Сіані, там виступала трупа сичуаньської опери з Ченду. Одного разу група молодих актрис сичуаньської опери була на прогулянці в горах Лішань, раптом хтось вигукнув: «Подивіться, той ходячий череп - це ж Лю Шахе!» Одна з дівчат подивилася на нього, вона не могла собі навіть уявити, що «оскаженілий нападник на партію, правий негідник Лю Шахе», виявляється цей бідний молодий чоловік! У неї зародилося співчуття до Лю Шахе. Пізніше зі слів одного старого письменника дізнавшись, яка людина цей Лю Шахе, як несправедливо він був ображений, вона зблизилася з ним. Актрису звали Хе Цзє (何洁), пізніше вона стала дружиною поета.

З початком «культурної революції» в газетах розгорнулася критика, Лю Шахе під конвоєм був відправлений у рідне містечко Ченсян для трудового перевиховання. Займався тим, що розпилював колоди на дошки. Три місяці по тому Хе Цзє несподівано з'явилася перед ним. Вона співчувала йому, вона покохала його. У той час розлучення з «правим» вважався «вдалим шансом», але вона залишила роботу, з Ченду приїхала в це повітове містечко. Вона навіть не уявляла собі, яких поневірянь зазнає, ставши дружиною Лю Шахе, але твердо вирішила бути разом з ним.