A su regreso a Jerusalén, Ezra halló que la comunidad estaba completamente desmoralizada y que los matrimonios mixtos, con no judíos, habían alcanzado proporciones alarmantes, y convocó a un encuentro de representantes de toda la población en el cual se resolvió tener por disueltos dichos matrimonios.
Los samaritanos y otras nacionalidades se sintieron profundamente insultados por esta medida, y Ezra resolvió reconstruir los muros de Jerusalén para prevenirse de un eventual ataque. Este acto iba más allá de sus facultades y sus enemigos informaron de ello a la corte de Persia, recibiendo Ezra la orden de desistir de su propósito.
Nehemías, un judío que ocupaba una alta posición en la corte, gestionó la rescisión de dicha orden y él mismo fue designado gobernador de Judá. Arribó a Jerusalén en el año 455 a.C. y en su entusiasta fervor logró completar las fortificaciones de la ciudad en 52 días. Nehemías
Ezra y Nehemías unieron sus fuerzas y en el día de Año Nuevo, 455 a. C Ezra y Nehemías unieron sus fuerzas y en el día de Año Nuevo, 455 a.C., Ezra leyó la Torá en una reunión a la cual fue convocada toda la población. Unas tres semanas después fue proclamado un día de ayuno y los judíos se comprometieron solemnemente a vivir en absoluta conformidad con los mandamientos de la Torá.
Pocos años más tarde, Nehemías fue llamado nuevamente a la corte persa y en su ausencia la oposición tornóse otra vez activa; pero a su vuelta a Jerusalén instituyó varias medidas religiosas que provocaron el cisma definitivo entre la comunidad judía y la samaritana.
Al lado de los judíos de Babilonia que decidieron no regresar a Jerusalén, existieron otras grandes comunidades de este origen en el Medio Oriente.
En Elefantina, isla en el delta del Nilo, los judíos construyeron un templo para el servicio de Dios. Este templo, con respecto al cual la comunidad de Jerusalén adoptó una actitud ambivalente, fue destruido por sacerdotes egipcios en 411 a.C.
Por esa misma época, también la comunidad judía de Persia fue amenazada de exterminio por un decreto del que fue salvada merced a los esfuerzos de judíos influyentes en la corte. Ester La festividad de Purim y el previo Ayuno de Ester fueron instituídos para conmemorar aquel evento y, hasta el presente, se celebran cada año con la lectura en público del relato protagonizado por Ester, amén de otros festejos familiares y en la sinagoga.
En Judá el pueblo vivió en un régimen teocrático, un Estado regido por la ley de Dios. La monarquía no habría de ser restablecida hasta unos 300 años después. De los restantes 100 años de dominio persa es difícil encontrar algún testimonio escrito.