Tras el asesinato de Maranzano, Luciano creó un nuevo órgano de gobierno para las familias Cosa Nostra, la Comisión. La Comisión estaba compuesta por representantes de cada una de las Cinco Familias, el Equipo de Chicago y la familia del crimen Magaddino de Buffalo, Nueva York. Luciano quería que la Comisión mediara las disputas entre las familias y evitara futuras guerras de pandillas. Aunque nominalmente un cuerpo democrático, Luciano y sus aliados controlaron realmente a la Comisión durante los años treinta. Como jefe de la nueva familia Luciano, Luciano nombró a Vito Genovese como su subalterno, o segundo al mando, y Frank Costello como su consigliere, o consejero. Con la nueva estructura en su lugar, las cinco familias de Nueva York disfrutarían de varias décadas de paz y crecimiento.
En 1935, Luciano fue acusado por el fiscal de distrito de Nueva York, Thomas Dewey. Fue acusado de ser uno de los cabecillas de "La Combinación", un importante anillo de prostitución. Durante el juicio, Luciano cometió un error táctico al tomar el puesto de testigo, donde el fiscal lo interrogó durante cinco horas sobre cómo se ganaba la vida. En 1936, Luciano fue condenado y condenado a 30 a 50 años de prisión. Muchos observadores creían que Luciano nunca se habría involucrado directamente con las prostitutas, y que el caso era fraudulento. Dada la fuerte creencia de Luciano en el secreto, habría sido significativamente fuera de carácter para él estar directamente involucrado en cualquier operación criminal, por no hablar de un anillo de prostitución. De hecho, al menos dos de los contemporáneos de Luciano negaron que estuviera involucrado. En sus memorias, la sociedad de Nueva York, la señora Polly Adler, escribió que ella habría sabido si Luciano estaba involucrado con "La Combinación". Del mismo modo, Bonnano -el último contemporáneo sobreviviente de Luciano que no estaba en prisión- negó a Luciano estuvo involucrado en el plan en su libro, Un hombre de honor.
Aunque en la cárcel, Luciano continuó dirigiendo su familia criminal. Su subalterno Genovese ahora supervisaba las actividades familiares cotidianas. En 1937, Genovese fue acusado de asesinato y huyó del país a Italia. Después de la partida de Genovese, Costello se convirtió en el nuevo jefe interino de la familia Luciano.
Durante la Segunda Guerra Mundial, agentes federales pidieron ayuda a Luciano para prevenir el sabotaje enemigo en el muelle de Nueva York y otras actividades. Luciano aceptó ayudar, pero en realidad proporcionó una ayuda insignificante a la causa aliada. Después del final de la guerra, el acuerdo con Luciano se hizo público. Para evitar más vergüenza, el gobierno acordó deportar a Luciano con la condición de que nunca regresara a los Estados Unidos. En 1946, Luciano fue sacado de prisión y deportado a Italia, para nunca volver a los Estados Unidos. Costello se convirtió en el jefe eficaz de la familia Luciano.
Durante el reinado de Frank Costello, la familia Luciano controló gran parte de las actividades de apuestas, préstamos, juegos ilegales y crimen organizado en la ciudad de Nueva York. Costello quería aumentar la participación de la familia en lucrativos esquemas financieros; Estaba menos interesado en actividades criminales de baja recaudación que se basaban en la brutalidad y la intimidación. Costello creía en la diplomacia y la disciplina, y en la diversificación de los intereses familiares. Apodado "El Primer Ministro del Inframundo", Costello controlaba gran parte de la costa de Nueva York y tenía enormes conexiones políticas. Se dijo que ningún juez estatal podría ser nombrado en ningún caso sin el consentimiento de Costello. Durante la década de 1940, Costello permitió a los asociados de Luciano Meyer Lansky y Benjamin "Bugsy" Siegel expandir el negocio familiar en el sur de California y construir el primer complejo de casino moderno en Las Vegas. Cuando Siegel no abrió el complejo a tiempo, sus accionistas de la mafia presuntamente sancionaron su asesinato.
Mientras que sirviendo como jefe de la familia de Luciano en los años 50, Costello sufrió de la depresión y de ataques de pánico. Durante este período Costello buscó la ayuda de un psiquiatra, que le aconsejó que se distanciara de viejos asociados como Genovese y pasara más tiempo con los políticos. A principios de los años cincuenta, el senador estadounidense Estes Kefauver de Tennessee comenzó a investigar el crimen organizado en Nueva York en las audiencias de Kefauver. El Comité convocó a numerosos mafiosos para que testificaran, pero se negaron a contestar preguntas en las audiencias. Los mafiosos citaron uniformemente la Quinta Enmienda de la Constitución de los Estados Unidos, una protección legal contra la autoincriminación. Sin embargo, cuando Costello fue convocado, aceptó contestar preguntas en las audiencias y no tomar la Quinta Enmienda. Como parte del acuerdo para declarar, el Comité Especial y las redes de televisión estadounidenses acordaron no difundir la cara de Costello. Durante el interrogatorio, Costello se negó nerviosamente a contestar ciertas preguntas y rodeó a otros. Cuando el Comité le preguntó a Costello: "¿Qué has hecho por tu país, señor Costello?", Él respondió: "¡Pagó mi impuesto!". Las cámaras de televisión, incapaces de mostrar el rostro de Costello, se concentraron en sus manos, y Costello se retorció nerviosamente mientras respondía a las preguntas. Costello finalmente salió de las audiencias.