Se unió al movimiento por los derechos civiles
Mientras estaba en la escuela, el movimiento por los derechos civiles cobraba impulso. El Tribunal Supremo había declarado que la segregación escolar era ilegal, y los afroamericanos de Montgomery, Alabama, lograron eliminar la segregación en los autobuses de la ciudad mediante un boicot que duró un año. Durante el último año de instituto de Carmichael, cuatro estudiantes afroamericanos de primer año de la North Carolina Agricultural Camp; Technical College de Greensboro, Carolina del Norte, organizaron una sentada en el mostrador de comida de Woolworth’s, que era sólo para blancos.
La acción de estos jóvenes estudiantes captó la imaginación de los afroamericanos y de algunos estudiantes blancos simpatizantes de todo Estados Unidos. Algunos jóvenes de la ciudad de Nueva York, entre ellos Carmichael, se unieron a un boicot de las tiendas Woolworth de la ciudad que fue patrocinado por la división juvenil del Congreso por la Igualdad Racial (CORE). El CORE esperaba que el boicot presionara a los propietarios de Woolworth para que eliminaran la segregación en todas las instalaciones de sus tiendas en todo el país. Carmichael viajó a Virginia y Carolina del Sur para participar en sentadas contra la discriminación y, debido a su creciente sensibilidad hacia la difícil situación de los afroamericanos en Estados Unidos, especialmente en el Sur segregado, rechazó las ofertas de asistir a universidades blancas y decidió estudiar en la Universidad Howard, históricamente negra, en Washington, D.C.
En Howard, de 1960 a 1964, Carmichael se especializó en filosofía mientras se implicaba cada vez más en el movimiento de los derechos civiles. Se unió a una organización local llamada Grupo de Acción No Violenta que estaba afiliada a una organización de derechos civiles con sede en Atlanta, el Comité Coordinador Estudiantil No Violento (SNCC, llamado «Snick»). Durante sus veranos o siempre que tenía tiempo libre, Carmichael viajaba al Sur para unirse a los «jinetes de la libertad» patrocinados por el Congreso de la Igualdad Racial, compuesto por grupos integrados que viajaban en autobuses interestatales en un intento de hacer que el gobierno federal aplicara las leyes que establecían que los autobuses interestatales y las terminales de autobuses debían ser desegregados. En las estaciones de autobuses había aseos separados para negros y blancos con carteles que decían algo así como «las blancas aquí, las mujeres de color en la parte de atrás»
Muchos blancos del sur se mostraron violentamente hostiles a los esfuerzos de estos jóvenes por forzar la desegregación, y algunos de los autobuses de los jinetes de la libertad fueron bombardeados o quemados. Los jinetes fueron a menudo golpeados y encarcelados. Un líder del CORE comentó que para los veteranos jinetes de la libertad, la cárcel no era una experiencia nueva, pero que la decidida exuberancia de los jóvenes jinetes de la libertad era un shock para los carceleros de Mississippi y otros estados del sur. En la primavera de 1961, cuando Carmichael tenía 20 años, pasó 49 días en una cárcel de Jackson, Mississippi. Un observador dijo que Carmichael fue tan rebelde durante este período que el sheriff y los guardias de la prisión se sintieron aliviados cuando fue liberado.
Después de graduarse en 1964 con una licenciatura en filosofía, Carmichael permaneció en el Sur tanto como le fue posible, haciendo sentadas, piquetes, ayudando en las campañas de registro de votantes y trabajando junto a otros líderes del SNCC. Fue especialmente activo en el condado de Lowndes, Alabama, donde ayudó a fundar el Partido de la Libertad del Condado de Lowndes, un partido político que eligió una pantera negra como símbolo para cumplir con el requisito estatal de que todos los partidos políticos debían tener un símbolo visual para ayudar a los votantes. La pantera negra era autóctona de Alabama y parecía tanto un símbolo digno para los afroamericanos empoderados como una respuesta eficaz al gallo blanco que simbolizaba el partido demócrata de Alabama. La respuesta del Sur a los trabajadores de los derechos civiles fue a menudo tan violenta que los manifestantes fueron magullados, heridos o incluso asesinados por policías, por miembros del Ku Klux Klan o por otros individuos. Ese año fueron asesinados seis trabajadores de los derechos civiles, pero esto sólo hizo que Carmichael, y otros, estuvieran más decididos que nunca a trabajar por la desegregación.