En 1978, Brown fue sentenciado a un día en la cárcel y multado con $ 500 por golpear y asfixiar a un amigo durante su partido de golf en Inglewood, California, evidentemente después de una discusión sobre dónde colocó su amigo su bola en el noveno green.
“Entonces, ¿tengo un problema con las mujeres? Brown agregó en la entrevista. «No. Tuve ira, y probablemente continuaré teniendo ira. Solo tengo que nunca golpear a nadie de nuevo.
Brown ha sostenido a lo largo de los años que fue victimizado por su raza o estatus de celebridad. En una entrevista con Judy Klemesrud de The New York Times en abril de 1969, en la que discutió el incidente del balcón, dijo: «La policía me perseguía porque soy libre y negro y se supone que debo ser arrogante y asumí ser soy activista y soy libre y he hablado abiertamente sobre cuestiones raciales y no predico contra los grupos militantes negros y no soy humilde.
inicios rurales
James Nathaniel Brown nació el 17 de febrero de 1936 en St. Simons Island, frente a la costa de Georgia, una zona rural donde la población negra vivía de la tierra. Cuando tenía unas pocas semanas, su padre, Swinton Brown, que tenía reputación de jugador y mujeriego, lo abandonó a él ya la madre adolescente de Jim, Theresa Brown. Cuando él tenía 2 años, ella tomó un trabajo como empleada doméstica en Great Neck, Nueva York, en Long Island, una comunidad predominantemente blanca pero políticamente liberal, dejándolo en Georgia al cuidado de una bisabuela, una abuela.-madre y una tia.
Ella mandó a buscarlo cuando tenía 8 años, y vivieron juntos por un tiempo, ella continuó trabajando como ama de llaves. Según su relato, sintió que ella estaba más interesada en sus novios que en sus necesidades; finalmente se mudó con la familia de su novia en las cercanías de Manhasset.
En Manhasset High School, se convirtió en un brillante corredor y jugador de lacrosse, y también compitió en baloncesto y béisbol y corrió en la pista.
Brown, el segundo jugador negro en la historia del fútbol de Syracuse, se convirtió en jugador de fútbol americano y lacrosse. En su último partido de fútbol de temporada regular, una victoria de 61-7 sobre Colgate, anotó seis touchdowns, anotó siete puntos extra y corrió para 197 yardas. Syracuse fue al Cotton Bowl de 1957, donde Brown anotó tres touchdowns y anotó tres carreras extra en la derrota 28-27 ante Texas Christian.

