Er realisierte: Rassismus ist eine Sünde. Damit stand er in scharfem Gegensatz zur Mehrheitsgesellschaft. LaFarge verurteilte immer wieder öffentlich die Lebensumstände der afroamerikanischen Menschen und schrieb gegen den Rassismus an, seit 1926 in der Redaktion des Magazins "America" der US-Jesuiten, dem er eine bis heute andauernde progressive Richtung verpasste. 1937 veröffentlichte er sein bekanntestes Buch: "Rasse und Gerechtigkeit. Eine Untersuchung zur katholischen Lehre über das Verhältnis zwischen den Rassen". Diese Studie brachte ihm einen delikaten Auftrag ein.
Papst Pius XI. lud ihn im Sommer 1938 nach Castel Gandolfo ein, um mit ihm über Rassismus zu sprechen. LaFarges Buch sei das Beste zu dem Thema, was er je gelesen habe. Dann übertrug der Papst dem Jesuiten eine Mission: Er solle eine Enzyklika zu den Fragen entwerfen, die der Papst für die brennendsten hielt: Rassismus und Antisemitismus, wie der US-amerikanische Historiker David Kertzer in seinem Buch über Papst Pius XI. und den italienischen Faschismus schreibt. Auffällig sei, so Kertzer, dass der Papst die Abfassung eines solch wichtigen Textes am Kardinalstaatssekretär Eugenio Pacelli (bald Pius XII.) und dem Oberen des Jesuitenordens, Wladimir Ledochowski vorbei organisiert habe.
Als sich LaFarge überwältigt von der ihm anvertrauten Aufgabe mit dem Ordensgeneral besprach, stellte der ihm zwei Mitarbeiter zur Seite, den Deutschen Gustav Gundlach SJ und den Franzosen Gustave Desbuquois SJ, wie Kertzer vermutet, um den in Vatikandingen unerfahrenen LaFarge an die Leine zu legen. Ledochowski war tief geprägt vom vorkonziliaren Antijudaismus, wenn nicht sogar Antisemit.
Den ganzen Sommer über arbeitete LaFarge in Paris zusammen mit den anderen beiden Jesuiten an der Enzyklika mit dem Arbeitstitel "Humani generis unitas" - "Die Einheit des Menschengeschlechts". Sie liegt in drei Entwürfen vor, keiner jedoch wurde veröffentlicht. Gundlach schrieb später an LaFarge: "Unsere Sache jedenfalls ist einstweilen den Weg alles Irdischen gegangen, was ja wohl auch von Anfang an mehr den Ansichten und Absichten von Paternität [Ledochowski, d.Red.] entsprach."
Wann Kardinalstaatssekretär Pacelli von der Enzyklika erfuhr ist umstritten, ebenso ob Pius XI. sie noch gesehen hat. Jedenfalls nahm die angedachte Enzyklika ein ähnliches Schicksal wie weitere zahlreiche Versuche, die nationalsozialistische Weltanschauung lehramtlich zu verurteilen. Der Würzburger Kirchenhistoriker Dominik Burkard sagt, die Kurie setzte sich intensiv mit den "Häresien des 20. Jahrhunderts", insbesondere der Rassenlehre, auseinander, aber sie konnte sich nicht durchringen, diese öffentlich zu brandmarken.
Der Jesuit LaFarge kehrte schon bald in die USA zurück, wo er weiter für "America" schrieb und gegen den Rassismus anschrieb. Als in den 1950er- und 60er-Jahren die Bürgerrechtsbewegung erstarkte, war die Zeit schon fast über ihn hinweggegangen. Er war ein alter Mann, den Kampf führten jetzt die Jüngeren.
Kurz vor seinem Tod am 24. November 1963 nahm er noch an dem Marsch auf Washington teil und stand als Auszeichnung für sein lebenslanges Wirken gegen die Rassentrennung hinter Martin Luther King auf den Stufen des Lincoln Memorial, als dieser im August 1963 seine berühmte Rede "I have a dream" hielt.