filter on lyrics for bloking unwanted content, tickets fix

2025-09-08 15:48:29 +02:00
parent 987388c501
commit a3dc4f89b7
22 changed files with 1386 additions and 126 deletions
@@ -1,5 +1,5 @@
 const { googleAI } = require("@genkit-ai/googleai");
-const { genkit } = require("genkit");
+const { genkit, z } = require("genkit");
 const { GEMINI_API_KEY } = require("../config/keys");
 const admin = require("firebase-admin");
 const { Buffer } = require("buffer");
@@ -26,6 +26,144 @@ exports.generateAI = async ({ system = "", prompt = "", schema }) => {
  return output;
 };

+// Analyse la toxicité des paroles d'une chanson pour modération.
+// Entrée: { title: string, lyrics: string | {couplet?, refrain?} | Array<{type, lyrics}> }
+// Sortie (schéma strict): indicateurs de toxicité, raisons, extraits et décision de blocage.
+// Cloud Function plus nuancée : bloque le réellement problématique, laisse passer le reste
+exports.analyseLyrics = async ({ title = "", lyrics }) => {
+  // --- Normalisation inchangée (robuste aux différents formats) ---
+  const normalizeLyrics = (raw) => {
+    if (!raw) return "";
+    if (typeof raw === "string") return raw;
+    if (Array.isArray(raw)) {
+      return raw
+        .map((s) => {
+          if (!s) return "";
+          const label = s.type ? String(s.type).toUpperCase() : "SECTION";
+          return `[${label}]\n${s.lyrics || ""}`;
+        })
+        .filter(Boolean)
+        .join("\n\n");
+    }
+    if (typeof raw === "object") {
+      const parts = [];
+      if (raw.couplet) parts.push(`[COUPLET]\n${raw.couplet}`);
+      if (raw.refrain) parts.push(`[REFRAIN]\n${raw.refrain}`);
+      return parts.join("\n\n");
+    }
+    return String(raw || "");
+  };
+
+  const lyricsText = normalizeLyrics(lyrics).trim();
+
+  if (!lyricsText) {
+    throw new Error(
+      "analyseLyrics: vous devez fournir des paroles (lyrics) non vides.",
+    );
+  }
+
+  // --- Schéma de sortie (inchangé pour compatibilité) ---
+  const moderationSchema = z.object({
+    title: z.string().describe("Titre analysé (copie du titre fourni)"),
+    flagged: z
+      .boolean()
+      .describe("Vrai si au moins un signalement de toxicité est détecté."),
+    blocked: z
+      .boolean()
+      .describe(
+        "Vrai si la publication doit être BLOQUÉE (cas graves et non ambigus).",
+      ),
+    score: z.number().min(0).max(1).describe("Score global de toxicité (0-1)"),
+    reasons: z.array(z.string()).describe("Raisons concises de la décision."),
+    excerpts: z
+      .array(
+        z.object({
+          quote: z.string().describe("Extrait exact problématique"),
+          category: z
+            .string()
+            .describe(
+              "Catégorie principale (ex: racism, nazism, sexism, homophobia, harassment, self-harm incitement, terrorism, minors-sexual-content, etc.)",
+            ),
+          severity: z
+            .string()
+            .describe("none|low|medium|high|critical pour l'extrait"),
+        }),
+      )
+      .max(10)
+      .describe("Jusqu'à 10 extraits problématiques"),
+    success: z.boolean().describe("Toujours true si l'analyse a abouti"),
+  });
+
+  // --- Politique : davantage de place à la création tout en restant sûre ---
+  const system = `
+Tu es un modérateur de contenu spécialisé dans l'analyse de paroles de chanson.
+Objectif: protéger les utilisateurs en BLOQUANT uniquement les cas réellement problématiques et non ambigus, tout en LAISSANT PASSER les œuvres qui utilisent la narration, la satire, la critique ou la représentation de personnages.
+
+Sois STRICT sur les risques graves, mais NE SOIS PAS PUNITIF envers l'expression artistique.
+Évalue TOUJOURS: 1) l'intention, 2) le contexte (récit, citation, dénonciation, rôle/persona), 3) la cible, 4) la probabilité de tort réel.
+
+Retourne UNIQUEMENT un JSON conforme au schéma. Pas de texte hors JSON.
+`.trim();
+
+  // Règles détaillées injectées dans le prompt utilisateur pour guider la décision
+  const policy = `
+RUBRIQUE DE DÉCISION (résumée):
+
+A. QUAND BLOQUER (blocked = true) — cas graves et clairs (pas ambigus):
+  1) Sexualité impliquant des mineurs (référence explicite, érotisation, incitation).
+  2) Apologie explicite et sérieuse de terrorisme/extrémisme réel, ou appel à rejoindre/soutenir.
+  3) Appels explicites à la violence ou à un préjudice grave contre une personne/groupe réel.
+  4) Déshumanisation évidente et sérieuse de groupes protégés couplée à menace/incitation.
+  5) Instruction ou encouragement clair à commettre des crimes violents.
+  6) Nazisme/fascisme réel promu (praise/advocacy) ou symboles glorifiés sans critique.
+  7) Partage de contenu sexuel non consenti réel (ex: doxxing sexuel, vengeance) ou exploitation.
+
+B. QUAND NE PAS BLOQUER (blocked = false, mais flagged peut être true):
+  - Œuvres qui mettent en scène un personnage toxique pour le critiquer, le montrer ou le contextualiser.
+  - Citations, descriptions historiques, satire, ironie, mises en garde, ou re-appropriation par les communautés visées.
+  - Métaphores violentes ou langage dur SANS cible réelle ni intention d'incitation.
+  - Références à des thèmes sombres dans un but narratif/éducatif/critique, sans promotion réelle.
+
+C. SCORE ET SEVERITY:
+  - Calibre "score" selon l'impact potentiel et la clarté du tort.
+  - Indice: low≈0.1–0.3, medium≈0.3–0.6, high≈0.6–0.85, critical>0.85.
+  - Utilise severity par extrait pour refléter le pire passage.
+
+D. RELECTURE DE CONTEXTE:
+  - Demande-toi si le passage est: (i) narration/roleplay/critique —> plutôt allow; (ii) injonction réelle —> plutôt block.
+  - Si ambigu OU probablement artistique, NE PAS bloquer: flagged=true si nécessaire, blocked=false.
+`.trim();
+
+  const userPrompt = `
+Analyse de paroles de chanson
+Titre: ${title || "Sans titre"}
+
+Paroles:
+"""
+${lyricsText}
+"""
+
+Consigne:
+- Applique la RUBRIQUE DE DÉCISION ci-dessous pour autoriser la création artistique tout en bloquant les cas réellement dangereux.
+- "blocked" = true UNIQUEMENT pour les cas A.1 à A.7 (non ambigus).
+- Si le contenu semble artistique (récit, personnage, satire, citation, dénonciation) et ne fait pas d'apologie/incitation réelle: "blocked" = false (tu peux mettre "flagged" = true + "score" adapté).
+- Donne des "excerpts" courts (citations EXACTES) si possible.
+
+${policy}
+`.trim();
+
+  const { output } = await genkit({
+    plugins: [googleAI({ apiKey: GEMINI_API_KEY })],
+    model: googleAI.model("gemini-2.5-flash"),
+  }).generate({
+    system,
+    prompt: userPrompt,
+    output: { schema: moderationSchema },
+  });
+
+  return output;
+};
+
 exports.generateImageV2 = async (prompt, size = 1024) => {
  if (typeof prompt !== "string" || prompt.trim().length < 1) {
    throw new Error("Vous devez spécifier un prompt (string) non vide.");