Photo de Nathana Rebouças sur Unsplash

Photo de Collabstr sur Unsplash

TikTok manipule les ados et les met en danger : la plate-forme poursuivie aux États-Unis, l’Europe interdit son application « Lite Rewards »

Nathalie Devillier, Auteurs historiques The Conversation France

TikTok peut avoir un impact sur la santé mentale des adolescents, avec des risques de suicide. L’entreprise est poursuivie par la justice américaine pour son application TikTok Lite Rewards. Les poursuites ont révélé que les effets néfastes sur la santé mentale, renforcés par l’algorithme, étaient connus de l’entreprise. La législation européenne a interdit cette application.

---

TikTok Lite Rewards est un programme de récompenses intégré à TikTok Lite, la version allégée de TikTok. L’utilisateur gagne des points en regardant des vidéos, en invitant des amis, en suivant des créateurs ou même simplement en ouvrant l’application chaque jour. Il existe aussi des campagnes pour des événements spécifiques. Ces récompenses peuvent ensuite être échangées contre des cadeaux ou de l’argent.

Des documents internes de TikTok produits à l’occasion d’un litige aux États-Unis prouvent que les dirigeants avaient connaissance des effets de l’application sur les adolescents : ils peuvent devenir accros à TikTok après avoir visionné seulement 260 vidéos, soit en à peine 35 minutes !

Les effets sur la santé mentale résultent des gains et likes, sources de satisfaction instantanées qui encouragent une recherche constante d’approbation en ligne. Ce modèle économique crée de l’anxiété, des complexes d’infériorité et une perception faussée de la réalité chez les jeunes.

L’algorithme amplifie cet effet en poussant les profils correspondants à des normes de beauté étroites et dévalorisant ceux jugés « non attrayants ». Ceux-ci appliquent les filtres de beauté de l’application alors que TikTok reconnaît qu’ils sont toxiques et nuisent à l’image corporelle des jeunes.

L’entreprise savait que son algorithme pouvait rapidement pousser les utilisateurs, notamment les adolescents, vers des contenus négatifs liés à la dépression ou au suicide. La modération algorithmique défectueuse a exposé les jeunes à des vidéos dangereuses (automutilation) accumulant des dizaines de milliers de vues avant leur suppression.

Parce que l’entreprise en était consciente et n’a pas protégé les utilisateurs, plus d’une douzaine d’États américains et le District de Columbia la poursuivent alléguant que l’application nuit à la santé mentale des enfants avec un produit conçu pour être utilisé de manière compulsive et excessive : c’est l’effet addictif qui est la faute commise par l’entreprise.

L’impact sociétal des programmes de récompenses sur les réseaux sociaux

Plusieurs dimensions de notre société sont en cause : protection des données, impact sur les jeunes, éthique et surconsommation numérique.

La chasse aux données personnelles est un enjeu bien connu des applications de jeu. Des programmes comme TikTok Rewards Lite collectent des données personnelles pour personnaliser les récompenses et le contenu proposé. Cela soulève la question de la protection de la vie privée et de la sécurité des informations, d’autant que les mineurs ne sont pas toujours conscients des implications de tels partages. TikTok a d’ailleurs tardé à supprimer les comptes des jeunes de moins de 13 ans.

En échange de récompenses, les utilisateurs fournissent des informations sur leurs comportements en ligne. Cette surveillance se normalise ainsi dans les pratiques courantes, ce qui peut impacter la façon dont les jeunes perçoivent la confidentialité et leurs droits en ligne. Cela peut les amener à accepter des niveaux de surveillance qu’ils n’auraient peut-être pas tolérés dans d’autres contextes.

Les récompenses incitent les utilisateurs à passer davantage de temps sur l’application, une stratégie qui crée dépendance numérique et hyperconnexion, surtout chez les jeunes plus vulnérables face aux mécanismes de récompense instantanée (l’âge a un effet négatif sur le comportement habituel ou addictif sur smartphone). Or, les outils de gestion du temps mis en place par TikTok, censés réduire l’utilisation, n’ont eu qu’un effet minime, réduisant l’usage quotidien de seulement 1 minute 30.

TikTok Rewards Lite utilise des techniques de « gamification » pour maximiser l’engagement des utilisateurs, ce qui provoque des comportements répétitifs et exploite des mécanismes psychologiques, comme la gratification différée, pour fidéliser les utilisateurs. Ces pratiques sont parfois considérées comme manipulatrices car elles incitent les utilisateurs à consommer du contenu de manière continue, sans qu’ils soient toujours conscients de cette influence.

Les utilisateurs sont exposés à des messages promotionnels les incitant à dépenser de l’argent de manière impulsive pour obtenir des avantages exclusifs. La gamification du payement par mobile crée un impact social et économique pour les clients et les fournisseurs de ces applications.

Les impacts à long terme sur les habitudes numériques et la perception des valeurs sociales par les jeunes résultant de ces programmes sont encore incertains, mais il est clair qu’ils exigent une réflexion critique de la part des utilisateurs et des législateurs.

L’Europe en action : des espaces virtuels plus sûrs pour les enfants face aux géants du numérique

En août dernier, la Commission européenne a fait fermer le service TikTok Lite Rewards afin de garantir le respect de la législation sur les services numériques (Digital Services Act – DSA), notamment l’exigence d’une évaluation des risques avant la mise en service d’une application.

La décision publiée le 4 octobre, concerne l’incapacité de TikTok à identifier, analyser et évaluer les risques systémiques et à prendre des mesures d’atténuation raisonnables, proportionnées et efficaces. TikTok s’est ensuite engagé à retirer TikTok Lite Rewards en Espagne et en France et à ne pas (ré)introduire un programme similaire dans l’UE.

Le règlement européen sur l’Intelligence Artificielle (IA) (RIA) encadre d'avantage certains aspects de ce type de programme en interdisant les pratiques de manipulation des comportements. Cela concerne tout système d’IA qui exploite les vulnérabilités d’une personne ou d’un groupe de personnes. Cela pourrait inclure des limites dans l’usage de la gamification ou des notifications addictives pour encourager l’engagement. La sanction encourue est de 35 millions d’euros ou 7 % du chiffre d’affaires global.

Le RIA exige aussi que les systèmes IA soient transparents : si les récompenses TikTok sont basées sur des algorithmes prédictifs ou des recommandations personnalisées, l’entreprise devrait divulguer comment ces récompenses sont calculées, offrant ainsi une plus grande transparence aux utilisateurs. La transparence des algorithmes est essentielle pour comprendre et interpréter les décisions ou choix des modèles d’IA : elle permet aux utilisateurs de connaître les mécanismes de recommandation, réduisant ainsi le potentiel de manipulation.

Les acteurs du numérique doivent respecter l’état de droit et les droits de l’homme, notamment en vertu de principes de non-discrimination et d’égalité. Les législations sur l’IA visent à protéger les jeunes publics qui sont des personnes vulnérables, notamment en évitant l’exploitation des biais cognitifs, en particulier ceux qui influencent les comportements des jeunes. Cela pourrait inclure des limitations dans l’intensité des notifications, des rappels pour limiter l’utilisation prolongée, et l’obligation d’offrir des paramètres de sécurité adaptés aux mineurs.

Les législations européennes sont généralement en avance sur la protection des données et des droits numériques, mais leur application est un défi surtout face aux entreprises mondiales. De plus, les lois sur l’IA en Europe n’empêcheront pas les entreprises étrangères de continuer ces pratiques en dehors de l’Europe.

Ce modèle d’application qui active le système de récompense cérébral est aussi mis en œuvre par d’autres applications ou jeux comme Candy Crush, Pokemon Go, Coin Master, Cash of Clans, Zynga Poker ou encore Duolingo.

Nathalie Devillier, Docteur en droit international, Auteurs historiques The Conversation France

Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.