Les grandes listes et le seuil d’affichage

Cela fait longtemps que je veux écrire à ce sujet.

Vous entendrez les spécialistes SharePoint vous dire « mais oui il est possible de mettre plus de 5000 fichiers dans une bibliothèque, il faut juste savoir comment ». Est-ce que c’est vrai qu’il suffit de bien connaître les techniques ou allons-nous en bout de ligne nous butter à des limitations?

Il est possible d’ajouter 30 000 000 fichiers ou éléments dans une bibliothèque ou liste de SharePoint 2013. Pourtant, il faut garder à l’oeil le seuil d’affichage qui est de 5000 par défaut. Dans une version locale (on premise), il pourrait être augmenté à 2 147 483 647=2^(31)-1. Cependant dans Office 365, l’administrateur n’a pas accès à le changer.

maxLVT

Voici où se trouve le seuil d’affichage: Administration centrale > Gestion des applications > Gérer les applications web > choisir l’application Web > Paramètres généraux > Limitation de ressource (Resource Throttling).

seuil-affichage-liste

seuil-affichage-admin

Ensuite, j’ai utilisé le script PowerShell suivant http://camerondwyer.wordpress.com/2013/12/11/sharepoint-powershell-how-to-create-sharepoint-test-documents-in-library-folders-for-load-performance-testing/ . Excellent pour ajouter des milliers de fichiers afin d’effectuer des tests.

Prologue – Première expérience

J’ai ajouté 10 000 fichiers dans une biblio toute simple avec l’affichage Tous les documents.

La liste fonctionne bien, je vois les fichiers. Voici le message qui apparaît dans les paramètres de la biblio:

seuil-affichage-10000

  • Si j’ouvre en mode Explorateur, j’obtiens la fenêtre avec le message « Le dossier est vide ».
  • Si j’essaie le mode Modification rapide, tout se passe bien.
  • Contenu et structure fonctionne.
  • Exporter vers Excel fonctionne bien.
  • La recherche fonctionne.

Avez-vous deviné pourquoi je n’ai pas de limitation? Ce n’est pas parce que ma limite est de 20000. Ce n’est pas parce que je suis administrateur de la ferme ou administrateur de la collection de sites. En fait, plus spécifiquement parce que je suis ‘local admin’ du serveur SharePoint. Un administrateur de collection de sites ou l’administrateur de la ferme va aussi expérimenter le seuil d’affichage plus bas (5K). Merci.

Si je me connecte en tant que Membre (collaboration) ou Propriétaire (contrôle total) avec un autre compte, voici ce que je vois à l’ouverture de la biblio:

seuil-5000

Impossible d’effectuer le rendu de cet affichage, car il dépasse le seuil d’affichage de liste (5000 éléments) appliqué par l’administrateur.

This view cannot be displayed because it exceeds the list view threshold (5000 items) enforced by the administrator.

  • Le mode Explorateur montre « Le dossier est vide ».
  • Le mode Modification rapide est désactivé.
  • Contenu et structure: Il n’y aucun élément à représenter dans cet affichage.
  • Exporter vers Excel fonctionne bien.
  • La recherche dans tout le site permet de trouver les fichiers.

Message qui apparaît en utilisant Contenu et structure:

contexte-liste-important

Note à propos du mode Explorateur: Lorsque le mode Explorateur ne fonctionne pas, il n’est pas non plus possible d’utiliser Connecter un lecteur réseau ou Ajouter un emplacement réseau. Voir https://ktnnsharepoint.wordpress.com/2014/02/17/enregistrer-telecharger-fichiers/

Chapitre 1 – Les affichages et le seuil d’affichage (colonne de type choix)

Chapitre 2 – Les colonnes indexées et le seuil d’affichage (colonne de type choix)

Chapitre 3 – Indexer une colonne de type choix et la navigation par métadonnées

Chapitre 4 – Indexer les colonnes et la navigation par métadonnées

Chapitre 5 –

Indexer une colonne de métadonnée gérée et de recherche

Seuil d’affichage avec une colonne de type personne ou groupe

Chapitre 6 – Les valeurs multiples et la navigation par métadonnées

Chapitre 7 – Les dossiers et le seuil d’affichage

Chapitre 8 – Dossiers avec une colonne indexée, la navigation par métadonnées et filtre

Chapitre 9 – Les ensembles de documents et le seuil d’affichage

Chapitre 10 – Les listes d’éléments et le seuil d’affichage

Chapitre 11 – Sauver une grande liste

Chapitre 12 – Grande liste avec organisateur de contenu et paramètres des valeurs de colonne par défaut

Chapitre 13 – Grande liste et recherche

Chapitre 14 – Seuil d’affichage et SharePoint 2016

Chapitre 15 – Filtrer et trier par les titres de colonnes

Ma présentation https://sway.com/MWSwQV9w3gQkdxN5

Deux articles incontournables en anglais:

Highlights in English https://ktnnsharepoint.wordpress.com/2016/08/02/big-lists-threshold/

Summary of some Column Types Behaviour with the List View Threshold https://ktnnsharepoint.wordpress.com/2016/10/22/column-types-list-view-threshold/

Note 1: La colonne ID est indexée par défaut.

Note 2: Dans les paramètres d’une bibliothèque ‘Gestion des fichiers sans version archivée’ est sensible au seuil d’affichage. Le message d’erreur n’est pas systématique et je ne sais pas quelles conditions sont nécessaires pour l’obtenir.

erreur-seuil

The attempted operation is prohibited because it exceeds the list view threshold enforced by the administrator.

Aussi, ce message apparaît lorsqu’on essaie de supprimer une liste de plus de 5000 fichiers ou un site avec une site qui contient plus de 5000 fichiers.

En plus, il devrait apparaitre lorsqu’on tente d’indexer une colonne une fois que le seuil est dépassé (SharePoint local).

« Étant donné que la création d’un index nécessite l’accès à tous les éléments de la liste, il vous sera peut-être impossible de créer l’index d’une colonne si l’intégralité de la liste dépasse le seuil d’affichage de liste. Le cas échéant, effectuez l’opération durant la fenêtre de délai quotidien ou contactez votre administrateur. » – Microsoft

SharePoint Online (mai 2016): Il semble que l’indexation d’une colonne au-delà du seuil d’affichage fonctionne. Même chose pour la suppression d’une biblio avec plus de 5000 fichiers.

Note 3: Il semble qu’il faut penser à vider la corbeille aussi pour ne pas dépasser le seuil d’affichage.

Curiosité: L’affichage ‘Tous les documents’ semble fonctionner même si rien n’est indexé. Voir ma vidéo sur YouTube.

Auditeurs et administrateurs: https://blogs.msdn.microsoft.com/dinaayoub/2010/04/27/programmatically-using-the-object-model-override-for-the-list-view-threshold/

http://www.c-sharpcorner.com/UploadFile/sagarp/programmatically-using-the-object-model-override-for-the-lis/

Le seuil d’affichage c’est compliqué! Votons pour que Microsoft l’élimine ou le contourne intelligemment: https://sharepoint.uservoice.com/forums/282887-customer-feedback-for-sharepoint-server/suggestions/8463457-remove-the-list-view-threshold-5000-by-default

Réf.

http://office.microsoft.com/en-us/sharepoint-server-help/manage-lists-and-libraries-with-many-items-HA102771361.aspx

https://support.office.com/fr-ca/article/G%c3%a9rer-des-listes-et-des-biblioth%c3%a8ques-comprenant-beaucoup-d%c3%a9l%c3%a9ments-1f4985e4-6d67-4e0c-a473-ea17e7058585?ui=fr-FR&rs=fr-CA&ad=CA (en Français, pas exactement le même contenu)

http://www.collabshow.com/2011/08/03/managing-large-lists-in-sharepoint-for-users-and-site-admins/

http://nickhobbs.wordpress.com/2013/06/13/sharepoint-2010-list-view-threshold-explained/

http://shareden.blogspot.sg/2012/07/experimenting-with-large-sharepoint.html

http://blogs.technet.com/b/speschka/archive/2009/10/27/working-with-large-lists-in-sharepoint-2010-list-throttling.aspx

http://office.microsoft.com/en-us/sharepoint-server-help/overview-RZ101874361.aspx?section=1

http://blogs.msdn.com/b/dinaayoub/archive/2010/08/23/2010-large-lists-documentation-white-papers-and-blog-posts.aspx

http://www.jrjlee.com/2011/02/understanding-list-query-throttling.html#!/2011/02/understanding-list-query-throttling.html

http://msdn.microsoft.com/en-us/library/ff798465.aspx

http://technet.microsoft.com/en-us/library/cc262813(v=office.14).aspx

http://blogs.technet.com/b/quentin/archive/2014/07/15/the-list-view-threshold-_2800_stop_2100_-don_1920_t-change-it_21002900_.aspx

https://samlman.wordpress.com/2015/02/28/working-with-large-lists-in-sharepoint-2010-list-throttling/

http://www.markrackley.net/2014/10/22/working-around-that-pesky-list-view-threshold-in-office-365-sharepoint-2013/

http://blogs.technet.com/b/pfemike/archive/2012/08/28/disable-sharepoint-2010-list-throttling-at-the-list-level.aspx

http://squarepoint.blogspot.ca/2013/05/creating-performant-sharepoint-apps.html#!/2013/05/creating-performant-sharepoint-apps.html

http://www.csgpro.com/post/110085

https://blogs.msdn.microsoft.com/spucelik/2017/05/22/list-item-threshold-explained/

 

Le centre des enregistrements

Lorsqu’on créé un centre des enregistrements (Record Center), il vient automatiquement avec:

Configuration d’un centre des enregistrements

Actions du site > Gérer le centre des enregistrements

Etapes-Centre-Enreg

L’étape 2 n’est vraiment pas complète. Voici ce que je rajoute:

  • Associer les types de contenu aux bibliothèques des enregistrements. NOTE: Après la création de la règle vers une bibliothèque d’enregistrements, le type de contenu s’attache à la bibliothèque de remise automatiquement.
  • Accorder les autorisations de lecture pour permettre aux visiteurs de consulter les archives.
  • Définir les paramètres de déclaration des enregistrements. Si rien n’est changé alors la suppression est interdite.
  • On peut noter qu’à l’étape 2, on n’est pas obligé de créer des bibliothèques des enregistrements uniquement. Cela pourrait être des bibliothèques ordinaires.

Voici une tentative de schématisation du mécanisme:

Schema-centre-enreg

Télécharger = Cliquer sur Envoyer un enregistrement dans le schéma ci-dessus.

Comment ce sera utilisé:

1) Un utilisateur veut remettre au centre des archives, un fichier essentiel pour l’entreprise et qui doit suivre des règles strictes de conservation.

2) L’utilisateur clique sur Envoyer un enregistrement.

3) Il choisit un type de contenu dans la liste déroulante et complète les métadonnées qui sont associées au type.

4) La règle de l’organisateur de contenu transfère le fichier dans la bonne bibliothèque selon son type de contenu et les métadonnées inscrites.

5) Le fichier devient un enregistrement (par défaut, il ne peut pas être supprimé).

6) Les utilisateurs autorisés peuvent consulter le fichier. Les gestionnaires des archives pourraient réaliser des manipulations plus complexes au besoin.

7) Une fois que le délai prescrit s’écoule, la politique de rétention s’applique sur le fichier. Par exemple: le fichier est supprimé après 10 ans.

Voir aussi Comparaison entre un centre des enregistrements et un centre de documents.

Notes:

Si la bibliothèque d’enregistrements ne possède pas le type de contenu sélectionné dans la règle de l’organisateur, voici le message d’erreur obtenu: La bibliothèque sélectionnée ne possède pas ce type de contenu.

Livres sur SharePoint 2013 en Français

Microsoft SharePoint Server 2013
Pierre-Erol Giraudy
Éditeur : Hermès – Lavoisier

Cookbook SharePoint 2013 En 80 recettes
Pierre-Erol Giraudy, Nabil Babaci, Jean-Luc Boucho
Éditeur : Dunod

Sharepoint Foundation 2013 Construire un intranet collaboratif en PME (édition enrichie de vidéos)
Patrick Carraz
Éditeur: ENI

SharePoint 2013 L’environnement de travail collaboratif
Myriam Gris
Éditeur: ENI

Mettre en place et piloter un intranet avec sharepoint:travail collaboratif, gestion documentaire et publication
Jean-françois Fustec
Éditeur: ENI