mirror of
https://gitlab.gnome.org/GNOME/glib.git
synced 2025-07-10 20:48:54 +02:00
Read readdir() info chunks (of 1000) and sort the chunks by inode before
2008-03-31 Alexander Larsson <alexl@redhat.com> * glocalfileenumerator.c: Read readdir() info chunks (of 1000) and sort the chunks by inode before stat:ing. This is a 20% performance increase in testing gvfs-ls on /usr/bin with cold cache. svn path=/trunk/; revision=6796
This commit is contained in:
committed by
Alexander Larsson
parent
d8fa7b34d2
commit
f90af78bd6
@ -1,3 +1,11 @@
|
|||||||
|
2008-03-31 Alexander Larsson <alexl@redhat.com>
|
||||||
|
|
||||||
|
* glocalfileenumerator.c:
|
||||||
|
Read readdir() info chunks (of 1000) and sort
|
||||||
|
the chunks by inode before stat:ing.
|
||||||
|
This is a 20% performance increase in testing
|
||||||
|
gvfs-ls on /usr/bin with cold cache.
|
||||||
|
|
||||||
2008-03-31 Alexander Larsson <alexl@redhat.com>
|
2008-03-31 Alexander Larsson <alexl@redhat.com>
|
||||||
|
|
||||||
* gmemoryoutputstream.c:
|
* gmemoryoutputstream.c:
|
||||||
|
@ -25,23 +25,42 @@
|
|||||||
#include <glib.h>
|
#include <glib.h>
|
||||||
#include <glocalfileenumerator.h>
|
#include <glocalfileenumerator.h>
|
||||||
#include <glocalfileinfo.h>
|
#include <glocalfileinfo.h>
|
||||||
|
#include <string.h>
|
||||||
|
#include <stdlib.h>
|
||||||
#include "glibintl.h"
|
#include "glibintl.h"
|
||||||
|
|
||||||
#include "gioalias.h"
|
#include "gioalias.h"
|
||||||
|
|
||||||
|
#define CHUNK_SIZE 1000
|
||||||
|
|
||||||
/* TODO:
|
/* TODO:
|
||||||
* It would be nice to use the dirent->d_type to check file type without
|
* It would be nice to use the dirent->d_type to check file type without
|
||||||
* needing to stat each files on linux and other systems that support it.
|
* needing to stat each files on linux and other systems that support it.
|
||||||
* (question: does that following symlink or not?)
|
* (question: does that following symlink or not?)
|
||||||
*/
|
*/
|
||||||
|
|
||||||
|
#ifdef G_OS_WIN32
|
||||||
|
#define USE_GDIR
|
||||||
|
#endif
|
||||||
|
|
||||||
|
#ifndef USE_GDIR
|
||||||
|
|
||||||
|
#include <sys/types.h>
|
||||||
|
#include <dirent.h>
|
||||||
|
#include <errno.h>
|
||||||
|
|
||||||
|
typedef struct {
|
||||||
|
char *name;
|
||||||
|
long inode;
|
||||||
|
} DirEntry;
|
||||||
|
|
||||||
|
#endif
|
||||||
|
|
||||||
struct _GLocalFileEnumerator
|
struct _GLocalFileEnumerator
|
||||||
{
|
{
|
||||||
GFileEnumerator parent;
|
GFileEnumerator parent;
|
||||||
|
|
||||||
GFileAttributeMatcher *matcher;
|
GFileAttributeMatcher *matcher;
|
||||||
GDir *dir;
|
|
||||||
char *filename;
|
char *filename;
|
||||||
char *attributes;
|
char *attributes;
|
||||||
GFileQueryInfoFlags flags;
|
GFileQueryInfoFlags flags;
|
||||||
@ -49,6 +68,15 @@ struct _GLocalFileEnumerator
|
|||||||
gboolean got_parent_info;
|
gboolean got_parent_info;
|
||||||
GLocalParentFileInfo parent_info;
|
GLocalParentFileInfo parent_info;
|
||||||
|
|
||||||
|
#ifdef USE_GDIR
|
||||||
|
GDir *dir;
|
||||||
|
#else
|
||||||
|
DIR *dir;
|
||||||
|
DirEntry *entries;
|
||||||
|
int entries_pos;
|
||||||
|
gboolean at_end;
|
||||||
|
#endif
|
||||||
|
|
||||||
gboolean follow_symlinks;
|
gboolean follow_symlinks;
|
||||||
};
|
};
|
||||||
|
|
||||||
@ -63,6 +91,22 @@ static gboolean g_local_file_enumerator_close (GFileEnumerator *enumerato
|
|||||||
GError **error);
|
GError **error);
|
||||||
|
|
||||||
|
|
||||||
|
static void
|
||||||
|
free_entries (GLocalFileEnumerator *local)
|
||||||
|
{
|
||||||
|
#ifndef USE_GDIR
|
||||||
|
int i;
|
||||||
|
|
||||||
|
if (local->entries != NULL)
|
||||||
|
{
|
||||||
|
for (i = 0; local->entries[i].name != NULL; i++)
|
||||||
|
g_free (local->entries[i].name);
|
||||||
|
|
||||||
|
g_free (local->entries);
|
||||||
|
}
|
||||||
|
#endif
|
||||||
|
}
|
||||||
|
|
||||||
static void
|
static void
|
||||||
g_local_file_enumerator_finalize (GObject *object)
|
g_local_file_enumerator_finalize (GObject *object)
|
||||||
{
|
{
|
||||||
@ -74,10 +118,16 @@ g_local_file_enumerator_finalize (GObject *object)
|
|||||||
g_file_attribute_matcher_unref (local->matcher);
|
g_file_attribute_matcher_unref (local->matcher);
|
||||||
if (local->dir)
|
if (local->dir)
|
||||||
{
|
{
|
||||||
|
#ifdef USE_GDIR
|
||||||
g_dir_close (local->dir);
|
g_dir_close (local->dir);
|
||||||
|
#else
|
||||||
|
closedir (local->dir);
|
||||||
|
#endif
|
||||||
local->dir = NULL;
|
local->dir = NULL;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
free_entries (local);
|
||||||
|
|
||||||
if (G_OBJECT_CLASS (g_local_file_enumerator_parent_class)->finalize)
|
if (G_OBJECT_CLASS (g_local_file_enumerator_parent_class)->finalize)
|
||||||
(*G_OBJECT_CLASS (g_local_file_enumerator_parent_class)->finalize) (object);
|
(*G_OBJECT_CLASS (g_local_file_enumerator_parent_class)->finalize) (object);
|
||||||
}
|
}
|
||||||
@ -100,6 +150,7 @@ g_local_file_enumerator_init (GLocalFileEnumerator *local)
|
|||||||
{
|
{
|
||||||
}
|
}
|
||||||
|
|
||||||
|
#ifdef USE_GDIR
|
||||||
static void
|
static void
|
||||||
convert_file_to_io_error (GError **error,
|
convert_file_to_io_error (GError **error,
|
||||||
GError *file_error)
|
GError *file_error)
|
||||||
@ -133,6 +184,7 @@ convert_file_to_io_error (GError **error,
|
|||||||
new_code,
|
new_code,
|
||||||
"%s", file_error->message);
|
"%s", file_error->message);
|
||||||
}
|
}
|
||||||
|
#endif
|
||||||
|
|
||||||
GFileEnumerator *
|
GFileEnumerator *
|
||||||
_g_local_file_enumerator_new (const char *filename,
|
_g_local_file_enumerator_new (const char *filename,
|
||||||
@ -142,8 +194,10 @@ _g_local_file_enumerator_new (const char *filename,
|
|||||||
GError **error)
|
GError **error)
|
||||||
{
|
{
|
||||||
GLocalFileEnumerator *local;
|
GLocalFileEnumerator *local;
|
||||||
GDir *dir;
|
|
||||||
|
#ifdef USE_GDIR
|
||||||
GError *dir_error;
|
GError *dir_error;
|
||||||
|
GDir *dir;
|
||||||
|
|
||||||
dir_error = NULL;
|
dir_error = NULL;
|
||||||
dir = g_dir_open (filename, 0, error != NULL ? &dir_error : NULL);
|
dir = g_dir_open (filename, 0, error != NULL ? &dir_error : NULL);
|
||||||
@ -156,6 +210,22 @@ _g_local_file_enumerator_new (const char *filename,
|
|||||||
}
|
}
|
||||||
return NULL;
|
return NULL;
|
||||||
}
|
}
|
||||||
|
#else
|
||||||
|
DIR *dir;
|
||||||
|
int errsv;
|
||||||
|
|
||||||
|
dir = opendir (filename);
|
||||||
|
if (dir == NULL)
|
||||||
|
{
|
||||||
|
errsv = errno;
|
||||||
|
|
||||||
|
g_set_error (error, G_IO_ERROR,
|
||||||
|
g_io_error_from_errno (errsv),
|
||||||
|
"%s", g_strerror (errsv));
|
||||||
|
return NULL;
|
||||||
|
}
|
||||||
|
|
||||||
|
#endif
|
||||||
|
|
||||||
local = g_object_new (G_TYPE_LOCAL_FILE_ENUMERATOR, NULL);
|
local = g_object_new (G_TYPE_LOCAL_FILE_ENUMERATOR, NULL);
|
||||||
|
|
||||||
@ -167,6 +237,70 @@ _g_local_file_enumerator_new (const char *filename,
|
|||||||
return G_FILE_ENUMERATOR (local);
|
return G_FILE_ENUMERATOR (local);
|
||||||
}
|
}
|
||||||
|
|
||||||
|
#ifndef USE_GDIR
|
||||||
|
static int
|
||||||
|
sort_by_inode (const void *_a, const void *_b)
|
||||||
|
{
|
||||||
|
const DirEntry *a, *b;
|
||||||
|
|
||||||
|
a = _a;
|
||||||
|
b = _b;
|
||||||
|
return a->inode - b->inode;
|
||||||
|
}
|
||||||
|
|
||||||
|
static const char *
|
||||||
|
next_file_helper (GLocalFileEnumerator *local)
|
||||||
|
{
|
||||||
|
struct dirent *entry;
|
||||||
|
const char *filename;
|
||||||
|
int i;
|
||||||
|
|
||||||
|
if (local->at_end)
|
||||||
|
return NULL;
|
||||||
|
|
||||||
|
if (local->entries == NULL ||
|
||||||
|
(local->entries[local->entries_pos].name == NULL))
|
||||||
|
{
|
||||||
|
if (local->entries == NULL)
|
||||||
|
local->entries = g_new (DirEntry, CHUNK_SIZE + 1);
|
||||||
|
else
|
||||||
|
{
|
||||||
|
/* Restart by clearing old names */
|
||||||
|
for (i = 0; local->entries[i].name != NULL; i++)
|
||||||
|
g_free (local->entries[i].name);
|
||||||
|
}
|
||||||
|
|
||||||
|
for (i = 0; i < CHUNK_SIZE; i++)
|
||||||
|
{
|
||||||
|
entry = readdir (local->dir);
|
||||||
|
while (entry
|
||||||
|
&& (0 == strcmp (entry->d_name, ".") ||
|
||||||
|
0 == strcmp (entry->d_name, "..")))
|
||||||
|
entry = readdir (local->dir);
|
||||||
|
|
||||||
|
if (entry)
|
||||||
|
{
|
||||||
|
local->entries[i].name = g_strdup (entry->d_name);
|
||||||
|
local->entries[i].inode = entry->d_ino;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
local->entries[i].name = NULL;
|
||||||
|
local->entries_pos = 0;
|
||||||
|
|
||||||
|
qsort (local->entries, i, sizeof (DirEntry), sort_by_inode);
|
||||||
|
}
|
||||||
|
|
||||||
|
filename = local->entries[local->entries_pos++].name;
|
||||||
|
if (filename == NULL)
|
||||||
|
local->at_end = TRUE;
|
||||||
|
|
||||||
|
return filename;
|
||||||
|
}
|
||||||
|
|
||||||
|
#endif
|
||||||
|
|
||||||
static GFileInfo *
|
static GFileInfo *
|
||||||
g_local_file_enumerator_next_file (GFileEnumerator *enumerator,
|
g_local_file_enumerator_next_file (GFileEnumerator *enumerator,
|
||||||
GCancellable *cancellable,
|
GCancellable *cancellable,
|
||||||
@ -176,7 +310,7 @@ g_local_file_enumerator_next_file (GFileEnumerator *enumerator,
|
|||||||
const char *filename;
|
const char *filename;
|
||||||
char *path;
|
char *path;
|
||||||
GFileInfo *info;
|
GFileInfo *info;
|
||||||
GError *my_error = NULL;
|
GError *my_error;
|
||||||
|
|
||||||
if (!local->got_parent_info)
|
if (!local->got_parent_info)
|
||||||
{
|
{
|
||||||
@ -186,10 +320,16 @@ g_local_file_enumerator_next_file (GFileEnumerator *enumerator,
|
|||||||
|
|
||||||
next_file:
|
next_file:
|
||||||
|
|
||||||
|
#ifdef USE_GDIR
|
||||||
filename = g_dir_read_name (local->dir);
|
filename = g_dir_read_name (local->dir);
|
||||||
|
#else
|
||||||
|
filename = next_file_helper (local);
|
||||||
|
#endif
|
||||||
|
|
||||||
if (filename == NULL)
|
if (filename == NULL)
|
||||||
return NULL;
|
return NULL;
|
||||||
|
|
||||||
|
my_error = NULL;
|
||||||
path = g_build_filename (local->filename, filename, NULL);
|
path = g_build_filename (local->filename, filename, NULL);
|
||||||
info = _g_local_file_info_get (filename, path,
|
info = _g_local_file_info_get (filename, path,
|
||||||
local->matcher,
|
local->matcher,
|
||||||
@ -226,7 +366,11 @@ g_local_file_enumerator_close (GFileEnumerator *enumerator,
|
|||||||
|
|
||||||
if (local->dir)
|
if (local->dir)
|
||||||
{
|
{
|
||||||
|
#ifdef USE_GDIR
|
||||||
g_dir_close (local->dir);
|
g_dir_close (local->dir);
|
||||||
|
#else
|
||||||
|
closedir (local->dir);
|
||||||
|
#endif
|
||||||
local->dir = NULL;
|
local->dir = NULL;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
Reference in New Issue
Block a user