[GFS2] Speed up scanning of glocks
[safe/jmp/linux-2.6] / fs / gfs2 / incore.h
1 /*
2  * Copyright (C) Sistina Software, Inc.  1997-2003 All rights reserved.
3  * Copyright (C) 2004-2006 Red Hat, Inc.  All rights reserved.
4  *
5  * This copyrighted material is made available to anyone wishing to use,
6  * modify, copy, or redistribute it subject to the terms and conditions
7  * of the GNU General Public License v.2.
8  */
9
10 #ifndef __INCORE_DOT_H__
11 #define __INCORE_DOT_H__
12
13 #define DIO_FORCE       0x00000001
14 #define DIO_CLEAN       0x00000002
15 #define DIO_DIRTY       0x00000004
16 #define DIO_START       0x00000008
17 #define DIO_WAIT        0x00000010
18 #define DIO_METADATA    0x00000020
19 #define DIO_DATA        0x00000040
20 #define DIO_RELEASE     0x00000080
21 #define DIO_ALL         0x00000100
22
23 struct gfs2_log_operations;
24 struct gfs2_log_element;
25 struct gfs2_bitmap;
26 struct gfs2_rgrpd;
27 struct gfs2_bufdata;
28 struct gfs2_glock_operations;
29 struct gfs2_holder;
30 struct gfs2_glock;
31 struct gfs2_alloc;
32 struct gfs2_inode;
33 struct gfs2_file;
34 struct gfs2_revoke;
35 struct gfs2_revoke_replay;
36 struct gfs2_quota_data;
37 struct gfs2_log_buf;
38 struct gfs2_trans;
39 struct gfs2_ail;
40 struct gfs2_jdesc;
41 struct gfs2_args;
42 struct gfs2_tune;
43 struct gfs2_gl_hash_bucket;
44 struct gfs2_sbd;
45
46 typedef void (*gfs2_glop_bh_t) (struct gfs2_glock *gl, unsigned int ret);
47
48 /*
49  * Structure of operations that are associated with each
50  * type of element in the log.
51  */
52
53 struct gfs2_log_operations {
54         void (*lo_add) (struct gfs2_sbd *sdp, struct gfs2_log_element *le);
55         void (*lo_incore_commit) (struct gfs2_sbd *sdp, struct gfs2_trans *tr);
56         void (*lo_before_commit) (struct gfs2_sbd *sdp);
57         void (*lo_after_commit) (struct gfs2_sbd *sdp, struct gfs2_ail *ai);
58         void (*lo_before_scan) (struct gfs2_jdesc *jd,
59                                 struct gfs2_log_header *head, int pass);
60         int (*lo_scan_elements) (struct gfs2_jdesc *jd, unsigned int start,
61                                  struct gfs2_log_descriptor *ld, __be64 *ptr,
62                                  int pass);
63         void (*lo_after_scan) (struct gfs2_jdesc *jd, int error, int pass);
64         const char *lo_name;
65 };
66
67 struct gfs2_log_element {
68         struct list_head le_list;
69         const struct gfs2_log_operations *le_ops;
70 };
71
72 struct gfs2_bitmap {
73         struct buffer_head *bi_bh;
74         char *bi_clone;
75         uint32_t bi_offset;
76         uint32_t bi_start;
77         uint32_t bi_len;
78 };
79
80 struct gfs2_rgrpd {
81         struct list_head rd_list;       /* Link with superblock */
82         struct list_head rd_list_mru;
83         struct list_head rd_recent;     /* Recently used rgrps */
84         struct gfs2_glock *rd_gl;       /* Glock for this rgrp */
85         struct gfs2_rindex rd_ri;
86         struct gfs2_rgrp rd_rg;
87         uint64_t rd_rg_vn;
88         struct gfs2_bitmap *rd_bits;
89         unsigned int rd_bh_count;
90         struct mutex rd_mutex;
91         uint32_t rd_free_clone;
92         struct gfs2_log_element rd_le;
93         uint32_t rd_last_alloc_data;
94         uint32_t rd_last_alloc_meta;
95         struct gfs2_sbd *rd_sbd;
96 };
97
98 enum gfs2_state_bits {
99         BH_Pinned = BH_PrivateStart,
100         BH_Escaped = BH_PrivateStart + 1,
101 };
102
103 BUFFER_FNS(Pinned, pinned)
104 TAS_BUFFER_FNS(Pinned, pinned)
105 BUFFER_FNS(Escaped, escaped)
106 TAS_BUFFER_FNS(Escaped, escaped)
107
108 struct gfs2_bufdata {
109         struct buffer_head *bd_bh;
110         struct gfs2_glock *bd_gl;
111
112         struct list_head bd_list_tr;
113         struct gfs2_log_element bd_le;
114
115         struct gfs2_ail *bd_ail;
116         struct list_head bd_ail_st_list;
117         struct list_head bd_ail_gl_list;
118 };
119
120 struct gfs2_glock_operations {
121         void (*go_xmote_th) (struct gfs2_glock * gl, unsigned int state,
122                              int flags);
123         void (*go_xmote_bh) (struct gfs2_glock * gl);
124         void (*go_drop_th) (struct gfs2_glock * gl);
125         void (*go_drop_bh) (struct gfs2_glock * gl);
126         void (*go_sync) (struct gfs2_glock * gl, int flags);
127         void (*go_inval) (struct gfs2_glock * gl, int flags);
128         int (*go_demote_ok) (struct gfs2_glock * gl);
129         int (*go_lock) (struct gfs2_holder * gh);
130         void (*go_unlock) (struct gfs2_holder * gh);
131         void (*go_callback) (struct gfs2_glock * gl, unsigned int state);
132         void (*go_greedy) (struct gfs2_glock * gl);
133         int go_type;
134 };
135
136 enum {
137         /* Actions */
138         HIF_MUTEX               = 0,
139         HIF_PROMOTE             = 1,
140         HIF_DEMOTE              = 2,
141         HIF_GREEDY              = 3,
142
143         /* States */
144         HIF_ALLOCED             = 4,
145         HIF_DEALLOC             = 5,
146         HIF_HOLDER              = 6,
147         HIF_FIRST               = 7,
148         HIF_ABORTED             = 9,
149 };
150
151 struct gfs2_holder {
152         struct list_head gh_list;
153
154         struct gfs2_glock *gh_gl;
155         struct task_struct *gh_owner;
156         unsigned int gh_state;
157         unsigned gh_flags;
158
159         int gh_error;
160         unsigned long gh_iflags;
161         struct completion gh_wait;
162         unsigned long gh_ip;
163 };
164
165 enum {
166         GLF_PLUG                = 0,
167         GLF_LOCK                = 1,
168         GLF_STICKY              = 2,
169         GLF_PREFETCH            = 3,
170         GLF_SYNC                = 4,
171         GLF_DIRTY               = 5,
172         GLF_SKIP_WAITERS2       = 6,
173         GLF_GREEDY              = 7,
174 };
175
176 struct gfs2_glock {
177         struct list_head gl_list;
178         unsigned long gl_flags;         /* GLF_... */
179         struct lm_lockname gl_name;
180         struct kref gl_ref;
181
182         spinlock_t gl_spin;
183
184         unsigned int gl_state;
185         struct task_struct *gl_owner;
186         unsigned long gl_ip;
187         struct list_head gl_holders;
188         struct list_head gl_waiters1;   /* HIF_MUTEX */
189         struct list_head gl_waiters2;   /* HIF_DEMOTE, HIF_GREEDY */
190         struct list_head gl_waiters3;   /* HIF_PROMOTE */
191
192         struct gfs2_glock_operations *gl_ops;
193
194         struct gfs2_holder *gl_req_gh;
195         gfs2_glop_bh_t gl_req_bh;
196
197         lm_lock_t *gl_lock;
198         char *gl_lvb;
199         atomic_t gl_lvb_count;
200
201         uint64_t gl_vn;
202         unsigned long gl_stamp;
203         void *gl_object;
204
205         struct gfs2_gl_hash_bucket *gl_bucket;
206         struct list_head gl_reclaim;
207
208         struct gfs2_sbd *gl_sbd;
209
210         struct inode *gl_aspace;
211         struct gfs2_log_element gl_le;
212         struct list_head gl_ail_list;
213         atomic_t gl_ail_count;
214 };
215
216 struct gfs2_alloc {
217         /* Quota stuff */
218
219         struct gfs2_quota_data *al_qd[4];
220         struct gfs2_holder al_qd_ghs[4];
221         unsigned int al_qd_num;
222
223         u32 al_requested; /* Filled in by caller of gfs2_inplace_reserve() */
224         u32 al_alloced; /* Filled in by gfs2_alloc_*() */
225
226         /* Filled in by gfs2_inplace_reserve() */
227
228         unsigned int al_line;
229         char *al_file;
230         struct gfs2_holder al_ri_gh;
231         struct gfs2_holder al_rgd_gh;
232         struct gfs2_rgrpd *al_rgd;
233
234 };
235
236 enum {
237         GIF_QD_LOCKED           = 1,
238         GIF_PAGED               = 2,
239         GIF_SW_PAGED            = 3,
240 };
241
242 struct gfs2_inode {
243         struct inode i_inode;
244         struct gfs2_inum i_num;
245
246         unsigned long i_flags;          /* GIF_... */
247
248         uint64_t i_vn;
249         struct gfs2_dinode i_di; /* To be replaced by ref to block */
250
251         struct gfs2_glock *i_gl; /* Move into i_gh? */
252         struct gfs2_holder i_iopen_gh;
253         struct gfs2_holder i_gh; /* for prepare/commit_write only */
254         struct gfs2_alloc i_alloc;
255         uint64_t i_last_rg_alloc;
256
257         spinlock_t i_spin;
258         struct rw_semaphore i_rw_mutex;
259         unsigned int i_greedy;
260         unsigned long i_last_pfault;
261
262         struct buffer_head *i_cache[GFS2_MAX_META_HEIGHT];
263 };
264
265 /*
266  * Since i_inode is the first element of struct gfs2_inode,
267  * this is effectively a cast.
268  */
269 static inline struct gfs2_inode *GFS2_I(struct inode *inode)
270 {
271         return container_of(inode, struct gfs2_inode, i_inode);
272 }
273
274 /* To be removed? */
275 static inline struct gfs2_sbd *GFS2_SB(struct inode *inode)
276 {
277         return inode->i_sb->s_fs_info;
278 }
279
280 enum {
281         GFF_DID_DIRECT_ALLOC    = 0,
282         GFF_EXLOCK = 1,
283 };
284
285 struct gfs2_file {
286         unsigned long f_flags;          /* GFF_... */
287         struct mutex f_fl_mutex;
288         struct gfs2_holder f_fl_gh;
289 };
290
291 struct gfs2_revoke {
292         struct gfs2_log_element rv_le;
293         uint64_t rv_blkno;
294 };
295
296 struct gfs2_revoke_replay {
297         struct list_head rr_list;
298         uint64_t rr_blkno;
299         unsigned int rr_where;
300 };
301
302 enum {
303         QDF_USER                = 0,
304         QDF_CHANGE              = 1,
305         QDF_LOCKED              = 2,
306 };
307
308 struct gfs2_quota_lvb {
309         uint32_t qb_magic;
310         uint32_t __pad;
311         uint64_t qb_limit;      /* Hard limit of # blocks to alloc */
312         uint64_t qb_warn;       /* Warn user when alloc is above this # */
313         int64_t qb_value;       /* Current # blocks allocated */
314 };
315
316 struct gfs2_quota_data {
317         struct list_head qd_list;
318         unsigned int qd_count;
319
320         uint32_t qd_id;
321         unsigned long qd_flags;         /* QDF_... */
322
323         int64_t qd_change;
324         int64_t qd_change_sync;
325
326         unsigned int qd_slot;
327         unsigned int qd_slot_count;
328
329         struct buffer_head *qd_bh;
330         struct gfs2_quota_change *qd_bh_qc;
331         unsigned int qd_bh_count;
332
333         struct gfs2_glock *qd_gl;
334         struct gfs2_quota_lvb qd_qb;
335
336         uint64_t qd_sync_gen;
337         unsigned long qd_last_warn;
338         unsigned long qd_last_touched;
339 };
340
341 struct gfs2_log_buf {
342         struct list_head lb_list;
343         struct buffer_head *lb_bh;
344         struct buffer_head *lb_real;
345 };
346
347 struct gfs2_trans {
348         unsigned long tr_ip;
349
350         unsigned int tr_blocks;
351         unsigned int tr_revokes;
352         unsigned int tr_reserved;
353
354         struct gfs2_holder tr_t_gh;
355
356         int tr_touched;
357
358         unsigned int tr_num_buf;
359         unsigned int tr_num_buf_new;
360         unsigned int tr_num_buf_rm;
361         struct list_head tr_list_buf;
362
363         unsigned int tr_num_revoke;
364         unsigned int tr_num_revoke_rm;
365 };
366
367 struct gfs2_ail {
368         struct list_head ai_list;
369
370         unsigned int ai_first;
371         struct list_head ai_ail1_list;
372         struct list_head ai_ail2_list;
373
374         uint64_t ai_sync_gen;
375 };
376
377 struct gfs2_jdesc {
378         struct list_head jd_list;
379
380         struct inode *jd_inode;
381         unsigned int jd_jid;
382         int jd_dirty;
383
384         unsigned int jd_blocks;
385 };
386
387 #define GFS2_GLOCKD_DEFAULT     1
388 #define GFS2_GLOCKD_MAX         16
389
390 #define GFS2_QUOTA_DEFAULT      GFS2_QUOTA_OFF
391 #define GFS2_QUOTA_OFF          0
392 #define GFS2_QUOTA_ACCOUNT      1
393 #define GFS2_QUOTA_ON           2
394
395 #define GFS2_DATA_DEFAULT       GFS2_DATA_ORDERED
396 #define GFS2_DATA_WRITEBACK     1
397 #define GFS2_DATA_ORDERED       2
398
399 struct gfs2_args {
400         char ar_lockproto[GFS2_LOCKNAME_LEN]; /* Name of the Lock Protocol */
401         char ar_locktable[GFS2_LOCKNAME_LEN]; /* Name of the Lock Table */
402         char ar_hostdata[GFS2_LOCKNAME_LEN]; /* Host specific data */
403         int ar_spectator; /* Don't get a journal because we're always RO */
404         int ar_ignore_local_fs; /* Don't optimize even if local_fs is 1 */
405         int ar_localflocks; /* Let the VFS do flock|fcntl locks for us */
406         int ar_localcaching; /* Local-style caching (dangerous on multihost) */
407         int ar_debug; /* Oops on errors instead of trying to be graceful */
408         int ar_upgrade; /* Upgrade ondisk/multihost format */
409         unsigned int ar_num_glockd; /* Number of glockd threads */
410         int ar_posix_acl; /* Enable posix acls */
411         int ar_quota; /* off/account/on */
412         int ar_suiddir; /* suiddir support */
413         int ar_data; /* ordered/writeback */
414 };
415
416 struct gfs2_tune {
417         spinlock_t gt_spin;
418
419         unsigned int gt_ilimit;
420         unsigned int gt_ilimit_tries;
421         unsigned int gt_ilimit_min;
422         unsigned int gt_demote_secs; /* Cache retention for unheld glock */
423         unsigned int gt_incore_log_blocks;
424         unsigned int gt_log_flush_secs;
425         unsigned int gt_jindex_refresh_secs; /* Check for new journal index */
426
427         unsigned int gt_scand_secs;
428         unsigned int gt_recoverd_secs;
429         unsigned int gt_logd_secs;
430         unsigned int gt_quotad_secs;
431
432         unsigned int gt_quota_simul_sync; /* Max quotavals to sync at once */
433         unsigned int gt_quota_warn_period; /* Secs between quota warn msgs */
434         unsigned int gt_quota_scale_num; /* Numerator */
435         unsigned int gt_quota_scale_den; /* Denominator */
436         unsigned int gt_quota_cache_secs;
437         unsigned int gt_quota_quantum; /* Secs between syncs to quota file */
438         unsigned int gt_atime_quantum; /* Min secs between atime updates */
439         unsigned int gt_new_files_jdata;
440         unsigned int gt_new_files_directio;
441         unsigned int gt_max_atomic_write; /* Split big writes into this size */
442         unsigned int gt_max_readahead; /* Max bytes to read-ahead from disk */
443         unsigned int gt_lockdump_size;
444         unsigned int gt_stall_secs; /* Detects trouble! */
445         unsigned int gt_complain_secs;
446         unsigned int gt_reclaim_limit; /* Max num of glocks in reclaim list */
447         unsigned int gt_entries_per_readdir;
448         unsigned int gt_prefetch_secs; /* Usage window for prefetched glocks */
449         unsigned int gt_greedy_default;
450         unsigned int gt_greedy_quantum;
451         unsigned int gt_greedy_max;
452         unsigned int gt_statfs_quantum;
453         unsigned int gt_statfs_slow;
454 };
455
456 struct gfs2_gl_hash_bucket {
457         rwlock_t hb_lock;
458         struct list_head hb_list;
459 };
460
461 enum {
462         SDF_JOURNAL_CHECKED     = 0,
463         SDF_JOURNAL_LIVE        = 1,
464         SDF_SHUTDOWN            = 2,
465         SDF_NOATIME             = 3,
466 };
467
468 #define GFS2_GL_HASH_SHIFT      13
469 #define GFS2_GL_HASH_SIZE       (1 << GFS2_GL_HASH_SHIFT)
470 #define GFS2_GL_HASH_MASK       (GFS2_GL_HASH_SIZE - 1)
471 #define GFS2_FSNAME_LEN         256
472
473 struct gfs2_sbd {
474         struct super_block *sd_vfs;
475         struct kobject sd_kobj;
476         unsigned long sd_flags; /* SDF_... */
477         struct gfs2_sb sd_sb;
478
479         /* Constants computed on mount */
480
481         uint32_t sd_fsb2bb;
482         uint32_t sd_fsb2bb_shift;
483         uint32_t sd_diptrs;     /* Number of pointers in a dinode */
484         uint32_t sd_inptrs;     /* Number of pointers in a indirect block */
485         uint32_t sd_jbsize;     /* Size of a journaled data block */
486         uint32_t sd_hash_bsize; /* sizeof(exhash block) */
487         uint32_t sd_hash_bsize_shift;
488         uint32_t sd_hash_ptrs;  /* Number of pointers in a hash block */
489         uint32_t sd_qc_per_block;
490         uint32_t sd_max_dirres; /* Max blocks needed to add a directory entry */
491         uint32_t sd_max_height; /* Max height of a file's metadata tree */
492         uint64_t sd_heightsize[GFS2_MAX_META_HEIGHT];
493         uint32_t sd_max_jheight; /* Max height of journaled file's meta tree */
494         uint64_t sd_jheightsize[GFS2_MAX_META_HEIGHT];
495
496         struct gfs2_args sd_args;       /* Mount arguments */
497         struct gfs2_tune sd_tune;       /* Filesystem tuning structure */
498
499         /* Lock Stuff */
500
501         struct lm_lockstruct sd_lockstruct;
502         struct gfs2_gl_hash_bucket sd_gl_hash[GFS2_GL_HASH_SIZE];
503         struct list_head sd_reclaim_list;
504         spinlock_t sd_reclaim_lock;
505         wait_queue_head_t sd_reclaim_wq;
506         atomic_t sd_reclaim_count;
507         struct gfs2_holder sd_live_gh;
508         struct gfs2_glock *sd_rename_gl;
509         struct gfs2_glock *sd_trans_gl;
510
511         /* Inode Stuff */
512
513         struct inode *sd_master_dir;
514         struct inode *sd_jindex;
515         struct inode *sd_inum_inode;
516         struct inode *sd_statfs_inode;
517         struct inode *sd_ir_inode;
518         struct inode *sd_sc_inode;
519         struct inode *sd_qc_inode;
520         struct inode *sd_rindex;
521         struct inode *sd_quota_inode;
522
523         /* Inum stuff */
524
525         struct mutex sd_inum_mutex;
526
527         /* StatFS stuff */
528
529         spinlock_t sd_statfs_spin;
530         struct mutex sd_statfs_mutex;
531         struct gfs2_statfs_change sd_statfs_master;
532         struct gfs2_statfs_change sd_statfs_local;
533         unsigned long sd_statfs_sync_time;
534
535         /* Resource group stuff */
536
537         uint64_t sd_rindex_vn;
538         spinlock_t sd_rindex_spin;
539         struct mutex sd_rindex_mutex;
540         struct list_head sd_rindex_list;
541         struct list_head sd_rindex_mru_list;
542         struct list_head sd_rindex_recent_list;
543         struct gfs2_rgrpd *sd_rindex_forward;
544         unsigned int sd_rgrps;
545
546         /* Journal index stuff */
547
548         struct list_head sd_jindex_list;
549         spinlock_t sd_jindex_spin;
550         struct mutex sd_jindex_mutex;
551         unsigned int sd_journals;
552         unsigned long sd_jindex_refresh_time;
553
554         struct gfs2_jdesc *sd_jdesc;
555         struct gfs2_holder sd_journal_gh;
556         struct gfs2_holder sd_jinode_gh;
557
558         struct gfs2_holder sd_ir_gh;
559         struct gfs2_holder sd_sc_gh;
560         struct gfs2_holder sd_qc_gh;
561
562         /* Daemon stuff */
563
564         struct task_struct *sd_scand_process;
565         struct task_struct *sd_recoverd_process;
566         struct task_struct *sd_logd_process;
567         struct task_struct *sd_quotad_process;
568         struct task_struct *sd_glockd_process[GFS2_GLOCKD_MAX];
569         unsigned int sd_glockd_num;
570
571         /* Quota stuff */
572
573         struct list_head sd_quota_list;
574         atomic_t sd_quota_count;
575         spinlock_t sd_quota_spin;
576         struct mutex sd_quota_mutex;
577
578         unsigned int sd_quota_slots;
579         unsigned int sd_quota_chunks;
580         unsigned char **sd_quota_bitmap;
581
582         uint64_t sd_quota_sync_gen;
583         unsigned long sd_quota_sync_time;
584
585         /* Log stuff */
586
587         spinlock_t sd_log_lock;
588
589         unsigned int sd_log_blks_reserved;
590         unsigned int sd_log_commited_buf;
591         unsigned int sd_log_commited_revoke;
592
593         unsigned int sd_log_num_gl;
594         unsigned int sd_log_num_buf;
595         unsigned int sd_log_num_revoke;
596         unsigned int sd_log_num_rg;
597         unsigned int sd_log_num_databuf;
598         unsigned int sd_log_num_jdata;
599         unsigned int sd_log_num_hdrs;
600
601         struct list_head sd_log_le_gl;
602         struct list_head sd_log_le_buf;
603         struct list_head sd_log_le_revoke;
604         struct list_head sd_log_le_rg;
605         struct list_head sd_log_le_databuf;
606
607         unsigned int sd_log_blks_free;
608         struct mutex sd_log_reserve_mutex;
609
610         uint64_t sd_log_sequence;
611         unsigned int sd_log_head;
612         unsigned int sd_log_tail;
613         int sd_log_idle;
614
615         unsigned long sd_log_flush_time;
616         struct rw_semaphore sd_log_flush_lock;
617         struct list_head sd_log_flush_list;
618
619         unsigned int sd_log_flush_head;
620         uint64_t sd_log_flush_wrapped;
621
622         struct list_head sd_ail1_list;
623         struct list_head sd_ail2_list;
624         uint64_t sd_ail_sync_gen;
625
626         /* Replay stuff */
627
628         struct list_head sd_revoke_list;
629         unsigned int sd_replay_tail;
630
631         unsigned int sd_found_blocks;
632         unsigned int sd_found_revokes;
633         unsigned int sd_replayed_blocks;
634
635         /* For quiescing the filesystem */
636
637         struct gfs2_holder sd_freeze_gh;
638         struct mutex sd_freeze_lock;
639         unsigned int sd_freeze_count;
640
641         /* Counters */
642
643         atomic_t sd_glock_count;
644         atomic_t sd_glock_held_count;
645         atomic_t sd_inode_count;
646         atomic_t sd_reclaimed;
647
648         char sd_fsname[GFS2_FSNAME_LEN];
649         char sd_table_name[GFS2_FSNAME_LEN];
650         char sd_proto_name[GFS2_FSNAME_LEN];
651
652         /* Debugging crud */
653
654         unsigned long sd_last_warning;
655 };
656
657 #endif /* __INCORE_DOT_H__ */
658