[GFS2] Make glock hash locks proportional to NR_CPUS
[safe/jmp/linux-2.6] / fs / gfs2 / incore.h
1 /*
2  * Copyright (C) Sistina Software, Inc.  1997-2003 All rights reserved.
3  * Copyright (C) 2004-2006 Red Hat, Inc.  All rights reserved.
4  *
5  * This copyrighted material is made available to anyone wishing to use,
6  * modify, copy, or redistribute it subject to the terms and conditions
7  * of the GNU General Public License version 2.
8  */
9
10 #ifndef __INCORE_DOT_H__
11 #define __INCORE_DOT_H__
12
13 #include <linux/fs.h>
14
15 #define DIO_FORCE       0x00000001
16 #define DIO_CLEAN       0x00000002
17 #define DIO_DIRTY       0x00000004
18 #define DIO_START       0x00000008
19 #define DIO_WAIT        0x00000010
20 #define DIO_METADATA    0x00000020
21 #define DIO_DATA        0x00000040
22 #define DIO_RELEASE     0x00000080
23 #define DIO_ALL         0x00000100
24
25 struct gfs2_log_operations;
26 struct gfs2_log_element;
27 struct gfs2_holder;
28 struct gfs2_glock;
29 struct gfs2_quota_data;
30 struct gfs2_trans;
31 struct gfs2_ail;
32 struct gfs2_jdesc;
33 struct gfs2_sbd;
34
35 typedef void (*gfs2_glop_bh_t) (struct gfs2_glock *gl, unsigned int ret);
36
37 /*
38  * Structure of operations that are associated with each
39  * type of element in the log.
40  */
41
42 struct gfs2_log_operations {
43         void (*lo_add) (struct gfs2_sbd *sdp, struct gfs2_log_element *le);
44         void (*lo_incore_commit) (struct gfs2_sbd *sdp, struct gfs2_trans *tr);
45         void (*lo_before_commit) (struct gfs2_sbd *sdp);
46         void (*lo_after_commit) (struct gfs2_sbd *sdp, struct gfs2_ail *ai);
47         void (*lo_before_scan) (struct gfs2_jdesc *jd,
48                                 struct gfs2_log_header *head, int pass);
49         int (*lo_scan_elements) (struct gfs2_jdesc *jd, unsigned int start,
50                                  struct gfs2_log_descriptor *ld, __be64 *ptr,
51                                  int pass);
52         void (*lo_after_scan) (struct gfs2_jdesc *jd, int error, int pass);
53         const char *lo_name;
54 };
55
56 struct gfs2_log_element {
57         struct list_head le_list;
58         const struct gfs2_log_operations *le_ops;
59 };
60
61 struct gfs2_bitmap {
62         struct buffer_head *bi_bh;
63         char *bi_clone;
64         u32 bi_offset;
65         u32 bi_start;
66         u32 bi_len;
67 };
68
69 struct gfs2_rgrpd {
70         struct list_head rd_list;       /* Link with superblock */
71         struct list_head rd_list_mru;
72         struct list_head rd_recent;     /* Recently used rgrps */
73         struct gfs2_glock *rd_gl;       /* Glock for this rgrp */
74         struct gfs2_rindex rd_ri;
75         struct gfs2_rgrp rd_rg;
76         u64 rd_rg_vn;
77         struct gfs2_bitmap *rd_bits;
78         unsigned int rd_bh_count;
79         struct mutex rd_mutex;
80         u32 rd_free_clone;
81         struct gfs2_log_element rd_le;
82         u32 rd_last_alloc_data;
83         u32 rd_last_alloc_meta;
84         struct gfs2_sbd *rd_sbd;
85 };
86
87 enum gfs2_state_bits {
88         BH_Pinned = BH_PrivateStart,
89         BH_Escaped = BH_PrivateStart + 1,
90 };
91
92 BUFFER_FNS(Pinned, pinned)
93 TAS_BUFFER_FNS(Pinned, pinned)
94 BUFFER_FNS(Escaped, escaped)
95 TAS_BUFFER_FNS(Escaped, escaped)
96
97 struct gfs2_bufdata {
98         struct buffer_head *bd_bh;
99         struct gfs2_glock *bd_gl;
100
101         struct list_head bd_list_tr;
102         struct gfs2_log_element bd_le;
103
104         struct gfs2_ail *bd_ail;
105         struct list_head bd_ail_st_list;
106         struct list_head bd_ail_gl_list;
107 };
108
109 struct gfs2_glock_operations {
110         void (*go_xmote_th) (struct gfs2_glock * gl, unsigned int state,
111                              int flags);
112         void (*go_xmote_bh) (struct gfs2_glock * gl);
113         void (*go_drop_th) (struct gfs2_glock * gl);
114         void (*go_drop_bh) (struct gfs2_glock * gl);
115         void (*go_sync) (struct gfs2_glock * gl, int flags);
116         void (*go_inval) (struct gfs2_glock * gl, int flags);
117         int (*go_demote_ok) (struct gfs2_glock * gl);
118         int (*go_lock) (struct gfs2_holder * gh);
119         void (*go_unlock) (struct gfs2_holder * gh);
120         void (*go_callback) (struct gfs2_glock * gl, unsigned int state);
121         void (*go_greedy) (struct gfs2_glock * gl);
122         const int go_type;
123 };
124
125 enum {
126         /* Actions */
127         HIF_MUTEX               = 0,
128         HIF_PROMOTE             = 1,
129         HIF_DEMOTE              = 2,
130         HIF_GREEDY              = 3,
131
132         /* States */
133         HIF_ALLOCED             = 4,
134         HIF_DEALLOC             = 5,
135         HIF_HOLDER              = 6,
136         HIF_FIRST               = 7,
137         HIF_ABORTED             = 9,
138 };
139
140 struct gfs2_holder {
141         struct list_head gh_list;
142
143         struct gfs2_glock *gh_gl;
144         struct task_struct *gh_owner;
145         unsigned int gh_state;
146         unsigned gh_flags;
147
148         int gh_error;
149         unsigned long gh_iflags;
150         struct completion gh_wait;
151         unsigned long gh_ip;
152 };
153
154 enum {
155         GLF_PLUG                = 0,
156         GLF_LOCK                = 1,
157         GLF_STICKY              = 2,
158         GLF_PREFETCH            = 3,
159         GLF_DIRTY               = 5,
160         GLF_SKIP_WAITERS2       = 6,
161         GLF_GREEDY              = 7,
162 };
163
164 struct gfs2_glock {
165         struct list_head gl_list;
166         unsigned long gl_flags;         /* GLF_... */
167         struct lm_lockname gl_name;
168         struct kref gl_ref;
169
170         spinlock_t gl_spin;
171
172         unsigned int gl_state;
173         unsigned int gl_hash;
174         struct task_struct *gl_owner;
175         unsigned long gl_ip;
176         struct list_head gl_holders;
177         struct list_head gl_waiters1;   /* HIF_MUTEX */
178         struct list_head gl_waiters2;   /* HIF_DEMOTE, HIF_GREEDY */
179         struct list_head gl_waiters3;   /* HIF_PROMOTE */
180
181         const struct gfs2_glock_operations *gl_ops;
182
183         struct gfs2_holder *gl_req_gh;
184         gfs2_glop_bh_t gl_req_bh;
185
186         void *gl_lock;
187         char *gl_lvb;
188         atomic_t gl_lvb_count;
189
190         u64 gl_vn;
191         unsigned long gl_stamp;
192         void *gl_object;
193
194         struct list_head gl_reclaim;
195
196         struct gfs2_sbd *gl_sbd;
197
198         struct inode *gl_aspace;
199         struct gfs2_log_element gl_le;
200         struct list_head gl_ail_list;
201         atomic_t gl_ail_count;
202 };
203
204 struct gfs2_alloc {
205         /* Quota stuff */
206
207         struct gfs2_quota_data *al_qd[2*MAXQUOTAS];
208         struct gfs2_holder al_qd_ghs[2*MAXQUOTAS];
209         unsigned int al_qd_num;
210
211         u32 al_requested; /* Filled in by caller of gfs2_inplace_reserve() */
212         u32 al_alloced; /* Filled in by gfs2_alloc_*() */
213
214         /* Filled in by gfs2_inplace_reserve() */
215
216         unsigned int al_line;
217         char *al_file;
218         struct gfs2_holder al_ri_gh;
219         struct gfs2_holder al_rgd_gh;
220         struct gfs2_rgrpd *al_rgd;
221
222 };
223
224 enum {
225         GIF_QD_LOCKED           = 1,
226         GIF_PAGED               = 2,
227         GIF_SW_PAGED            = 3,
228 };
229
230 struct gfs2_inode {
231         struct inode i_inode;
232         struct gfs2_inum i_num;
233
234         unsigned long i_flags;          /* GIF_... */
235
236         u64 i_vn;
237         struct gfs2_dinode i_di; /* To be replaced by ref to block */
238
239         struct gfs2_glock *i_gl; /* Move into i_gh? */
240         struct gfs2_holder i_iopen_gh;
241         struct gfs2_holder i_gh; /* for prepare/commit_write only */
242         struct gfs2_alloc i_alloc;
243         u64 i_last_rg_alloc;
244
245         spinlock_t i_spin;
246         struct rw_semaphore i_rw_mutex;
247         unsigned int i_greedy;
248         unsigned long i_last_pfault;
249
250         struct buffer_head *i_cache[GFS2_MAX_META_HEIGHT];
251 };
252
253 /*
254  * Since i_inode is the first element of struct gfs2_inode,
255  * this is effectively a cast.
256  */
257 static inline struct gfs2_inode *GFS2_I(struct inode *inode)
258 {
259         return container_of(inode, struct gfs2_inode, i_inode);
260 }
261
262 /* To be removed? */
263 static inline struct gfs2_sbd *GFS2_SB(struct inode *inode)
264 {
265         return inode->i_sb->s_fs_info;
266 }
267
268 enum {
269         GFF_DID_DIRECT_ALLOC    = 0,
270         GFF_EXLOCK = 1,
271 };
272
273 struct gfs2_file {
274         unsigned long f_flags;          /* GFF_... */
275         struct mutex f_fl_mutex;
276         struct gfs2_holder f_fl_gh;
277 };
278
279 struct gfs2_revoke {
280         struct gfs2_log_element rv_le;
281         u64 rv_blkno;
282 };
283
284 struct gfs2_revoke_replay {
285         struct list_head rr_list;
286         u64 rr_blkno;
287         unsigned int rr_where;
288 };
289
290 enum {
291         QDF_USER                = 0,
292         QDF_CHANGE              = 1,
293         QDF_LOCKED              = 2,
294 };
295
296 struct gfs2_quota_lvb {
297         __be32 qb_magic;
298         u32 __pad;
299         __be64 qb_limit;      /* Hard limit of # blocks to alloc */
300         __be64 qb_warn;       /* Warn user when alloc is above this # */
301         __be64 qb_value;       /* Current # blocks allocated */
302 };
303
304 struct gfs2_quota_data {
305         struct list_head qd_list;
306         unsigned int qd_count;
307
308         u32 qd_id;
309         unsigned long qd_flags;         /* QDF_... */
310
311         s64 qd_change;
312         s64 qd_change_sync;
313
314         unsigned int qd_slot;
315         unsigned int qd_slot_count;
316
317         struct buffer_head *qd_bh;
318         struct gfs2_quota_change *qd_bh_qc;
319         unsigned int qd_bh_count;
320
321         struct gfs2_glock *qd_gl;
322         struct gfs2_quota_lvb qd_qb;
323
324         u64 qd_sync_gen;
325         unsigned long qd_last_warn;
326         unsigned long qd_last_touched;
327 };
328
329 struct gfs2_log_buf {
330         struct list_head lb_list;
331         struct buffer_head *lb_bh;
332         struct buffer_head *lb_real;
333 };
334
335 struct gfs2_trans {
336         unsigned long tr_ip;
337
338         unsigned int tr_blocks;
339         unsigned int tr_revokes;
340         unsigned int tr_reserved;
341
342         struct gfs2_holder tr_t_gh;
343
344         int tr_touched;
345
346         unsigned int tr_num_buf;
347         unsigned int tr_num_buf_new;
348         unsigned int tr_num_buf_rm;
349         struct list_head tr_list_buf;
350
351         unsigned int tr_num_revoke;
352         unsigned int tr_num_revoke_rm;
353 };
354
355 struct gfs2_ail {
356         struct list_head ai_list;
357
358         unsigned int ai_first;
359         struct list_head ai_ail1_list;
360         struct list_head ai_ail2_list;
361
362         u64 ai_sync_gen;
363 };
364
365 struct gfs2_jdesc {
366         struct list_head jd_list;
367
368         struct inode *jd_inode;
369         unsigned int jd_jid;
370         int jd_dirty;
371
372         unsigned int jd_blocks;
373 };
374
375 #define GFS2_GLOCKD_DEFAULT     1
376 #define GFS2_GLOCKD_MAX         16
377
378 #define GFS2_QUOTA_DEFAULT      GFS2_QUOTA_OFF
379 #define GFS2_QUOTA_OFF          0
380 #define GFS2_QUOTA_ACCOUNT      1
381 #define GFS2_QUOTA_ON           2
382
383 #define GFS2_DATA_DEFAULT       GFS2_DATA_ORDERED
384 #define GFS2_DATA_WRITEBACK     1
385 #define GFS2_DATA_ORDERED       2
386
387 struct gfs2_args {
388         char ar_lockproto[GFS2_LOCKNAME_LEN]; /* Name of the Lock Protocol */
389         char ar_locktable[GFS2_LOCKNAME_LEN]; /* Name of the Lock Table */
390         char ar_hostdata[GFS2_LOCKNAME_LEN]; /* Host specific data */
391         int ar_spectator; /* Don't get a journal because we're always RO */
392         int ar_ignore_local_fs; /* Don't optimize even if local_fs is 1 */
393         int ar_localflocks; /* Let the VFS do flock|fcntl locks for us */
394         int ar_localcaching; /* Local-style caching (dangerous on multihost) */
395         int ar_debug; /* Oops on errors instead of trying to be graceful */
396         int ar_upgrade; /* Upgrade ondisk/multihost format */
397         unsigned int ar_num_glockd; /* Number of glockd threads */
398         int ar_posix_acl; /* Enable posix acls */
399         int ar_quota; /* off/account/on */
400         int ar_suiddir; /* suiddir support */
401         int ar_data; /* ordered/writeback */
402 };
403
404 struct gfs2_tune {
405         spinlock_t gt_spin;
406
407         unsigned int gt_ilimit;
408         unsigned int gt_ilimit_tries;
409         unsigned int gt_ilimit_min;
410         unsigned int gt_demote_secs; /* Cache retention for unheld glock */
411         unsigned int gt_incore_log_blocks;
412         unsigned int gt_log_flush_secs;
413         unsigned int gt_jindex_refresh_secs; /* Check for new journal index */
414
415         unsigned int gt_scand_secs;
416         unsigned int gt_recoverd_secs;
417         unsigned int gt_logd_secs;
418         unsigned int gt_quotad_secs;
419
420         unsigned int gt_quota_simul_sync; /* Max quotavals to sync at once */
421         unsigned int gt_quota_warn_period; /* Secs between quota warn msgs */
422         unsigned int gt_quota_scale_num; /* Numerator */
423         unsigned int gt_quota_scale_den; /* Denominator */
424         unsigned int gt_quota_cache_secs;
425         unsigned int gt_quota_quantum; /* Secs between syncs to quota file */
426         unsigned int gt_atime_quantum; /* Min secs between atime updates */
427         unsigned int gt_new_files_jdata;
428         unsigned int gt_new_files_directio;
429         unsigned int gt_max_atomic_write; /* Split big writes into this size */
430         unsigned int gt_max_readahead; /* Max bytes to read-ahead from disk */
431         unsigned int gt_lockdump_size;
432         unsigned int gt_stall_secs; /* Detects trouble! */
433         unsigned int gt_complain_secs;
434         unsigned int gt_reclaim_limit; /* Max num of glocks in reclaim list */
435         unsigned int gt_entries_per_readdir;
436         unsigned int gt_prefetch_secs; /* Usage window for prefetched glocks */
437         unsigned int gt_greedy_default;
438         unsigned int gt_greedy_quantum;
439         unsigned int gt_greedy_max;
440         unsigned int gt_statfs_quantum;
441         unsigned int gt_statfs_slow;
442 };
443
444 enum {
445         SDF_JOURNAL_CHECKED     = 0,
446         SDF_JOURNAL_LIVE        = 1,
447         SDF_SHUTDOWN            = 2,
448         SDF_NOATIME             = 3,
449 };
450
451 #define GFS2_FSNAME_LEN         256
452
453 struct gfs2_sbd {
454         struct super_block *sd_vfs;
455         struct super_block *sd_vfs_meta;
456         struct kobject sd_kobj;
457         unsigned long sd_flags; /* SDF_... */
458         struct gfs2_sb sd_sb;
459
460         /* Constants computed on mount */
461
462         u32 sd_fsb2bb;
463         u32 sd_fsb2bb_shift;
464         u32 sd_diptrs;  /* Number of pointers in a dinode */
465         u32 sd_inptrs;  /* Number of pointers in a indirect block */
466         u32 sd_jbsize;  /* Size of a journaled data block */
467         u32 sd_hash_bsize;      /* sizeof(exhash block) */
468         u32 sd_hash_bsize_shift;
469         u32 sd_hash_ptrs;       /* Number of pointers in a hash block */
470         u32 sd_qc_per_block;
471         u32 sd_max_dirres;      /* Max blocks needed to add a directory entry */
472         u32 sd_max_height;      /* Max height of a file's metadata tree */
473         u64 sd_heightsize[GFS2_MAX_META_HEIGHT];
474         u32 sd_max_jheight; /* Max height of journaled file's meta tree */
475         u64 sd_jheightsize[GFS2_MAX_META_HEIGHT];
476
477         struct gfs2_args sd_args;       /* Mount arguments */
478         struct gfs2_tune sd_tune;       /* Filesystem tuning structure */
479
480         /* Lock Stuff */
481
482         struct lm_lockstruct sd_lockstruct;
483         struct list_head sd_reclaim_list;
484         spinlock_t sd_reclaim_lock;
485         wait_queue_head_t sd_reclaim_wq;
486         atomic_t sd_reclaim_count;
487         struct gfs2_holder sd_live_gh;
488         struct gfs2_glock *sd_rename_gl;
489         struct gfs2_glock *sd_trans_gl;
490
491         /* Inode Stuff */
492
493         struct inode *sd_master_dir;
494         struct inode *sd_jindex;
495         struct inode *sd_inum_inode;
496         struct inode *sd_statfs_inode;
497         struct inode *sd_ir_inode;
498         struct inode *sd_sc_inode;
499         struct inode *sd_qc_inode;
500         struct inode *sd_rindex;
501         struct inode *sd_quota_inode;
502
503         /* Inum stuff */
504
505         struct mutex sd_inum_mutex;
506
507         /* StatFS stuff */
508
509         spinlock_t sd_statfs_spin;
510         struct mutex sd_statfs_mutex;
511         struct gfs2_statfs_change sd_statfs_master;
512         struct gfs2_statfs_change sd_statfs_local;
513         unsigned long sd_statfs_sync_time;
514
515         /* Resource group stuff */
516
517         u64 sd_rindex_vn;
518         spinlock_t sd_rindex_spin;
519         struct mutex sd_rindex_mutex;
520         struct list_head sd_rindex_list;
521         struct list_head sd_rindex_mru_list;
522         struct list_head sd_rindex_recent_list;
523         struct gfs2_rgrpd *sd_rindex_forward;
524         unsigned int sd_rgrps;
525
526         /* Journal index stuff */
527
528         struct list_head sd_jindex_list;
529         spinlock_t sd_jindex_spin;
530         struct mutex sd_jindex_mutex;
531         unsigned int sd_journals;
532         unsigned long sd_jindex_refresh_time;
533
534         struct gfs2_jdesc *sd_jdesc;
535         struct gfs2_holder sd_journal_gh;
536         struct gfs2_holder sd_jinode_gh;
537
538         struct gfs2_holder sd_ir_gh;
539         struct gfs2_holder sd_sc_gh;
540         struct gfs2_holder sd_qc_gh;
541
542         /* Daemon stuff */
543
544         struct task_struct *sd_scand_process;
545         struct task_struct *sd_recoverd_process;
546         struct task_struct *sd_logd_process;
547         struct task_struct *sd_quotad_process;
548         struct task_struct *sd_glockd_process[GFS2_GLOCKD_MAX];
549         unsigned int sd_glockd_num;
550
551         /* Quota stuff */
552
553         struct list_head sd_quota_list;
554         atomic_t sd_quota_count;
555         spinlock_t sd_quota_spin;
556         struct mutex sd_quota_mutex;
557
558         unsigned int sd_quota_slots;
559         unsigned int sd_quota_chunks;
560         unsigned char **sd_quota_bitmap;
561
562         u64 sd_quota_sync_gen;
563         unsigned long sd_quota_sync_time;
564
565         /* Log stuff */
566
567         spinlock_t sd_log_lock;
568
569         unsigned int sd_log_blks_reserved;
570         unsigned int sd_log_commited_buf;
571         unsigned int sd_log_commited_revoke;
572
573         unsigned int sd_log_num_gl;
574         unsigned int sd_log_num_buf;
575         unsigned int sd_log_num_revoke;
576         unsigned int sd_log_num_rg;
577         unsigned int sd_log_num_databuf;
578         unsigned int sd_log_num_jdata;
579         unsigned int sd_log_num_hdrs;
580
581         struct list_head sd_log_le_gl;
582         struct list_head sd_log_le_buf;
583         struct list_head sd_log_le_revoke;
584         struct list_head sd_log_le_rg;
585         struct list_head sd_log_le_databuf;
586
587         unsigned int sd_log_blks_free;
588         struct mutex sd_log_reserve_mutex;
589
590         u64 sd_log_sequence;
591         unsigned int sd_log_head;
592         unsigned int sd_log_tail;
593         int sd_log_idle;
594
595         unsigned long sd_log_flush_time;
596         struct rw_semaphore sd_log_flush_lock;
597         struct list_head sd_log_flush_list;
598
599         unsigned int sd_log_flush_head;
600         u64 sd_log_flush_wrapped;
601
602         struct list_head sd_ail1_list;
603         struct list_head sd_ail2_list;
604         u64 sd_ail_sync_gen;
605
606         /* Replay stuff */
607
608         struct list_head sd_revoke_list;
609         unsigned int sd_replay_tail;
610
611         unsigned int sd_found_blocks;
612         unsigned int sd_found_revokes;
613         unsigned int sd_replayed_blocks;
614
615         /* For quiescing the filesystem */
616
617         struct gfs2_holder sd_freeze_gh;
618         struct mutex sd_freeze_lock;
619         unsigned int sd_freeze_count;
620
621         /* Counters */
622
623         atomic_t sd_glock_count;
624         atomic_t sd_glock_held_count;
625         atomic_t sd_inode_count;
626         atomic_t sd_reclaimed;
627
628         char sd_fsname[GFS2_FSNAME_LEN];
629         char sd_table_name[GFS2_FSNAME_LEN];
630         char sd_proto_name[GFS2_FSNAME_LEN];
631
632         /* Debugging crud */
633
634         unsigned long sd_last_warning;
635         struct vfsmount *sd_gfs2mnt;
636 };
637
638 #endif /* __INCORE_DOT_H__ */
639