SUNRPC: Replace jiffies-based metrics with ktime-based metrics
[safe/jmp/linux-2.6] / include / linux / sunrpc / sched.h
1 /*
2  * linux/include/linux/sunrpc/sched.h
3  *
4  * Scheduling primitives for kernel Sun RPC.
5  *
6  * Copyright (C) 1996, Olaf Kirch <okir@monad.swb.de>
7  */
8
9 #ifndef _LINUX_SUNRPC_SCHED_H_
10 #define _LINUX_SUNRPC_SCHED_H_
11
12 #include <linux/timer.h>
13 #include <linux/ktime.h>
14 #include <linux/sunrpc/types.h>
15 #include <linux/spinlock.h>
16 #include <linux/wait.h>
17 #include <linux/workqueue.h>
18 #include <linux/sunrpc/xdr.h>
19
20 /*
21  * This is the actual RPC procedure call info.
22  */
23 struct rpc_procinfo;
24 struct rpc_message {
25         struct rpc_procinfo *   rpc_proc;       /* Procedure information */
26         void *                  rpc_argp;       /* Arguments */
27         void *                  rpc_resp;       /* Result */
28         struct rpc_cred *       rpc_cred;       /* Credentials */
29 };
30
31 struct rpc_call_ops;
32 struct rpc_wait_queue;
33 struct rpc_wait {
34         struct list_head        list;           /* wait queue links */
35         struct list_head        links;          /* Links to related tasks */
36         struct list_head        timer_list;     /* Timer list */
37         unsigned long           expires;
38 };
39
40 /*
41  * This is the RPC task struct
42  */
43 struct rpc_task {
44 #ifdef RPC_DEBUG
45         unsigned long           tk_magic;       /* 0xf00baa */
46 #endif
47         atomic_t                tk_count;       /* Reference count */
48         struct list_head        tk_task;        /* global list of tasks */
49         struct rpc_clnt *       tk_client;      /* RPC client */
50         struct rpc_rqst *       tk_rqstp;       /* RPC request */
51         int                     tk_status;      /* result of last operation */
52
53         /*
54          * RPC call state
55          */
56         struct rpc_message      tk_msg;         /* RPC call info */
57         __u8                    tk_garb_retry;
58         __u8                    tk_cred_retry;
59
60         /*
61          * callback     to be executed after waking up
62          * action       next procedure for async tasks
63          * tk_ops       caller callbacks
64          */
65         void                    (*tk_callback)(struct rpc_task *);
66         void                    (*tk_action)(struct rpc_task *);
67         const struct rpc_call_ops *tk_ops;
68         void *                  tk_calldata;
69
70         unsigned long           tk_timeout;     /* timeout for rpc_sleep() */
71         unsigned short          tk_flags;       /* misc flags */
72         unsigned long           tk_runstate;    /* Task run status */
73         struct workqueue_struct *tk_workqueue;  /* Normally rpciod, but could
74                                                  * be any workqueue
75                                                  */
76         struct rpc_wait_queue   *tk_waitqueue;  /* RPC wait queue we're on */
77         union {
78                 struct work_struct      tk_work;        /* Async task work queue */
79                 struct rpc_wait         tk_wait;        /* RPC wait */
80         } u;
81
82         unsigned short          tk_timeouts;    /* maj timeouts */
83         size_t                  tk_bytes_sent;  /* total bytes sent */
84         ktime_t                 tk_start,       /* RPC task init timestamp */
85                                 tk_rtt;         /* round-trip time */
86
87         pid_t                   tk_owner;       /* Process id for batching tasks */
88         unsigned char           tk_priority : 2;/* Task priority */
89
90 #ifdef RPC_DEBUG
91         unsigned short          tk_pid;         /* debugging aid */
92 #endif
93 };
94 #define tk_xprt                 tk_client->cl_xprt
95
96 /* support walking a list of tasks on a wait queue */
97 #define task_for_each(task, pos, head) \
98         list_for_each(pos, head) \
99                 if ((task=list_entry(pos, struct rpc_task, u.tk_wait.list)),1)
100
101 #define task_for_first(task, head) \
102         if (!list_empty(head) &&  \
103             ((task=list_entry((head)->next, struct rpc_task, u.tk_wait.list)),1))
104
105 typedef void                    (*rpc_action)(struct rpc_task *);
106
107 struct rpc_call_ops {
108         void (*rpc_call_prepare)(struct rpc_task *, void *);
109         void (*rpc_call_done)(struct rpc_task *, void *);
110         void (*rpc_release)(void *);
111 };
112
113 struct rpc_task_setup {
114         struct rpc_task *task;
115         struct rpc_clnt *rpc_client;
116         const struct rpc_message *rpc_message;
117         const struct rpc_call_ops *callback_ops;
118         void *callback_data;
119         struct workqueue_struct *workqueue;
120         unsigned short flags;
121         signed char priority;
122 };
123
124 /*
125  * RPC task flags
126  */
127 #define RPC_TASK_ASYNC          0x0001          /* is an async task */
128 #define RPC_TASK_SWAPPER        0x0002          /* is swapping in/out */
129 #define RPC_CALL_MAJORSEEN      0x0020          /* major timeout seen */
130 #define RPC_TASK_ROOTCREDS      0x0040          /* force root creds */
131 #define RPC_TASK_DYNAMIC        0x0080          /* task was kmalloc'ed */
132 #define RPC_TASK_KILLED         0x0100          /* task was killed */
133 #define RPC_TASK_SOFT           0x0200          /* Use soft timeouts */
134 #define RPC_TASK_SOFTCONN       0x0400          /* Fail if can't connect */
135
136 #define RPC_IS_ASYNC(t)         ((t)->tk_flags & RPC_TASK_ASYNC)
137 #define RPC_IS_SWAPPER(t)       ((t)->tk_flags & RPC_TASK_SWAPPER)
138 #define RPC_DO_ROOTOVERRIDE(t)  ((t)->tk_flags & RPC_TASK_ROOTCREDS)
139 #define RPC_ASSASSINATED(t)     ((t)->tk_flags & RPC_TASK_KILLED)
140 #define RPC_IS_SOFT(t)          ((t)->tk_flags & RPC_TASK_SOFT)
141 #define RPC_IS_SOFTCONN(t)      ((t)->tk_flags & RPC_TASK_SOFTCONN)
142
143 #define RPC_TASK_RUNNING        0
144 #define RPC_TASK_QUEUED         1
145 #define RPC_TASK_ACTIVE         2
146
147 #define RPC_IS_RUNNING(t)       test_bit(RPC_TASK_RUNNING, &(t)->tk_runstate)
148 #define rpc_set_running(t)      set_bit(RPC_TASK_RUNNING, &(t)->tk_runstate)
149 #define rpc_test_and_set_running(t) \
150                                 test_and_set_bit(RPC_TASK_RUNNING, &(t)->tk_runstate)
151 #define rpc_clear_running(t)    \
152         do { \
153                 smp_mb__before_clear_bit(); \
154                 clear_bit(RPC_TASK_RUNNING, &(t)->tk_runstate); \
155                 smp_mb__after_clear_bit(); \
156         } while (0)
157
158 #define RPC_IS_QUEUED(t)        test_bit(RPC_TASK_QUEUED, &(t)->tk_runstate)
159 #define rpc_set_queued(t)       set_bit(RPC_TASK_QUEUED, &(t)->tk_runstate)
160 #define rpc_clear_queued(t)     \
161         do { \
162                 smp_mb__before_clear_bit(); \
163                 clear_bit(RPC_TASK_QUEUED, &(t)->tk_runstate); \
164                 smp_mb__after_clear_bit(); \
165         } while (0)
166
167 #define RPC_IS_ACTIVATED(t)     test_bit(RPC_TASK_ACTIVE, &(t)->tk_runstate)
168
169 /*
170  * Task priorities.
171  * Note: if you change these, you must also change
172  * the task initialization definitions below.
173  */
174 #define RPC_PRIORITY_LOW        (-1)
175 #define RPC_PRIORITY_NORMAL     (0)
176 #define RPC_PRIORITY_HIGH       (1)
177 #define RPC_PRIORITY_PRIVILEGED (2)
178 #define RPC_NR_PRIORITY         (1 + RPC_PRIORITY_PRIVILEGED - RPC_PRIORITY_LOW)
179
180 struct rpc_timer {
181         struct timer_list timer;
182         struct list_head list;
183         unsigned long expires;
184 };
185
186 /*
187  * RPC synchronization objects
188  */
189 struct rpc_wait_queue {
190         spinlock_t              lock;
191         struct list_head        tasks[RPC_NR_PRIORITY]; /* task queue for each priority level */
192         pid_t                   owner;                  /* process id of last task serviced */
193         unsigned char           maxpriority;            /* maximum priority (0 if queue is not a priority queue) */
194         unsigned char           priority;               /* current priority */
195         unsigned char           count;                  /* # task groups remaining serviced so far */
196         unsigned char           nr;                     /* # tasks remaining for cookie */
197         unsigned short          qlen;                   /* total # tasks waiting in queue */
198         struct rpc_timer        timer_list;
199 #ifdef RPC_DEBUG
200         const char *            name;
201 #endif
202 };
203
204 /*
205  * This is the # requests to send consecutively
206  * from a single cookie.  The aim is to improve
207  * performance of NFS operations such as read/write.
208  */
209 #define RPC_BATCH_COUNT                 16
210 #define RPC_IS_PRIORITY(q)              ((q)->maxpriority > 0)
211
212 /*
213  * Function prototypes
214  */
215 struct rpc_task *rpc_new_task(const struct rpc_task_setup *);
216 struct rpc_task *rpc_run_task(const struct rpc_task_setup *);
217 struct rpc_task *rpc_run_bc_task(struct rpc_rqst *req,
218                                 const struct rpc_call_ops *ops);
219 void            rpc_put_task(struct rpc_task *);
220 void            rpc_exit_task(struct rpc_task *);
221 void            rpc_release_calldata(const struct rpc_call_ops *, void *);
222 void            rpc_killall_tasks(struct rpc_clnt *);
223 void            rpc_execute(struct rpc_task *);
224 void            rpc_init_priority_wait_queue(struct rpc_wait_queue *, const char *);
225 void            rpc_init_wait_queue(struct rpc_wait_queue *, const char *);
226 void            rpc_destroy_wait_queue(struct rpc_wait_queue *);
227 void            rpc_sleep_on(struct rpc_wait_queue *, struct rpc_task *,
228                                         rpc_action action);
229 void            rpc_wake_up_queued_task(struct rpc_wait_queue *,
230                                         struct rpc_task *);
231 void            rpc_wake_up(struct rpc_wait_queue *);
232 struct rpc_task *rpc_wake_up_next(struct rpc_wait_queue *);
233 void            rpc_wake_up_status(struct rpc_wait_queue *, int);
234 int             rpc_queue_empty(struct rpc_wait_queue *);
235 void            rpc_delay(struct rpc_task *, unsigned long);
236 void *          rpc_malloc(struct rpc_task *, size_t);
237 void            rpc_free(void *);
238 int             rpciod_up(void);
239 void            rpciod_down(void);
240 int             __rpc_wait_for_completion_task(struct rpc_task *task, int (*)(void *));
241 #ifdef RPC_DEBUG
242 void            rpc_show_tasks(void);
243 #endif
244 int             rpc_init_mempool(void);
245 void            rpc_destroy_mempool(void);
246 extern struct workqueue_struct *rpciod_workqueue;
247 void            rpc_prepare_task(struct rpc_task *task);
248
249 static inline void rpc_exit(struct rpc_task *task, int status)
250 {
251         task->tk_status = status;
252         task->tk_action = rpc_exit_task;
253 }
254
255 static inline int rpc_wait_for_completion_task(struct rpc_task *task)
256 {
257         return __rpc_wait_for_completion_task(task, NULL);
258 }
259
260 static inline void rpc_task_set_priority(struct rpc_task *task, unsigned char prio)
261 {
262         task->tk_priority = prio - RPC_PRIORITY_LOW;
263 }
264
265 static inline int rpc_task_has_priority(struct rpc_task *task, unsigned char prio)
266 {
267         return (task->tk_priority + RPC_PRIORITY_LOW == prio);
268 }
269
270 #ifdef RPC_DEBUG
271 static inline const char * rpc_qname(struct rpc_wait_queue *q)
272 {
273         return ((q && q->name) ? q->name : "unknown");
274 }
275 #endif
276
277 #endif /* _LINUX_SUNRPC_SCHED_H_ */