tracing: profile likely and unlikely annotations
[safe/jmp/linux-2.6] / include / linux / compiler.h
1 #ifndef __LINUX_COMPILER_H
2 #define __LINUX_COMPILER_H
3
4 #ifndef __ASSEMBLY__
5
6 #ifdef __CHECKER__
7 # define __user         __attribute__((noderef, address_space(1)))
8 # define __kernel       /* default address space */
9 # define __safe         __attribute__((safe))
10 # define __force        __attribute__((force))
11 # define __nocast       __attribute__((nocast))
12 # define __iomem        __attribute__((noderef, address_space(2)))
13 # define __acquires(x)  __attribute__((context(x,0,1)))
14 # define __releases(x)  __attribute__((context(x,1,0)))
15 # define __acquire(x)   __context__(x,1)
16 # define __release(x)   __context__(x,-1)
17 # define __cond_lock(x,c)       ((c) ? ({ __acquire(x); 1; }) : 0)
18 extern void __chk_user_ptr(const volatile void __user *);
19 extern void __chk_io_ptr(const volatile void __iomem *);
20 #else
21 # define __user
22 # define __kernel
23 # define __safe
24 # define __force
25 # define __nocast
26 # define __iomem
27 # define __chk_user_ptr(x) (void)0
28 # define __chk_io_ptr(x) (void)0
29 # define __builtin_warning(x, y...) (1)
30 # define __acquires(x)
31 # define __releases(x)
32 # define __acquire(x) (void)0
33 # define __release(x) (void)0
34 # define __cond_lock(x,c) (c)
35 #endif
36
37 #ifdef __KERNEL__
38
39 #if __GNUC__ >= 4
40 # include <linux/compiler-gcc4.h>
41 #elif __GNUC__ == 3 && __GNUC_MINOR__ >= 2
42 # include <linux/compiler-gcc3.h>
43 #else
44 # error Sorry, your compiler is too old/not recognized.
45 #endif
46
47 #define notrace __attribute__((no_instrument_function))
48
49 /* Intel compiler defines __GNUC__. So we will overwrite implementations
50  * coming from above header files here
51  */
52 #ifdef __INTEL_COMPILER
53 # include <linux/compiler-intel.h>
54 #endif
55
56 /*
57  * Generic compiler-dependent macros required for kernel
58  * build go below this comment. Actual compiler/compiler version
59  * specific implementations come from the above header files
60  */
61
62 #ifdef CONFIG_TRACE_UNLIKELY_PROFILE
63 struct ftrace_likely_data {
64         const char *func;
65         const char *file;
66         unsigned line;
67         unsigned long correct;
68         unsigned long incorrect;
69 };
70 void ftrace_likely_update(struct ftrace_likely_data *f, int val, int expect);
71
72 #define likely_notrace(x)       __builtin_expect(!!(x), 1)
73 #define unlikely_notrace(x)     __builtin_expect(!!(x), 0)
74
75 #define likely_check(x) ({                                              \
76                         int ______r;                                    \
77                         static struct ftrace_likely_data                \
78                                 __attribute__((__aligned__(4)))         \
79                                 __attribute__((section("_ftrace_likely"))) \
80                                 ______f = {                             \
81                                 .func = __func__,                       \
82                                 .file = __FILE__,                       \
83                                 .line = __LINE__,                       \
84                         };                                              \
85                         ______f.line = __LINE__;                        \
86                         ______r = likely_notrace(x);                    \
87                         ftrace_likely_update(&______f, ______r, 1);     \
88                         ______r;                                        \
89                 })
90 #define unlikely_check(x) ({                                            \
91                         int ______r;                                    \
92                         static struct ftrace_likely_data                \
93                                 __attribute__((__aligned__(4)))         \
94                                 __attribute__((section("_ftrace_unlikely"))) \
95                                 ______f = {                             \
96                                 .func = __func__,                       \
97                                 .file = __FILE__,                       \
98                                 .line = __LINE__,                       \
99                         };                                              \
100                         ______f.line = __LINE__;                        \
101                         ______r = unlikely_notrace(x);                  \
102                         ftrace_likely_update(&______f, ______r, 0);     \
103                         ______r;                                        \
104                 })
105
106 /*
107  * Using __builtin_constant_p(x) to ignore cases where the return
108  * value is always the same.  This idea is taken from a similar patch
109  * written by Daniel Walker.
110  */
111 # ifndef likely
112 #  define likely(x)     (__builtin_constant_p(x) ? !!(x) : likely_check(x))
113 # endif
114 # ifndef unlikely
115 #  define unlikely(x)   (__builtin_constant_p(x) ? !!(x) : unlikely_check(x))
116 # endif
117 #else
118 # define likely(x)      __builtin_expect(!!(x), 1)
119 # define unlikely(x)    __builtin_expect(!!(x), 0)
120 #endif
121
122 /* Optimization barrier */
123 #ifndef barrier
124 # define barrier() __memory_barrier()
125 #endif
126
127 #ifndef RELOC_HIDE
128 # define RELOC_HIDE(ptr, off)                                   \
129   ({ unsigned long __ptr;                                       \
130      __ptr = (unsigned long) (ptr);                             \
131     (typeof(ptr)) (__ptr + (off)); })
132 #endif
133
134 #endif /* __KERNEL__ */
135
136 #endif /* __ASSEMBLY__ */
137
138 #ifdef __KERNEL__
139 /*
140  * Allow us to mark functions as 'deprecated' and have gcc emit a nice
141  * warning for each use, in hopes of speeding the functions removal.
142  * Usage is:
143  *              int __deprecated foo(void)
144  */
145 #ifndef __deprecated
146 # define __deprecated           /* unimplemented */
147 #endif
148
149 #ifdef MODULE
150 #define __deprecated_for_modules __deprecated
151 #else
152 #define __deprecated_for_modules
153 #endif
154
155 #ifndef __must_check
156 #define __must_check
157 #endif
158
159 #ifndef CONFIG_ENABLE_MUST_CHECK
160 #undef __must_check
161 #define __must_check
162 #endif
163 #ifndef CONFIG_ENABLE_WARN_DEPRECATED
164 #undef __deprecated
165 #undef __deprecated_for_modules
166 #define __deprecated
167 #define __deprecated_for_modules
168 #endif
169
170 /*
171  * Allow us to avoid 'defined but not used' warnings on functions and data,
172  * as well as force them to be emitted to the assembly file.
173  *
174  * As of gcc 3.4, static functions that are not marked with attribute((used))
175  * may be elided from the assembly file.  As of gcc 3.4, static data not so
176  * marked will not be elided, but this may change in a future gcc version.
177  *
178  * NOTE: Because distributions shipped with a backported unit-at-a-time
179  * compiler in gcc 3.3, we must define __used to be __attribute__((used))
180  * for gcc >=3.3 instead of 3.4.
181  *
182  * In prior versions of gcc, such functions and data would be emitted, but
183  * would be warned about except with attribute((unused)).
184  *
185  * Mark functions that are referenced only in inline assembly as __used so
186  * the code is emitted even though it appears to be unreferenced.
187  */
188 #ifndef __used
189 # define __used                 /* unimplemented */
190 #endif
191
192 #ifndef __maybe_unused
193 # define __maybe_unused         /* unimplemented */
194 #endif
195
196 #ifndef noinline
197 #define noinline
198 #endif
199
200 /*
201  * Rather then using noinline to prevent stack consumption, use
202  * noinline_for_stack instead.  For documentaiton reasons.
203  */
204 #define noinline_for_stack noinline
205
206 #ifndef __always_inline
207 #define __always_inline inline
208 #endif
209
210 #endif /* __KERNEL__ */
211
212 /*
213  * From the GCC manual:
214  *
215  * Many functions do not examine any values except their arguments,
216  * and have no effects except the return value.  Basically this is
217  * just slightly more strict class than the `pure' attribute above,
218  * since function is not allowed to read global memory.
219  *
220  * Note that a function that has pointer arguments and examines the
221  * data pointed to must _not_ be declared `const'.  Likewise, a
222  * function that calls a non-`const' function usually must not be
223  * `const'.  It does not make sense for a `const' function to return
224  * `void'.
225  */
226 #ifndef __attribute_const__
227 # define __attribute_const__    /* unimplemented */
228 #endif
229
230 /*
231  * Tell gcc if a function is cold. The compiler will assume any path
232  * directly leading to the call is unlikely.
233  */
234
235 #ifndef __cold
236 #define __cold
237 #endif
238
239 /* Simple shorthand for a section definition */
240 #ifndef __section
241 # define __section(S) __attribute__ ((__section__(#S)))
242 #endif
243
244 /*
245  * Prevent the compiler from merging or refetching accesses.  The compiler
246  * is also forbidden from reordering successive instances of ACCESS_ONCE(),
247  * but only when the compiler is aware of some particular ordering.  One way
248  * to make the compiler aware of ordering is to put the two invocations of
249  * ACCESS_ONCE() in different C statements.
250  *
251  * This macro does absolutely -nothing- to prevent the CPU from reordering,
252  * merging, or refetching absolutely anything at any time.  Its main intended
253  * use is to mediate communication between process-level code and irq/NMI
254  * handlers, all running on the same CPU.
255  */
256 #define ACCESS_ONCE(x) (*(volatile typeof(x) *)&(x))
257
258 #endif /* __LINUX_COMPILER_H */