x86-64: Move nodenumber from PDA to per-cpu.
[safe/jmp/linux-2.6] / arch / x86 / include / asm / topology.h
1 /*
2  * Written by: Matthew Dobson, IBM Corporation
3  *
4  * Copyright (C) 2002, IBM Corp.
5  *
6  * All rights reserved.
7  *
8  * This program is free software; you can redistribute it and/or modify
9  * it under the terms of the GNU General Public License as published by
10  * the Free Software Foundation; either version 2 of the License, or
11  * (at your option) any later version.
12  *
13  * This program is distributed in the hope that it will be useful, but
14  * WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY OR FITNESS FOR A PARTICULAR PURPOSE, GOOD TITLE or
16  * NON INFRINGEMENT.  See the GNU General Public License for more
17  * details.
18  *
19  * You should have received a copy of the GNU General Public License
20  * along with this program; if not, write to the Free Software
21  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
22  *
23  * Send feedback to <colpatch@us.ibm.com>
24  */
25 #ifndef _ASM_X86_TOPOLOGY_H
26 #define _ASM_X86_TOPOLOGY_H
27
28 #ifdef CONFIG_X86_32
29 # ifdef CONFIG_X86_HT
30 #  define ENABLE_TOPO_DEFINES
31 # endif
32 #else
33 # ifdef CONFIG_SMP
34 #  define ENABLE_TOPO_DEFINES
35 # endif
36 #endif
37
38 /* Node not present */
39 #define NUMA_NO_NODE    (-1)
40
41 #ifdef CONFIG_NUMA
42 #include <linux/cpumask.h>
43 #include <asm/mpspec.h>
44
45 #ifdef CONFIG_X86_32
46
47 /* Mappings between node number and cpus on that node. */
48 extern cpumask_t node_to_cpumask_map[];
49
50 /* Mappings between logical cpu number and node number */
51 extern int cpu_to_node_map[];
52
53 /* Returns the number of the node containing CPU 'cpu' */
54 static inline int cpu_to_node(int cpu)
55 {
56         return cpu_to_node_map[cpu];
57 }
58 #define early_cpu_to_node(cpu)  cpu_to_node(cpu)
59
60 /* Returns a bitmask of CPUs on Node 'node'.
61  *
62  * Side note: this function creates the returned cpumask on the stack
63  * so with a high NR_CPUS count, excessive stack space is used.  The
64  * cpumask_of_node function should be used whenever possible.
65  */
66 static inline cpumask_t node_to_cpumask(int node)
67 {
68         return node_to_cpumask_map[node];
69 }
70
71 /* Returns a bitmask of CPUs on Node 'node'. */
72 static inline const struct cpumask *cpumask_of_node(int node)
73 {
74         return &node_to_cpumask_map[node];
75 }
76
77 #else /* CONFIG_X86_64 */
78
79 /* Mappings between node number and cpus on that node. */
80 extern cpumask_t *node_to_cpumask_map;
81
82 /* Mappings between logical cpu number and node number */
83 DECLARE_EARLY_PER_CPU(int, x86_cpu_to_node_map);
84
85 /* Returns the number of the current Node. */
86 DECLARE_PER_CPU(int, node_number);
87 #define numa_node_id()          percpu_read(node_number)
88
89 #ifdef CONFIG_DEBUG_PER_CPU_MAPS
90 extern int cpu_to_node(int cpu);
91 extern int early_cpu_to_node(int cpu);
92 extern const cpumask_t *cpumask_of_node(int node);
93 extern cpumask_t node_to_cpumask(int node);
94
95 #else   /* !CONFIG_DEBUG_PER_CPU_MAPS */
96
97 /* Returns the number of the node containing CPU 'cpu' */
98 static inline int cpu_to_node(int cpu)
99 {
100         return per_cpu(x86_cpu_to_node_map, cpu);
101 }
102
103 /* Same function but used if called before per_cpu areas are setup */
104 static inline int early_cpu_to_node(int cpu)
105 {
106         return early_per_cpu(x86_cpu_to_node_map, cpu);
107 }
108
109 /* Returns a pointer to the cpumask of CPUs on Node 'node'. */
110 static inline const cpumask_t *cpumask_of_node(int node)
111 {
112         return &node_to_cpumask_map[node];
113 }
114
115 /* Returns a bitmask of CPUs on Node 'node'. */
116 static inline cpumask_t node_to_cpumask(int node)
117 {
118         return node_to_cpumask_map[node];
119 }
120
121 #endif /* !CONFIG_DEBUG_PER_CPU_MAPS */
122
123 /*
124  * Replace default node_to_cpumask_ptr with optimized version
125  * Deprecated: use "const struct cpumask *mask = cpumask_of_node(node)"
126  */
127 #define node_to_cpumask_ptr(v, node)            \
128                 const cpumask_t *v = cpumask_of_node(node)
129
130 #define node_to_cpumask_ptr_next(v, node)       \
131                            v = cpumask_of_node(node)
132
133 #endif /* CONFIG_X86_64 */
134
135 /*
136  * Returns the number of the node containing Node 'node'. This
137  * architecture is flat, so it is a pretty simple function!
138  */
139 #define parent_node(node) (node)
140
141 #define pcibus_to_node(bus) __pcibus_to_node(bus)
142 #define pcibus_to_cpumask(bus) __pcibus_to_cpumask(bus)
143
144 #ifdef CONFIG_X86_32
145 extern unsigned long node_start_pfn[];
146 extern unsigned long node_end_pfn[];
147 extern unsigned long node_remap_size[];
148 #define node_has_online_mem(nid) (node_start_pfn[nid] != node_end_pfn[nid])
149
150 # define SD_CACHE_NICE_TRIES    1
151 # define SD_IDLE_IDX            1
152 # define SD_NEWIDLE_IDX         2
153 # define SD_FORKEXEC_IDX        0
154
155 #else
156
157 # define SD_CACHE_NICE_TRIES    2
158 # define SD_IDLE_IDX            2
159 # define SD_NEWIDLE_IDX         2
160 # define SD_FORKEXEC_IDX        1
161
162 #endif
163
164 /* sched_domains SD_NODE_INIT for NUMA machines */
165 #define SD_NODE_INIT (struct sched_domain) {            \
166         .min_interval           = 8,                    \
167         .max_interval           = 32,                   \
168         .busy_factor            = 32,                   \
169         .imbalance_pct          = 125,                  \
170         .cache_nice_tries       = SD_CACHE_NICE_TRIES,  \
171         .busy_idx               = 3,                    \
172         .idle_idx               = SD_IDLE_IDX,          \
173         .newidle_idx            = SD_NEWIDLE_IDX,       \
174         .wake_idx               = 1,                    \
175         .forkexec_idx           = SD_FORKEXEC_IDX,      \
176         .flags                  = SD_LOAD_BALANCE       \
177                                 | SD_BALANCE_EXEC       \
178                                 | SD_BALANCE_FORK       \
179                                 | SD_WAKE_AFFINE        \
180                                 | SD_WAKE_BALANCE       \
181                                 | SD_SERIALIZE,         \
182         .last_balance           = jiffies,              \
183         .balance_interval       = 1,                    \
184 }
185
186 #ifdef CONFIG_X86_64_ACPI_NUMA
187 extern int __node_distance(int, int);
188 #define node_distance(a, b) __node_distance(a, b)
189 #endif
190
191 #else /* !CONFIG_NUMA */
192
193 #define numa_node_id()          0
194 #define cpu_to_node(cpu)        0
195 #define early_cpu_to_node(cpu)  0
196
197 static inline const cpumask_t *cpumask_of_node(int node)
198 {
199         return &cpu_online_map;
200 }
201 static inline cpumask_t node_to_cpumask(int node)
202 {
203         return cpu_online_map;
204 }
205 static inline int node_to_first_cpu(int node)
206 {
207         return first_cpu(cpu_online_map);
208 }
209
210 /*
211  * Replace default node_to_cpumask_ptr with optimized version
212  * Deprecated: use "const struct cpumask *mask = cpumask_of_node(node)"
213  */
214 #define node_to_cpumask_ptr(v, node)            \
215                 const cpumask_t *v = cpumask_of_node(node)
216
217 #define node_to_cpumask_ptr_next(v, node)       \
218                            v = cpumask_of_node(node)
219 #endif
220
221 #include <asm-generic/topology.h>
222
223 #ifdef CONFIG_NUMA
224 /* Returns the number of the first CPU on Node 'node'. */
225 static inline int node_to_first_cpu(int node)
226 {
227         return cpumask_first(cpumask_of_node(node));
228 }
229 #endif
230
231 extern cpumask_t cpu_coregroup_map(int cpu);
232 extern const struct cpumask *cpu_coregroup_mask(int cpu);
233
234 #ifdef ENABLE_TOPO_DEFINES
235 #define topology_physical_package_id(cpu)       (cpu_data(cpu).phys_proc_id)
236 #define topology_core_id(cpu)                   (cpu_data(cpu).cpu_core_id)
237 #define topology_core_siblings(cpu)             (per_cpu(cpu_core_map, cpu))
238 #define topology_thread_siblings(cpu)           (per_cpu(cpu_sibling_map, cpu))
239 #define topology_core_cpumask(cpu)              (&per_cpu(cpu_core_map, cpu))
240 #define topology_thread_cpumask(cpu)            (&per_cpu(cpu_sibling_map, cpu))
241
242 /* indicates that pointers to the topology cpumask_t maps are valid */
243 #define arch_provides_topology_pointers         yes
244 #endif
245
246 static inline void arch_fix_phys_package_id(int num, u32 slot)
247 {
248 }
249
250 struct pci_bus;
251 void set_pci_bus_resources_arch_default(struct pci_bus *b);
252
253 #ifdef CONFIG_SMP
254 #define mc_capable()    (cpus_weight(per_cpu(cpu_core_map, 0)) != nr_cpu_ids)
255 #define smt_capable()                   (smp_num_siblings > 1)
256 #endif
257
258 #ifdef CONFIG_NUMA
259 extern int get_mp_bus_to_node(int busnum);
260 extern void set_mp_bus_to_node(int busnum, int node);
261 #else
262 static inline int get_mp_bus_to_node(int busnum)
263 {
264         return 0;
265 }
266 static inline void set_mp_bus_to_node(int busnum, int node)
267 {
268 }
269 #endif
270
271 #endif /* _ASM_X86_TOPOLOGY_H */