SAFE public projects git trees. - safe/jmp/linux-2.6/blob - drivers/pci/probe.c

   1 /*
   2  * probe.c - PCI detection and setup code
   3  */
   4
   5 #include <linux/kernel.h>
   6 #include <linux/delay.h>
   7 #include <linux/init.h>
   8 #include <linux/pci.h>
   9 #include <linux/slab.h>
  10 #include <linux/module.h>
  11 #include <linux/cpumask.h>
  12 #include <linux/pci-aspm.h>
  13 #include "pci.h"
  14
  15 #define CARDBUS_LATENCY_TIMER   176     /* secondary latency timer */
  16 #define CARDBUS_RESERVE_BUSNR   3
  17 #define PCI_CFG_SPACE_SIZE      256
  18 #define PCI_CFG_SPACE_EXP_SIZE  4096
  19
  20 /* Ugh.  Need to stop exporting this to modules. */
  21 LIST_HEAD(pci_root_buses);
  22 EXPORT_SYMBOL(pci_root_buses);
  23
  24
  25 static int find_anything(struct device *dev, void *data)
  26 {
  27         return 1;
  28 }
  29
  30 /*
  31  * Some device drivers need know if pci is initiated.
  32  * Basically, we think pci is not initiated when there
  33  * is no device to be found on the pci_bus_type.
  34  */
  35 int no_pci_devices(void)
  36 {
  37         struct device *dev;
  38         int no_devices;
  39
  40         dev = bus_find_device(&pci_bus_type, NULL, NULL, find_anything);
  41         no_devices = (dev == NULL);
  42         put_device(dev);
  43         return no_devices;
  44 }
  45 EXPORT_SYMBOL(no_pci_devices);
  46
  47 #ifdef HAVE_PCI_LEGACY
  48 /**
  49  * pci_create_legacy_files - create legacy I/O port and memory files
  50  * @b: bus to create files under
  51  *
  52  * Some platforms allow access to legacy I/O port and ISA memory space on
  53  * a per-bus basis.  This routine creates the files and ties them into
  54  * their associated read, write and mmap files from pci-sysfs.c
  55  */
  56 static void pci_create_legacy_files(struct pci_bus *b)
  57 {
  58         b->legacy_io = kzalloc(sizeof(struct bin_attribute) * 2,
  59                                GFP_ATOMIC);
  60         if (b->legacy_io) {
  61                 b->legacy_io->attr.name = "legacy_io";
  62                 b->legacy_io->size = 0xffff;
  63                 b->legacy_io->attr.mode = S_IRUSR | S_IWUSR;
  64                 b->legacy_io->read = pci_read_legacy_io;
  65                 b->legacy_io->write = pci_write_legacy_io;
  66                 device_create_bin_file(&b->dev, b->legacy_io);
  67
  68                 /* Allocated above after the legacy_io struct */
  69                 b->legacy_mem = b->legacy_io + 1;
  70                 b->legacy_mem->attr.name = "legacy_mem";
  71                 b->legacy_mem->size = 1024*1024;
  72                 b->legacy_mem->attr.mode = S_IRUSR | S_IWUSR;
  73                 b->legacy_mem->mmap = pci_mmap_legacy_mem;
  74                 device_create_bin_file(&b->dev, b->legacy_mem);
  75         }
  76 }
  77
  78 void pci_remove_legacy_files(struct pci_bus *b)
  79 {
  80         if (b->legacy_io) {
  81                 device_remove_bin_file(&b->dev, b->legacy_io);
  82                 device_remove_bin_file(&b->dev, b->legacy_mem);
  83                 kfree(b->legacy_io); /* both are allocated here */
  84         }
  85 }
  86 #else /* !HAVE_PCI_LEGACY */
  87 static inline void pci_create_legacy_files(struct pci_bus *bus) { return; }
  88 void pci_remove_legacy_files(struct pci_bus *bus) { return; }
  89 #endif /* HAVE_PCI_LEGACY */
  90
  91 /*
  92  * PCI Bus Class Devices
  93  */
  94 static ssize_t pci_bus_show_cpuaffinity(struct device *dev,
  95                                         int type,
  96                                         struct device_attribute *attr,
  97                                         char *buf)
  98 {
  99         int ret;
 100         cpumask_t cpumask;
 101
 102         cpumask = pcibus_to_cpumask(to_pci_bus(dev));
 103         ret = type?
 104                 cpulist_scnprintf(buf, PAGE_SIZE-2, cpumask):
 105                 cpumask_scnprintf(buf, PAGE_SIZE-2, cpumask);
 106         buf[ret++] = '\n';
 107         buf[ret] = '\0';
 108         return ret;
 109 }
 110
 111 static ssize_t inline pci_bus_show_cpumaskaffinity(struct device *dev,
 112                                         struct device_attribute *attr,
 113                                         char *buf)
 114 {
 115         return pci_bus_show_cpuaffinity(dev, 0, attr, buf);
 116 }
 117
 118 static ssize_t inline pci_bus_show_cpulistaffinity(struct device *dev,
 119                                         struct device_attribute *attr,
 120                                         char *buf)
 121 {
 122         return pci_bus_show_cpuaffinity(dev, 1, attr, buf);
 123 }
 124
 125 DEVICE_ATTR(cpuaffinity,     S_IRUGO, pci_bus_show_cpumaskaffinity, NULL);
 126 DEVICE_ATTR(cpulistaffinity, S_IRUGO, pci_bus_show_cpulistaffinity, NULL);
 127
 128 /*
 129  * PCI Bus Class
 130  */
 131 static void release_pcibus_dev(struct device *dev)
 132 {
 133         struct pci_bus *pci_bus = to_pci_bus(dev);
 134
 135         if (pci_bus->bridge)
 136                 put_device(pci_bus->bridge);
 137         kfree(pci_bus);
 138 }
 139
 140 static struct class pcibus_class = {
 141         .name           = "pci_bus",
 142         .dev_release    = &release_pcibus_dev,
 143 };
 144
 145 static int __init pcibus_class_init(void)
 146 {
 147         return class_register(&pcibus_class);
 148 }
 149 postcore_initcall(pcibus_class_init);
 150
 151 /*
 152  * Translate the low bits of the PCI base
 153  * to the resource type
 154  */
 155 static inline unsigned int pci_calc_resource_flags(unsigned int flags)
 156 {
 157         if (flags & PCI_BASE_ADDRESS_SPACE_IO)
 158                 return IORESOURCE_IO;
 159
 160         if (flags & PCI_BASE_ADDRESS_MEM_PREFETCH)
 161                 return IORESOURCE_MEM | IORESOURCE_PREFETCH;
 162
 163         return IORESOURCE_MEM;
 164 }
 165
 166 /*
 167  * Find the extent of a PCI decode..
 168  */
 169 static u32 pci_size(u32 base, u32 maxbase, u32 mask)
 170 {
 171         u32 size = mask & maxbase;      /* Find the significant bits */
 172         if (!size)
 173                 return 0;
 174
 175         /* Get the lowest of them to find the decode size, and
 176            from that the extent.  */
 177         size = (size & ~(size-1)) - 1;
 178
 179         /* base == maxbase can be valid only if the BAR has
 180            already been programmed with all 1s.  */
 181         if (base == maxbase && ((base | size) & mask) != mask)
 182                 return 0;
 183
 184         return size;
 185 }
 186
 187 static u64 pci_size64(u64 base, u64 maxbase, u64 mask)
 188 {
 189         u64 size = mask & maxbase;      /* Find the significant bits */
 190         if (!size)
 191                 return 0;
 192
 193         /* Get the lowest of them to find the decode size, and
 194            from that the extent.  */
 195         size = (size & ~(size-1)) - 1;
 196
 197         /* base == maxbase can be valid only if the BAR has
 198            already been programmed with all 1s.  */
 199         if (base == maxbase && ((base | size) & mask) != mask)
 200                 return 0;
 201
 202         return size;
 203 }
 204
 205 static inline int is_64bit_memory(u32 mask)
 206 {
 207         if ((mask & (PCI_BASE_ADDRESS_SPACE|PCI_BASE_ADDRESS_MEM_TYPE_MASK)) ==
 208             (PCI_BASE_ADDRESS_SPACE_MEMORY|PCI_BASE_ADDRESS_MEM_TYPE_64))
 209                 return 1;
 210         return 0;
 211 }
 212
 213 static void pci_read_bases(struct pci_dev *dev, unsigned int howmany, int rom)
 214 {
 215         unsigned int pos, reg, next;
 216         u32 l, sz;
 217         struct resource *res;
 218
 219         for(pos=0; pos<howmany; pos = next) {
 220                 u64 l64;
 221                 u64 sz64;
 222                 u32 raw_sz;
 223
 224                 next = pos+1;
 225                 res = &dev->resource[pos];
 226                 res->name = pci_name(dev);
 227                 reg = PCI_BASE_ADDRESS_0 + (pos << 2);
 228                 pci_read_config_dword(dev, reg, &l);
 229                 pci_write_config_dword(dev, reg, ~0);
 230                 pci_read_config_dword(dev, reg, &sz);
 231                 pci_write_config_dword(dev, reg, l);
 232                 if (!sz || sz == 0xffffffff)
 233                         continue;
 234                 if (l == 0xffffffff)
 235                         l = 0;
 236                 raw_sz = sz;
 237                 if ((l & PCI_BASE_ADDRESS_SPACE) ==
 238                                 PCI_BASE_ADDRESS_SPACE_MEMORY) {
 239                         sz = pci_size(l, sz, (u32)PCI_BASE_ADDRESS_MEM_MASK);
 240                         /*
 241                          * For 64bit prefetchable memory sz could be 0, if the
 242                          * real size is bigger than 4G, so we need to check
 243                          * szhi for that.
 244                          */
 245                         if (!is_64bit_memory(l) && !sz)
 246                                 continue;
 247                         res->start = l & PCI_BASE_ADDRESS_MEM_MASK;
 248                         res->flags |= l & ~PCI_BASE_ADDRESS_MEM_MASK;
 249                 } else {
 250                         sz = pci_size(l, sz, PCI_BASE_ADDRESS_IO_MASK & 0xffff);
 251                         if (!sz)
 252                                 continue;
 253                         res->start = l & PCI_BASE_ADDRESS_IO_MASK;
 254                         res->flags |= l & ~PCI_BASE_ADDRESS_IO_MASK;
 255                 }
 256                 res->end = res->start + (unsigned long) sz;
 257                 res->flags |= pci_calc_resource_flags(l) | IORESOURCE_SIZEALIGN;
 258                 if (is_64bit_memory(l)) {
 259                         u32 szhi, lhi;
 260
 261                         pci_read_config_dword(dev, reg+4, &lhi);
 262                         pci_write_config_dword(dev, reg+4, ~0);
 263                         pci_read_config_dword(dev, reg+4, &szhi);
 264                         pci_write_config_dword(dev, reg+4, lhi);
 265                         sz64 = ((u64)szhi << 32) | raw_sz;
 266                         l64 = ((u64)lhi << 32) | l;
 267                         sz64 = pci_size64(l64, sz64, PCI_BASE_ADDRESS_MEM_MASK);
 268                         next++;
 269 #if BITS_PER_LONG == 64
 270                         if (!sz64) {
 271                                 res->start = 0;
 272                                 res->end = 0;
 273                                 res->flags = 0;
 274                                 continue;
 275                         }
 276                         res->start = l64 & PCI_BASE_ADDRESS_MEM_MASK;
 277                         res->end = res->start + sz64;
 278                         printk(KERN_INFO "PCI: %s reg %x 64bit mmio: [%llx, %llx]\n", pci_name(dev), reg, res->start, res->end);
 279 #else
 280                         if (sz64 > 0x100000000ULL) {
 281                                 printk(KERN_ERR "PCI: Unable to handle 64-bit "
 282                                         "BAR for device %s\n", pci_name(dev));
 283                                 res->start = 0;
 284                                 res->flags = 0;
 285                         } else if (lhi) {
 286                                 /* 64-bit wide address, treat as disabled */
 287                                 pci_write_config_dword(dev, reg,
 288                                         l & ~(u32)PCI_BASE_ADDRESS_MEM_MASK);
 289                                 pci_write_config_dword(dev, reg+4, 0);
 290                                 res->start = 0;
 291                                 res->end = sz;
 292                         }
 293 #endif
 294                 } else {
 295                         printk(KERN_INFO "PCI: %s reg %x %s: [%llx, %llx]\n", pci_name(dev), reg, (res->flags & IORESOURCE_IO)? "io port":"32bit mmio", res->start, res->end);
 296                 }
 297         }
 298         if (rom) {
 299                 dev->rom_base_reg = rom;
 300                 res = &dev->resource[PCI_ROM_RESOURCE];
 301                 res->name = pci_name(dev);
 302                 pci_read_config_dword(dev, rom, &l);
 303                 pci_write_config_dword(dev, rom, ~PCI_ROM_ADDRESS_ENABLE);
 304                 pci_read_config_dword(dev, rom, &sz);
 305                 pci_write_config_dword(dev, rom, l);
 306                 if (l == 0xffffffff)
 307                         l = 0;
 308                 if (sz && sz != 0xffffffff) {
 309                         sz = pci_size(l, sz, (u32)PCI_ROM_ADDRESS_MASK);
 310                         if (sz) {
 311                                 res->flags = (l & IORESOURCE_ROM_ENABLE) |
 312                                   IORESOURCE_MEM | IORESOURCE_PREFETCH |
 313                                   IORESOURCE_READONLY | IORESOURCE_CACHEABLE |
 314                                   IORESOURCE_SIZEALIGN;
 315                                 res->start = l & PCI_ROM_ADDRESS_MASK;
 316                                 res->end = res->start + (unsigned long) sz;
 317                         }
 318                 }
 319         }
 320 }
 321
 322 void __devinit pci_read_bridge_bases(struct pci_bus *child)
 323 {
 324         struct pci_dev *dev = child->self;
 325         u8 io_base_lo, io_limit_lo;
 326         u16 mem_base_lo, mem_limit_lo;
 327         unsigned long base, limit;
 328         struct resource *res;
 329         int i;
 330
 331         if (!dev)               /* It's a host bus, nothing to read */
 332                 return;
 333
 334         if (dev->transparent) {
 335                 printk(KERN_INFO "PCI: Transparent bridge - %s\n", pci_name(dev));
 336                 for(i = 3; i < PCI_BUS_NUM_RESOURCES; i++)
 337                         child->resource[i] = child->parent->resource[i - 3];
 338         }
 339
 340         for(i=0; i<3; i++)
 341                 child->resource[i] = &dev->resource[PCI_BRIDGE_RESOURCES+i];
 342
 343         res = child->resource[0];
 344         pci_read_config_byte(dev, PCI_IO_BASE, &io_base_lo);
 345         pci_read_config_byte(dev, PCI_IO_LIMIT, &io_limit_lo);
 346         base = (io_base_lo & PCI_IO_RANGE_MASK) << 8;
 347         limit = (io_limit_lo & PCI_IO_RANGE_MASK) << 8;
 348
 349         if ((io_base_lo & PCI_IO_RANGE_TYPE_MASK) == PCI_IO_RANGE_TYPE_32) {
 350                 u16 io_base_hi, io_limit_hi;
 351                 pci_read_config_word(dev, PCI_IO_BASE_UPPER16, &io_base_hi);
 352                 pci_read_config_word(dev, PCI_IO_LIMIT_UPPER16, &io_limit_hi);
 353                 base |= (io_base_hi << 16);
 354                 limit |= (io_limit_hi << 16);
 355         }
 356
 357         if (base <= limit) {
 358                 res->flags = (io_base_lo & PCI_IO_RANGE_TYPE_MASK) | IORESOURCE_IO;
 359                 if (!res->start)
 360                         res->start = base;
 361                 if (!res->end)
 362                         res->end = limit + 0xfff;
 363                 printk(KERN_INFO "PCI: bridge %s io port: [%llx, %llx]\n", pci_name(dev), res->start, res->end);
 364         }
 365
 366         res = child->resource[1];
 367         pci_read_config_word(dev, PCI_MEMORY_BASE, &mem_base_lo);
 368         pci_read_config_word(dev, PCI_MEMORY_LIMIT, &mem_limit_lo);
 369         base = (mem_base_lo & PCI_MEMORY_RANGE_MASK) << 16;
 370         limit = (mem_limit_lo & PCI_MEMORY_RANGE_MASK) << 16;
 371         if (base <= limit) {
 372                 res->flags = (mem_base_lo & PCI_MEMORY_RANGE_TYPE_MASK) | IORESOURCE_MEM;
 373                 res->start = base;
 374                 res->end = limit + 0xfffff;
 375                 printk(KERN_INFO "PCI: bridge %s 32bit mmio: [%llx, %llx]\n", pci_name(dev), res->start, res->end);
 376         }
 377
 378         res = child->resource[2];
 379         pci_read_config_word(dev, PCI_PREF_MEMORY_BASE, &mem_base_lo);
 380         pci_read_config_word(dev, PCI_PREF_MEMORY_LIMIT, &mem_limit_lo);
 381         base = (mem_base_lo & PCI_PREF_RANGE_MASK) << 16;
 382         limit = (mem_limit_lo & PCI_PREF_RANGE_MASK) << 16;
 383
 384         if ((mem_base_lo & PCI_PREF_RANGE_TYPE_MASK) == PCI_PREF_RANGE_TYPE_64) {
 385                 u32 mem_base_hi, mem_limit_hi;
 386                 pci_read_config_dword(dev, PCI_PREF_BASE_UPPER32, &mem_base_hi);
 387                 pci_read_config_dword(dev, PCI_PREF_LIMIT_UPPER32, &mem_limit_hi);
 388
 389                 /*
 390                  * Some bridges set the base > limit by default, and some
 391                  * (broken) BIOSes do not initialize them.  If we find
 392                  * this, just assume they are not being used.
 393                  */
 394                 if (mem_base_hi <= mem_limit_hi) {
 395 #if BITS_PER_LONG == 64
 396                         base |= ((long) mem_base_hi) << 32;
 397                         limit |= ((long) mem_limit_hi) << 32;
 398 #else
 399                         if (mem_base_hi || mem_limit_hi) {
 400                                 printk(KERN_ERR "PCI: Unable to handle 64-bit address space for bridge %s\n", pci_name(dev));
 401                                 return;
 402                         }
 403 #endif
 404                 }
 405         }
 406         if (base <= limit) {
 407                 res->flags = (mem_base_lo & PCI_MEMORY_RANGE_TYPE_MASK) | IORESOURCE_MEM | IORESOURCE_PREFETCH;
 408                 res->start = base;
 409                 res->end = limit + 0xfffff;
 410                 printk(KERN_INFO "PCI: bridge %s %sbit mmio pref: [%llx, %llx]\n", pci_name(dev), (res->flags & PCI_PREF_RANGE_TYPE_64)?"64":"32",res->start, res->end);
 411         }
 412 }
 413
 414 static struct pci_bus * pci_alloc_bus(void)
 415 {
 416         struct pci_bus *b;
 417
 418         b = kzalloc(sizeof(*b), GFP_KERNEL);
 419         if (b) {
 420                 INIT_LIST_HEAD(&b->node);
 421                 INIT_LIST_HEAD(&b->children);
 422                 INIT_LIST_HEAD(&b->devices);
 423         }
 424         return b;
 425 }
 426
 427 static struct pci_bus *pci_alloc_child_bus(struct pci_bus *parent,
 428                                            struct pci_dev *bridge, int busnr)
 429 {
 430         struct pci_bus *child;
 431         int i;
 432
 433         /*
 434          * Allocate a new bus, and inherit stuff from the parent..
 435          */
 436         child = pci_alloc_bus();
 437         if (!child)
 438                 return NULL;
 439
 440         child->self = bridge;
 441         child->parent = parent;
 442         child->ops = parent->ops;
 443         child->sysdata = parent->sysdata;
 444         child->bus_flags = parent->bus_flags;
 445         child->bridge = get_device(&bridge->dev);
 446
 447         /* initialize some portions of the bus device, but don't register it
 448          * now as the parent is not properly set up yet.  This device will get
 449          * registered later in pci_bus_add_devices()
 450          */
 451         child->dev.class = &pcibus_class;
 452         sprintf(child->dev.bus_id, "%04x:%02x", pci_domain_nr(child), busnr);
 453
 454         /*
 455          * Set up the primary, secondary and subordinate
 456          * bus numbers.
 457          */
 458         child->number = child->secondary = busnr;
 459         child->primary = parent->secondary;
 460         child->subordinate = 0xff;
 461
 462         /* Set up default resource pointers and names.. */
 463         for (i = 0; i < 4; i++) {
 464                 child->resource[i] = &bridge->resource[PCI_BRIDGE_RESOURCES+i];
 465                 child->resource[i]->name = child->name;
 466         }
 467         bridge->subordinate = child;
 468
 469         return child;
 470 }
 471
 472 struct pci_bus *__ref pci_add_new_bus(struct pci_bus *parent, struct pci_dev *dev, int busnr)
 473 {
 474         struct pci_bus *child;
 475
 476         child = pci_alloc_child_bus(parent, dev, busnr);
 477         if (child) {
 478                 down_write(&pci_bus_sem);
 479                 list_add_tail(&child->node, &parent->children);
 480                 up_write(&pci_bus_sem);
 481         }
 482         return child;
 483 }
 484
 485 static void pci_fixup_parent_subordinate_busnr(struct pci_bus *child, int max)
 486 {
 487         struct pci_bus *parent = child->parent;
 488
 489         /* Attempts to fix that up are really dangerous unless
 490            we're going to re-assign all bus numbers. */
 491         if (!pcibios_assign_all_busses())
 492                 return;
 493
 494         while (parent->parent && parent->subordinate < max) {
 495                 parent->subordinate = max;
 496                 pci_write_config_byte(parent->self, PCI_SUBORDINATE_BUS, max);
 497                 parent = parent->parent;
 498         }
 499 }
 500
 501 /*
 502  * If it's a bridge, configure it and scan the bus behind it.
 503  * For CardBus bridges, we don't scan behind as the devices will
 504  * be handled by the bridge driver itself.
 505  *
 506  * We need to process bridges in two passes -- first we scan those
 507  * already configured by the BIOS and after we are done with all of
 508  * them, we proceed to assigning numbers to the remaining buses in
 509  * order to avoid overlaps between old and new bus numbers.
 510  */
 511 int __devinit pci_scan_bridge(struct pci_bus *bus, struct pci_dev *dev, int max, int pass)
 512 {
 513         struct pci_bus *child;
 514         int is_cardbus = (dev->hdr_type == PCI_HEADER_TYPE_CARDBUS);
 515         u32 buses, i, j = 0;
 516         u16 bctl;
 517
 518         pci_read_config_dword(dev, PCI_PRIMARY_BUS, &buses);
 519
 520         pr_debug("PCI: Scanning behind PCI bridge %s, config %06x, pass %d\n",
 521                  pci_name(dev), buses & 0xffffff, pass);
 522
 523         /* Disable MasterAbortMode during probing to avoid reporting
 524            of bus errors (in some architectures) */
 525         pci_read_config_word(dev, PCI_BRIDGE_CONTROL, &bctl);
 526         pci_write_config_word(dev, PCI_BRIDGE_CONTROL,
 527                               bctl & ~PCI_BRIDGE_CTL_MASTER_ABORT);
 528
 529         if ((buses & 0xffff00) && !pcibios_assign_all_busses() && !is_cardbus) {
 530                 unsigned int cmax, busnr;
 531                 /*
 532                  * Bus already configured by firmware, process it in the first
 533                  * pass and just note the configuration.
 534                  */
 535                 if (pass)
 536                         goto out;
 537                 busnr = (buses >> 8) & 0xFF;
 538
 539                 /*
 540                  * If we already got to this bus through a different bridge,
 541                  * ignore it.  This can happen with the i450NX chipset.
 542                  */
 543                 if (pci_find_bus(pci_domain_nr(bus), busnr)) {
 544                         printk(KERN_INFO "PCI: Bus %04x:%02x already known\n",
 545                                         pci_domain_nr(bus), busnr);
 546                         goto out;
 547                 }
 548
 549                 child = pci_add_new_bus(bus, dev, busnr);
 550                 if (!child)
 551                         goto out;
 552                 child->primary = buses & 0xFF;
 553                 child->subordinate = (buses >> 16) & 0xFF;
 554                 child->bridge_ctl = bctl;
 555
 556                 cmax = pci_scan_child_bus(child);
 557                 if (cmax > max)
 558                         max = cmax;
 559                 if (child->subordinate > max)
 560                         max = child->subordinate;
 561         } else {
 562                 /*
 563                  * We need to assign a number to this bus which we always
 564                  * do in the second pass.
 565                  */
 566                 if (!pass) {
 567                         if (pcibios_assign_all_busses())
 568                                 /* Temporarily disable forwarding of the
 569                                    configuration cycles on all bridges in
 570                                    this bus segment to avoid possible
 571                                    conflicts in the second pass between two
 572                                    bridges programmed with overlapping
 573                                    bus ranges. */
 574                                 pci_write_config_dword(dev, PCI_PRIMARY_BUS,
 575                                                        buses & ~0xffffff);
 576                         goto out;
 577                 }
 578
 579                 /* Clear errors */
 580                 pci_write_config_word(dev, PCI_STATUS, 0xffff);
 581
 582                 /* Prevent assigning a bus number that already exists.
 583                  * This can happen when a bridge is hot-plugged */
 584                 if (pci_find_bus(pci_domain_nr(bus), max+1))
 585                         goto out;
 586                 child = pci_add_new_bus(bus, dev, ++max);
 587                 buses = (buses & 0xff000000)
 588                       | ((unsigned int)(child->primary)     <<  0)
 589                       | ((unsigned int)(child->secondary)   <<  8)
 590                       | ((unsigned int)(child->subordinate) << 16);
 591
 592                 /*
 593                  * yenta.c forces a secondary latency timer of 176.
 594                  * Copy that behaviour here.
 595                  */
 596                 if (is_cardbus) {
 597                         buses &= ~0xff000000;
 598                         buses |= CARDBUS_LATENCY_TIMER << 24;
 599                 }
 600
 601                 /*
 602                  * We need to blast all three values with a single write.
 603                  */
 604                 pci_write_config_dword(dev, PCI_PRIMARY_BUS, buses);
 605
 606                 if (!is_cardbus) {
 607                         child->bridge_ctl = bctl;
 608                         /*
 609                          * Adjust subordinate busnr in parent buses.
 610                          * We do this before scanning for children because
 611                          * some devices may not be detected if the bios
 612                          * was lazy.
 613                          */
 614                         pci_fixup_parent_subordinate_busnr(child, max);
 615                         /* Now we can scan all subordinate buses... */
 616                         max = pci_scan_child_bus(child);
 617                         /*
 618                          * now fix it up again since we have found
 619                          * the real value of max.
 620                          */
 621                         pci_fixup_parent_subordinate_busnr(child, max);
 622                 } else {
 623                         /*
 624                          * For CardBus bridges, we leave 4 bus numbers
 625                          * as cards with a PCI-to-PCI bridge can be
 626                          * inserted later.
 627                          */
 628                         for (i=0; i<CARDBUS_RESERVE_BUSNR; i++) {
 629                                 struct pci_bus *parent = bus;
 630                                 if (pci_find_bus(pci_domain_nr(bus),
 631                                                         max+i+1))
 632                                         break;
 633                                 while (parent->parent) {
 634                                         if ((!pcibios_assign_all_busses()) &&
 635                                             (parent->subordinate > max) &&
 636                                             (parent->subordinate <= max+i)) {
 637                                                 j = 1;
 638                                         }
 639                                         parent = parent->parent;
 640                                 }
 641                                 if (j) {
 642                                         /*
 643                                          * Often, there are two cardbus bridges
 644                                          * -- try to leave one valid bus number
 645                                          * for each one.
 646                                          */
 647                                         i /= 2;
 648                                         break;
 649                                 }
 650                         }
 651                         max += i;
 652                         pci_fixup_parent_subordinate_busnr(child, max);
 653                 }
 654                 /*
 655                  * Set the subordinate bus number to its real value.
 656                  */
 657                 child->subordinate = max;
 658                 pci_write_config_byte(dev, PCI_SUBORDINATE_BUS, max);
 659         }
 660
 661         sprintf(child->name,
 662                 (is_cardbus ? "PCI CardBus %04x:%02x" : "PCI Bus %04x:%02x"),
 663                 pci_domain_nr(bus), child->number);
 664
 665         /* Has only triggered on CardBus, fixup is in yenta_socket */
 666         while (bus->parent) {
 667                 if ((child->subordinate > bus->subordinate) ||
 668                     (child->number > bus->subordinate) ||
 669                     (child->number < bus->number) ||
 670                     (child->subordinate < bus->number)) {
 671                         pr_debug("PCI: Bus #%02x (-#%02x) is %s "
 672                                 "hidden behind%s bridge #%02x (-#%02x)\n",
 673                                 child->number, child->subordinate,
 674                                 (bus->number > child->subordinate &&
 675                                  bus->subordinate < child->number) ?
 676                                         "wholly" : "partially",
 677                                 bus->self->transparent ? " transparent" : "",
 678                                 bus->number, bus->subordinate);
 679                 }
 680                 bus = bus->parent;
 681         }
 682
 683 out:
 684         pci_write_config_word(dev, PCI_BRIDGE_CONTROL, bctl);
 685
 686         return max;
 687 }
 688
 689 /*
 690  * Read interrupt line and base address registers.
 691  * The architecture-dependent code can tweak these, of course.
 692  */
 693 static void pci_read_irq(struct pci_dev *dev)
 694 {
 695         unsigned char irq;
 696
 697         pci_read_config_byte(dev, PCI_INTERRUPT_PIN, &irq);
 698         dev->pin = irq;
 699         if (irq)
 700                 pci_read_config_byte(dev, PCI_INTERRUPT_LINE, &irq);
 701         dev->irq = irq;
 702 }
 703
 704 #define LEGACY_IO_RESOURCE      (IORESOURCE_IO | IORESOURCE_PCI_FIXED)
 705
 706 /**
 707  * pci_setup_device - fill in class and map information of a device
 708  * @dev: the device structure to fill
 709  *
 710  * Initialize the device structure with information about the device's
 711  * vendor,class,memory and IO-space addresses,IRQ lines etc.
 712  * Called at initialisation of the PCI subsystem and by CardBus services.
 713  * Returns 0 on success and -1 if unknown type of device (not normal, bridge
 714  * or CardBus).
 715  */
 716 static int pci_setup_device(struct pci_dev * dev)
 717 {
 718         u32 class;
 719
 720         sprintf(pci_name(dev), "%04x:%02x:%02x.%d", pci_domain_nr(dev->bus),
 721                 dev->bus->number, PCI_SLOT(dev->devfn), PCI_FUNC(dev->devfn));
 722
 723         pci_read_config_dword(dev, PCI_CLASS_REVISION, &class);
 724         dev->revision = class & 0xff;
 725         class >>= 8;                                /* upper 3 bytes */
 726         dev->class = class;
 727         class >>= 8;
 728
 729         pr_debug("PCI: Found %s [%04x/%04x] %06x %02x\n", pci_name(dev),
 730                  dev->vendor, dev->device, class, dev->hdr_type);
 731
 732         /* "Unknown power state" */
 733         dev->current_state = PCI_UNKNOWN;
 734
 735         /* Early fixups, before probing the BARs */
 736         pci_fixup_device(pci_fixup_early, dev);
 737         class = dev->class >> 8;
 738
 739         switch (dev->hdr_type) {                    /* header type */
 740         case PCI_HEADER_TYPE_NORMAL:                /* standard header */
 741                 if (class == PCI_CLASS_BRIDGE_PCI)
 742                         goto bad;
 743                 pci_read_irq(dev);
 744                 pci_read_bases(dev, 6, PCI_ROM_ADDRESS);
 745                 pci_read_config_word(dev, PCI_SUBSYSTEM_VENDOR_ID, &dev->subsystem_vendor);
 746                 pci_read_config_word(dev, PCI_SUBSYSTEM_ID, &dev->subsystem_device);
 747
 748                 /*
 749                  *      Do the ugly legacy mode stuff here rather than broken chip
 750                  *      quirk code. Legacy mode ATA controllers have fixed
 751                  *      addresses. These are not always echoed in BAR0-3, and
 752                  *      BAR0-3 in a few cases contain junk!
 753                  */
 754                 if (class == PCI_CLASS_STORAGE_IDE) {
 755                         u8 progif;
 756                         pci_read_config_byte(dev, PCI_CLASS_PROG, &progif);
 757                         if ((progif & 1) == 0) {
 758                                 dev->resource[0].start = 0x1F0;
 759                                 dev->resource[0].end = 0x1F7;
 760                                 dev->resource[0].flags = LEGACY_IO_RESOURCE;
 761                                 dev->resource[1].start = 0x3F6;
 762                                 dev->resource[1].end = 0x3F6;
 763                                 dev->resource[1].flags = LEGACY_IO_RESOURCE;
 764                         }
 765                         if ((progif & 4) == 0) {
 766                                 dev->resource[2].start = 0x170;
 767                                 dev->resource[2].end = 0x177;
 768                                 dev->resource[2].flags = LEGACY_IO_RESOURCE;
 769                                 dev->resource[3].start = 0x376;
 770                                 dev->resource[3].end = 0x376;
 771                                 dev->resource[3].flags = LEGACY_IO_RESOURCE;
 772                         }
 773                 }
 774                 break;
 775
 776         case PCI_HEADER_TYPE_BRIDGE:                /* bridge header */
 777                 if (class != PCI_CLASS_BRIDGE_PCI)
 778                         goto bad;
 779                 /* The PCI-to-PCI bridge spec requires that subtractive
 780                    decoding (i.e. transparent) bridge must have programming
 781                    interface code of 0x01. */
 782                 pci_read_irq(dev);
 783                 dev->transparent = ((dev->class & 0xff) == 1);
 784                 pci_read_bases(dev, 2, PCI_ROM_ADDRESS1);
 785                 break;
 786
 787         case PCI_HEADER_TYPE_CARDBUS:               /* CardBus bridge header */
 788                 if (class != PCI_CLASS_BRIDGE_CARDBUS)
 789                         goto bad;
 790                 pci_read_irq(dev);
 791                 pci_read_bases(dev, 1, 0);
 792                 pci_read_config_word(dev, PCI_CB_SUBSYSTEM_VENDOR_ID, &dev->subsystem_vendor);
 793                 pci_read_config_word(dev, PCI_CB_SUBSYSTEM_ID, &dev->subsystem_device);
 794                 break;
 795
 796         default:                                    /* unknown header */
 797                 printk(KERN_ERR "PCI: device %s has unknown header type %02x, ignoring.\n",
 798                         pci_name(dev), dev->hdr_type);
 799                 return -1;
 800
 801         bad:
 802                 printk(KERN_ERR "PCI: %s: class %x doesn't match header type %02x. Ignoring class.\n",
 803                        pci_name(dev), class, dev->hdr_type);
 804                 dev->class = PCI_CLASS_NOT_DEFINED;
 805         }
 806
 807         /* We found a fine healthy device, go go go... */
 808         return 0;
 809 }
 810
 811 /**
 812  * pci_release_dev - free a pci device structure when all users of it are finished.
 813  * @dev: device that's been disconnected
 814  *
 815  * Will be called only by the device core when all users of this pci device are
 816  * done.
 817  */
 818 static void pci_release_dev(struct device *dev)
 819 {
 820         struct pci_dev *pci_dev;
 821
 822         pci_dev = to_pci_dev(dev);
 823         pci_vpd_release(pci_dev);
 824         kfree(pci_dev);
 825 }
 826
 827 static void set_pcie_port_type(struct pci_dev *pdev)
 828 {
 829         int pos;
 830         u16 reg16;
 831
 832         pos = pci_find_capability(pdev, PCI_CAP_ID_EXP);
 833         if (!pos)
 834                 return;
 835         pdev->is_pcie = 1;
 836         pci_read_config_word(pdev, pos + PCI_EXP_FLAGS, &reg16);
 837         pdev->pcie_type = (reg16 & PCI_EXP_FLAGS_TYPE) >> 4;
 838 }
 839
 840 /**
 841  * pci_cfg_space_size - get the configuration space size of the PCI device.
 842  * @dev: PCI device
 843  *
 844  * Regular PCI devices have 256 bytes, but PCI-X 2 and PCI Express devices
 845  * have 4096 bytes.  Even if the device is capable, that doesn't mean we can
 846  * access it.  Maybe we don't have a way to generate extended config space
 847  * accesses, or the device is behind a reverse Express bridge.  So we try
 848  * reading the dword at 0x100 which must either be 0 or a valid extended
 849  * capability header.
 850  */
 851 int pci_cfg_space_size_ext(struct pci_dev *dev)
 852 {
 853         u32 status;
 854
 855         if (pci_read_config_dword(dev, 256, &status) != PCIBIOS_SUCCESSFUL)
 856                 goto fail;
 857         if (status == 0xffffffff)
 858                 goto fail;
 859
 860         return PCI_CFG_SPACE_EXP_SIZE;
 861
 862  fail:
 863         return PCI_CFG_SPACE_SIZE;
 864 }
 865
 866 int pci_cfg_space_size(struct pci_dev *dev)
 867 {
 868         int pos;
 869         u32 status;
 870
 871         pos = pci_find_capability(dev, PCI_CAP_ID_EXP);
 872         if (!pos) {
 873                 pos = pci_find_capability(dev, PCI_CAP_ID_PCIX);
 874                 if (!pos)
 875                         goto fail;
 876
 877                 pci_read_config_dword(dev, pos + PCI_X_STATUS, &status);
 878                 if (!(status & (PCI_X_STATUS_266MHZ | PCI_X_STATUS_533MHZ)))
 879                         goto fail;
 880         }
 881
 882         return pci_cfg_space_size_ext(dev);
 883
 884  fail:
 885         return PCI_CFG_SPACE_SIZE;
 886 }
 887
 888 static void pci_release_bus_bridge_dev(struct device *dev)
 889 {
 890         kfree(dev);
 891 }
 892
 893 struct pci_dev *alloc_pci_dev(void)
 894 {
 895         struct pci_dev *dev;
 896
 897         dev = kzalloc(sizeof(struct pci_dev), GFP_KERNEL);
 898         if (!dev)
 899                 return NULL;
 900
 901         INIT_LIST_HEAD(&dev->bus_list);
 902
 903         pci_msi_init_pci_dev(dev);
 904
 905         return dev;
 906 }
 907 EXPORT_SYMBOL(alloc_pci_dev);
 908
 909 /*
 910  * Read the config data for a PCI device, sanity-check it
 911  * and fill in the dev structure...
 912  */
 913 static struct pci_dev *pci_scan_device(struct pci_bus *bus, int devfn)
 914 {
 915         struct pci_dev *dev;
 916         u32 l;
 917         u8 hdr_type;
 918         int delay = 1;
 919
 920         if (pci_bus_read_config_dword(bus, devfn, PCI_VENDOR_ID, &l))
 921                 return NULL;
 922
 923         /* some broken boards return 0 or ~0 if a slot is empty: */
 924         if (l == 0xffffffff || l == 0x00000000 ||
 925             l == 0x0000ffff || l == 0xffff0000)
 926                 return NULL;
 927
 928         /* Configuration request Retry Status */
 929         while (l == 0xffff0001) {
 930                 msleep(delay);
 931                 delay *= 2;
 932                 if (pci_bus_read_config_dword(bus, devfn, PCI_VENDOR_ID, &l))
 933                         return NULL;
 934                 /* Card hasn't responded in 60 seconds?  Must be stuck. */
 935                 if (delay > 60 * 1000) {
 936                         printk(KERN_WARNING "Device %04x:%02x:%02x.%d not "
 937                                         "responding\n", pci_domain_nr(bus),
 938                                         bus->number, PCI_SLOT(devfn),
 939                                         PCI_FUNC(devfn));
 940                         return NULL;
 941                 }
 942         }
 943
 944         if (pci_bus_read_config_byte(bus, devfn, PCI_HEADER_TYPE, &hdr_type))
 945                 return NULL;
 946
 947         dev = alloc_pci_dev();
 948         if (!dev)
 949                 return NULL;
 950
 951         dev->bus = bus;
 952         dev->sysdata = bus->sysdata;
 953         dev->dev.parent = bus->bridge;
 954         dev->dev.bus = &pci_bus_type;
 955         dev->devfn = devfn;
 956         dev->hdr_type = hdr_type & 0x7f;
 957         dev->multifunction = !!(hdr_type & 0x80);
 958         dev->vendor = l & 0xffff;
 959         dev->device = (l >> 16) & 0xffff;
 960         dev->cfg_size = pci_cfg_space_size(dev);
 961         dev->error_state = pci_channel_io_normal;
 962         set_pcie_port_type(dev);
 963
 964         /* Assume 32-bit PCI; let 64-bit PCI cards (which are far rarer)
 965            set this higher, assuming the system even supports it.  */
 966         dev->dma_mask = 0xffffffff;
 967         if (pci_setup_device(dev) < 0) {
 968                 kfree(dev);
 969                 return NULL;
 970         }
 971
 972         pci_vpd_pci22_init(dev);
 973
 974         return dev;
 975 }
 976
 977 void pci_device_add(struct pci_dev *dev, struct pci_bus *bus)
 978 {
 979         device_initialize(&dev->dev);
 980         dev->dev.release = pci_release_dev;
 981         pci_dev_get(dev);
 982
 983         dev->dev.dma_mask = &dev->dma_mask;
 984         dev->dev.dma_parms = &dev->dma_parms;
 985         dev->dev.coherent_dma_mask = 0xffffffffull;
 986
 987         pci_set_dma_max_seg_size(dev, 65536);
 988         pci_set_dma_seg_boundary(dev, 0xffffffff);
 989
 990         /* Fix up broken headers */
 991         pci_fixup_device(pci_fixup_header, dev);
 992
 993         /*
 994          * Add the device to our list of discovered devices
 995          * and the bus list for fixup functions, etc.
 996          */
 997         down_write(&pci_bus_sem);
 998         list_add_tail(&dev->bus_list, &bus->devices);
 999         up_write(&pci_bus_sem);
1000 }
1001
1002 struct pci_dev *__ref pci_scan_single_device(struct pci_bus *bus, int devfn)
1003 {
1004         struct pci_dev *dev;
1005
1006         dev = pci_scan_device(bus, devfn);
1007         if (!dev)
1008                 return NULL;
1009
1010         pci_device_add(dev, bus);
1011
1012         return dev;
1013 }
1014 EXPORT_SYMBOL(pci_scan_single_device);
1015
1016 /**
1017  * pci_scan_slot - scan a PCI slot on a bus for devices.
1018  * @bus: PCI bus to scan
1019  * @devfn: slot number to scan (must have zero function.)
1020  *
1021  * Scan a PCI slot on the specified PCI bus for devices, adding
1022  * discovered devices to the @bus->devices list.  New devices
1023  * will not have is_added set.
1024  */
1025 int pci_scan_slot(struct pci_bus *bus, int devfn)
1026 {
1027         int func, nr = 0;
1028         int scan_all_fns;
1029
1030         scan_all_fns = pcibios_scan_all_fns(bus, devfn);
1031
1032         for (func = 0; func < 8; func++, devfn++) {
1033                 struct pci_dev *dev;
1034
1035                 dev = pci_scan_single_device(bus, devfn);
1036                 if (dev) {
1037                         nr++;
1038
1039                         /*
1040                          * If this is a single function device,
1041                          * don't scan past the first function.
1042                          */
1043                         if (!dev->multifunction) {
1044                                 if (func > 0) {
1045                                         dev->multifunction = 1;
1046                                 } else {
1047                                         break;
1048                                 }
1049                         }
1050                 } else {
1051                         if (func == 0 && !scan_all_fns)
1052                                 break;
1053                 }
1054         }
1055
1056         if (bus->self)
1057                 pcie_aspm_init_link_state(bus->self);
1058
1059         return nr;
1060 }
1061
1062 unsigned int __devinit pci_scan_child_bus(struct pci_bus *bus)
1063 {
1064         unsigned int devfn, pass, max = bus->secondary;
1065         struct pci_dev *dev;
1066
1067         pr_debug("PCI: Scanning bus %04x:%02x\n", pci_domain_nr(bus), bus->number);
1068
1069         /* Go find them, Rover! */
1070         for (devfn = 0; devfn < 0x100; devfn += 8)
1071                 pci_scan_slot(bus, devfn);
1072
1073         /*
1074          * After performing arch-dependent fixup of the bus, look behind
1075          * all PCI-to-PCI bridges on this bus.
1076          */
1077         pr_debug("PCI: Fixups for bus %04x:%02x\n", pci_domain_nr(bus), bus->number);
1078         pcibios_fixup_bus(bus);
1079         for (pass=0; pass < 2; pass++)
1080                 list_for_each_entry(dev, &bus->devices, bus_list) {
1081                         if (dev->hdr_type == PCI_HEADER_TYPE_BRIDGE ||
1082                             dev->hdr_type == PCI_HEADER_TYPE_CARDBUS)
1083                                 max = pci_scan_bridge(bus, dev, max, pass);
1084                 }
1085
1086         /*
1087          * We've scanned the bus and so we know all about what's on
1088          * the other side of any bridges that may be on this bus plus
1089          * any devices.
1090          *
1091          * Return how far we've got finding sub-buses.
1092          */
1093         pr_debug("PCI: Bus scan for %04x:%02x returning with max=%02x\n",
1094                 pci_domain_nr(bus), bus->number, max);
1095         return max;
1096 }
1097
1098 void __attribute__((weak)) set_pci_bus_resources_arch_default(struct pci_bus *b)
1099 {
1100 }
1101
1102 struct pci_bus * pci_create_bus(struct device *parent,
1103                 int bus, struct pci_ops *ops, void *sysdata)
1104 {
1105         int error;
1106         struct pci_bus *b;
1107         struct device *dev;
1108
1109         b = pci_alloc_bus();
1110         if (!b)
1111                 return NULL;
1112
1113         dev = kmalloc(sizeof(*dev), GFP_KERNEL);
1114         if (!dev){
1115                 kfree(b);
1116                 return NULL;
1117         }
1118
1119         b->sysdata = sysdata;
1120         b->ops = ops;
1121
1122         if (pci_find_bus(pci_domain_nr(b), bus)) {
1123                 /* If we already got to this bus through a different bridge, ignore it */
1124                 pr_debug("PCI: Bus %04x:%02x already known\n", pci_domain_nr(b), bus);
1125                 goto err_out;
1126         }
1127
1128         down_write(&pci_bus_sem);
1129         list_add_tail(&b->node, &pci_root_buses);
1130         up_write(&pci_bus_sem);
1131
1132         memset(dev, 0, sizeof(*dev));
1133         dev->parent = parent;
1134         dev->release = pci_release_bus_bridge_dev;
1135         sprintf(dev->bus_id, "pci%04x:%02x", pci_domain_nr(b), bus);
1136         error = device_register(dev);
1137         if (error)
1138                 goto dev_reg_err;
1139         b->bridge = get_device(dev);
1140
1141         if (!parent)
1142                 set_dev_node(b->bridge, pcibus_to_node(b));
1143
1144         b->dev.class = &pcibus_class;
1145         b->dev.parent = b->bridge;
1146         sprintf(b->dev.bus_id, "%04x:%02x", pci_domain_nr(b), bus);
1147         error = device_register(&b->dev);
1148         if (error)
1149                 goto class_dev_reg_err;
1150         error = device_create_file(&b->dev, &dev_attr_cpuaffinity);
1151         if (error)
1152                 goto dev_create_file_err;
1153
1154         /* Create legacy_io and legacy_mem files for this bus */
1155         pci_create_legacy_files(b);
1156
1157         b->number = b->secondary = bus;
1158         b->resource[0] = &ioport_resource;
1159         b->resource[1] = &iomem_resource;
1160
1161         set_pci_bus_resources_arch_default(b);
1162
1163         return b;
1164
1165 dev_create_file_err:
1166         device_unregister(&b->dev);
1167 class_dev_reg_err:
1168         device_unregister(dev);
1169 dev_reg_err:
1170         down_write(&pci_bus_sem);
1171         list_del(&b->node);
1172         up_write(&pci_bus_sem);
1173 err_out:
1174         kfree(dev);
1175         kfree(b);
1176         return NULL;
1177 }
1178
1179 struct pci_bus * __devinit pci_scan_bus_parented(struct device *parent,
1180                 int bus, struct pci_ops *ops, void *sysdata)
1181 {
1182         struct pci_bus *b;
1183
1184         b = pci_create_bus(parent, bus, ops, sysdata);
1185         if (b)
1186                 b->subordinate = pci_scan_child_bus(b);
1187         return b;
1188 }
1189 EXPORT_SYMBOL(pci_scan_bus_parented);
1190
1191 #ifdef CONFIG_HOTPLUG
1192 EXPORT_SYMBOL(pci_add_new_bus);
1193 EXPORT_SYMBOL(pci_scan_slot);
1194 EXPORT_SYMBOL(pci_scan_bridge);
1195 EXPORT_SYMBOL_GPL(pci_scan_child_bus);
1196 #endif
1197
1198 static int __init pci_sort_bf_cmp(const struct pci_dev *a, const struct pci_dev *b)
1199 {
1200         if      (pci_domain_nr(a->bus) < pci_domain_nr(b->bus)) return -1;
1201         else if (pci_domain_nr(a->bus) > pci_domain_nr(b->bus)) return  1;
1202
1203         if      (a->bus->number < b->bus->number) return -1;
1204         else if (a->bus->number > b->bus->number) return  1;
1205
1206         if      (a->devfn < b->devfn) return -1;
1207         else if (a->devfn > b->devfn) return  1;
1208
1209         return 0;
1210 }
1211
1212 /*
1213  * Yes, this forcably breaks the klist abstraction temporarily.  It
1214  * just wants to sort the klist, not change reference counts and
1215  * take/drop locks rapidly in the process.  It does all this while
1216  * holding the lock for the list, so objects can't otherwise be
1217  * added/removed while we're swizzling.
1218  */
1219 static void __init pci_insertion_sort_klist(struct pci_dev *a, struct list_head *list)
1220 {
1221         struct list_head *pos;
1222         struct klist_node *n;
1223         struct device *dev;
1224         struct pci_dev *b;
1225
1226         list_for_each(pos, list) {
1227                 n = container_of(pos, struct klist_node, n_node);
1228                 dev = container_of(n, struct device, knode_bus);
1229                 b = to_pci_dev(dev);
1230                 if (pci_sort_bf_cmp(a, b) <= 0) {
1231                         list_move_tail(&a->dev.knode_bus.n_node, &b->dev.knode_bus.n_node);
1232                         return;
1233                 }
1234         }
1235         list_move_tail(&a->dev.knode_bus.n_node, list);
1236 }
1237
1238 void __init pci_sort_breadthfirst(void)
1239 {
1240         LIST_HEAD(sorted_devices);
1241         struct list_head *pos, *tmp;
1242         struct klist_node *n;
1243         struct device *dev;
1244         struct pci_dev *pdev;
1245         struct klist *device_klist;
1246
1247         device_klist = bus_get_device_klist(&pci_bus_type);
1248
1249         spin_lock(&device_klist->k_lock);
1250         list_for_each_safe(pos, tmp, &device_klist->k_list) {
1251                 n = container_of(pos, struct klist_node, n_node);
1252                 dev = container_of(n, struct device, knode_bus);
1253                 pdev = to_pci_dev(dev);
1254                 pci_insertion_sort_klist(pdev, &sorted_devices);
1255         }
1256         list_splice(&sorted_devices, &device_klist->k_list);
1257         spin_unlock(&device_klist->k_lock);
1258 }