f218990de0cd5a165629deaaddf73e279a3c95be
[safe/jmp/linux-2.6] / tools / perf / builtin-kmem.c
1 #include "builtin.h"
2 #include "perf.h"
3
4 #include "util/util.h"
5 #include "util/cache.h"
6 #include "util/symbol.h"
7 #include "util/thread.h"
8 #include "util/header.h"
9
10 #include "util/parse-options.h"
11 #include "util/trace-event.h"
12
13 #include "util/debug.h"
14 #include "util/data_map.h"
15
16 #include <linux/rbtree.h>
17
18 struct alloc_stat;
19 typedef int (*sort_fn_t)(struct alloc_stat *, struct alloc_stat *);
20
21 static char const               *input_name = "perf.data";
22
23 static struct perf_header       *header;
24 static u64                      sample_type;
25
26 static int                      alloc_flag;
27 static int                      caller_flag;
28
29 static int                      alloc_lines = -1;
30 static int                      caller_lines = -1;
31
32 static bool                     raw_ip;
33
34 static char                     default_sort_order[] = "frag,hit,bytes";
35
36 static int                      *cpunode_map;
37 static int                      max_cpu_num;
38
39 struct alloc_stat {
40         u64     call_site;
41         u64     ptr;
42         u64     bytes_req;
43         u64     bytes_alloc;
44         u32     hit;
45         u32     pingpong;
46
47         short   alloc_cpu;
48
49         struct rb_node node;
50 };
51
52 static struct rb_root root_alloc_stat;
53 static struct rb_root root_alloc_sorted;
54 static struct rb_root root_caller_stat;
55 static struct rb_root root_caller_sorted;
56
57 static unsigned long total_requested, total_allocated;
58 static unsigned long nr_allocs, nr_cross_allocs;
59
60 struct raw_event_sample {
61         u32 size;
62         char data[0];
63 };
64
65 #define PATH_SYS_NODE   "/sys/devices/system/node"
66
67 static void init_cpunode_map(void)
68 {
69         FILE *fp;
70         int i;
71
72         fp = fopen("/sys/devices/system/cpu/kernel_max", "r");
73         if (!fp) {
74                 max_cpu_num = 4096;
75                 return;
76         }
77
78         if (fscanf(fp, "%d", &max_cpu_num) < 1)
79                 die("Failed to read 'kernel_max' from sysfs");
80         max_cpu_num++;
81
82         cpunode_map = calloc(max_cpu_num, sizeof(int));
83         if (!cpunode_map)
84                 die("calloc");
85         for (i = 0; i < max_cpu_num; i++)
86                 cpunode_map[i] = -1;
87         fclose(fp);
88 }
89
90 static void setup_cpunode_map(void)
91 {
92         struct dirent *dent1, *dent2;
93         DIR *dir1, *dir2;
94         unsigned int cpu, mem;
95         char buf[PATH_MAX];
96
97         init_cpunode_map();
98
99         dir1 = opendir(PATH_SYS_NODE);
100         if (!dir1)
101                 return;
102
103         while (true) {
104                 dent1 = readdir(dir1);
105                 if (!dent1)
106                         break;
107
108                 if (sscanf(dent1->d_name, "node%u", &mem) < 1)
109                         continue;
110
111                 snprintf(buf, PATH_MAX, "%s/%s", PATH_SYS_NODE, dent1->d_name);
112                 dir2 = opendir(buf);
113                 if (!dir2)
114                         continue;
115                 while (true) {
116                         dent2 = readdir(dir2);
117                         if (!dent2)
118                                 break;
119                         if (sscanf(dent2->d_name, "cpu%u", &cpu) < 1)
120                                 continue;
121                         cpunode_map[cpu] = mem;
122                 }
123         }
124 }
125
126 static void insert_alloc_stat(unsigned long call_site, unsigned long ptr,
127                               int bytes_req, int bytes_alloc, int cpu)
128 {
129         struct rb_node **node = &root_alloc_stat.rb_node;
130         struct rb_node *parent = NULL;
131         struct alloc_stat *data = NULL;
132
133         while (*node) {
134                 parent = *node;
135                 data = rb_entry(*node, struct alloc_stat, node);
136
137                 if (ptr > data->ptr)
138                         node = &(*node)->rb_right;
139                 else if (ptr < data->ptr)
140                         node = &(*node)->rb_left;
141                 else
142                         break;
143         }
144
145         if (data && data->ptr == ptr) {
146                 data->hit++;
147                 data->bytes_req += bytes_req;
148                 data->bytes_alloc += bytes_req;
149         } else {
150                 data = malloc(sizeof(*data));
151                 if (!data)
152                         die("malloc");
153                 data->ptr = ptr;
154                 data->pingpong = 0;
155                 data->hit = 1;
156                 data->bytes_req = bytes_req;
157                 data->bytes_alloc = bytes_alloc;
158
159                 rb_link_node(&data->node, parent, node);
160                 rb_insert_color(&data->node, &root_alloc_stat);
161         }
162         data->call_site = call_site;
163         data->alloc_cpu = cpu;
164 }
165
166 static void insert_caller_stat(unsigned long call_site,
167                               int bytes_req, int bytes_alloc)
168 {
169         struct rb_node **node = &root_caller_stat.rb_node;
170         struct rb_node *parent = NULL;
171         struct alloc_stat *data = NULL;
172
173         while (*node) {
174                 parent = *node;
175                 data = rb_entry(*node, struct alloc_stat, node);
176
177                 if (call_site > data->call_site)
178                         node = &(*node)->rb_right;
179                 else if (call_site < data->call_site)
180                         node = &(*node)->rb_left;
181                 else
182                         break;
183         }
184
185         if (data && data->call_site == call_site) {
186                 data->hit++;
187                 data->bytes_req += bytes_req;
188                 data->bytes_alloc += bytes_req;
189         } else {
190                 data = malloc(sizeof(*data));
191                 if (!data)
192                         die("malloc");
193                 data->call_site = call_site;
194                 data->pingpong = 0;
195                 data->hit = 1;
196                 data->bytes_req = bytes_req;
197                 data->bytes_alloc = bytes_alloc;
198
199                 rb_link_node(&data->node, parent, node);
200                 rb_insert_color(&data->node, &root_caller_stat);
201         }
202 }
203
204 static void process_alloc_event(struct raw_event_sample *raw,
205                                 struct event *event,
206                                 int cpu,
207                                 u64 timestamp __used,
208                                 struct thread *thread __used,
209                                 int node)
210 {
211         unsigned long call_site;
212         unsigned long ptr;
213         int bytes_req;
214         int bytes_alloc;
215         int node1, node2;
216
217         ptr = raw_field_value(event, "ptr", raw->data);
218         call_site = raw_field_value(event, "call_site", raw->data);
219         bytes_req = raw_field_value(event, "bytes_req", raw->data);
220         bytes_alloc = raw_field_value(event, "bytes_alloc", raw->data);
221
222         insert_alloc_stat(call_site, ptr, bytes_req, bytes_alloc, cpu);
223         insert_caller_stat(call_site, bytes_req, bytes_alloc);
224
225         total_requested += bytes_req;
226         total_allocated += bytes_alloc;
227
228         if (node) {
229                 node1 = cpunode_map[cpu];
230                 node2 = raw_field_value(event, "node", raw->data);
231                 if (node1 != node2)
232                         nr_cross_allocs++;
233         }
234         nr_allocs++;
235 }
236
237 static int ptr_cmp(struct alloc_stat *, struct alloc_stat *);
238 static int callsite_cmp(struct alloc_stat *, struct alloc_stat *);
239
240 static struct alloc_stat *search_alloc_stat(unsigned long ptr,
241                                             unsigned long call_site,
242                                             struct rb_root *root,
243                                             sort_fn_t sort_fn)
244 {
245         struct rb_node *node = root->rb_node;
246         struct alloc_stat key = { .ptr = ptr, .call_site = call_site };
247
248         while (node) {
249                 struct alloc_stat *data;
250                 int cmp;
251
252                 data = rb_entry(node, struct alloc_stat, node);
253
254                 cmp = sort_fn(&key, data);
255                 if (cmp < 0)
256                         node = node->rb_left;
257                 else if (cmp > 0)
258                         node = node->rb_right;
259                 else
260                         return data;
261         }
262         return NULL;
263 }
264
265 static void process_free_event(struct raw_event_sample *raw,
266                                struct event *event,
267                                int cpu,
268                                u64 timestamp __used,
269                                struct thread *thread __used)
270 {
271         unsigned long ptr;
272         struct alloc_stat *s_alloc, *s_caller;
273
274         ptr = raw_field_value(event, "ptr", raw->data);
275
276         s_alloc = search_alloc_stat(ptr, 0, &root_alloc_stat, ptr_cmp);
277         if (!s_alloc)
278                 return;
279
280         if (cpu != s_alloc->alloc_cpu) {
281                 s_alloc->pingpong++;
282
283                 s_caller = search_alloc_stat(0, s_alloc->call_site,
284                                              &root_caller_stat, callsite_cmp);
285                 assert(s_caller);
286                 s_caller->pingpong++;
287         }
288         s_alloc->alloc_cpu = -1;
289 }
290
291 static void
292 process_raw_event(event_t *raw_event __used, void *more_data,
293                   int cpu, u64 timestamp, struct thread *thread)
294 {
295         struct raw_event_sample *raw = more_data;
296         struct event *event;
297         int type;
298
299         type = trace_parse_common_type(raw->data);
300         event = trace_find_event(type);
301
302         if (!strcmp(event->name, "kmalloc") ||
303             !strcmp(event->name, "kmem_cache_alloc")) {
304                 process_alloc_event(raw, event, cpu, timestamp, thread, 0);
305                 return;
306         }
307
308         if (!strcmp(event->name, "kmalloc_node") ||
309             !strcmp(event->name, "kmem_cache_alloc_node")) {
310                 process_alloc_event(raw, event, cpu, timestamp, thread, 1);
311                 return;
312         }
313
314         if (!strcmp(event->name, "kfree") ||
315             !strcmp(event->name, "kmem_cache_free")) {
316                 process_free_event(raw, event, cpu, timestamp, thread);
317                 return;
318         }
319 }
320
321 static int process_sample_event(event_t *event)
322 {
323         struct sample_data data;
324         struct thread *thread;
325
326         memset(&data, 0, sizeof(data));
327         data.time = -1;
328         data.cpu = -1;
329         data.period = 1;
330
331         event__parse_sample(event, sample_type, &data);
332
333         dump_printf("(IP, %d): %d/%d: %p period: %Ld\n",
334                 event->header.misc,
335                 data.pid, data.tid,
336                 (void *)(long)data.ip,
337                 (long long)data.period);
338
339         thread = threads__findnew(event->ip.pid);
340         if (thread == NULL) {
341                 pr_debug("problem processing %d event, skipping it.\n",
342                          event->header.type);
343                 return -1;
344         }
345
346         dump_printf(" ... thread: %s:%d\n", thread->comm, thread->pid);
347
348         process_raw_event(event, data.raw_data, data.cpu, data.time, thread);
349
350         return 0;
351 }
352
353 static int sample_type_check(u64 type)
354 {
355         sample_type = type;
356
357         if (!(sample_type & PERF_SAMPLE_RAW)) {
358                 fprintf(stderr,
359                         "No trace sample to read. Did you call perf record "
360                         "without -R?");
361                 return -1;
362         }
363
364         return 0;
365 }
366
367 static struct perf_file_handler file_handler = {
368         .process_sample_event   = process_sample_event,
369         .process_comm_event     = event__process_comm,
370         .sample_type_check      = sample_type_check,
371 };
372
373 static int read_events(void)
374 {
375         register_idle_thread();
376         register_perf_file_handler(&file_handler);
377
378         return mmap_dispatch_perf_file(&header, input_name, 0, 0,
379                                        &event__cwdlen, &event__cwd);
380 }
381
382 static double fragmentation(unsigned long n_req, unsigned long n_alloc)
383 {
384         if (n_alloc == 0)
385                 return 0.0;
386         else
387                 return 100.0 - (100.0 * n_req / n_alloc);
388 }
389
390 static void __print_result(struct rb_root *root, int n_lines, int is_caller)
391 {
392         struct rb_node *next;
393
394         printf("%.102s\n", graph_dotted_line);
395         printf(" %-34s |",  is_caller ? "Callsite": "Alloc Ptr");
396         printf(" Total_alloc/Per | Total_req/Per   | Hit   | Ping-pong | Frag\n");
397         printf("%.102s\n", graph_dotted_line);
398
399         next = rb_first(root);
400
401         while (next && n_lines--) {
402                 struct alloc_stat *data = rb_entry(next, struct alloc_stat,
403                                                    node);
404                 struct symbol *sym = NULL;
405                 char buf[BUFSIZ];
406                 u64 addr;
407
408                 if (is_caller) {
409                         addr = data->call_site;
410                         if (!raw_ip)
411                                 sym = thread__find_function(kthread, addr, NULL);
412                 } else
413                         addr = data->ptr;
414
415                 if (sym != NULL)
416                         snprintf(buf, sizeof(buf), "%s+%Lx", sym->name,
417                                  addr - sym->start);
418                 else
419                         snprintf(buf, sizeof(buf), "%#Lx", addr);
420                 printf(" %-34s |", buf);
421
422                 printf(" %9llu/%-5lu | %9llu/%-5lu | %6lu | %8lu | %6.3f%%\n",
423                        (unsigned long long)data->bytes_alloc,
424                        (unsigned long)data->bytes_alloc / data->hit,
425                        (unsigned long long)data->bytes_req,
426                        (unsigned long)data->bytes_req / data->hit,
427                        (unsigned long)data->hit,
428                        (unsigned long)data->pingpong,
429                        fragmentation(data->bytes_req, data->bytes_alloc));
430
431                 next = rb_next(next);
432         }
433
434         if (n_lines == -1)
435                 printf(" ...                                | ...             | ...             | ...    | ...      | ...   \n");
436
437         printf("%.102s\n", graph_dotted_line);
438 }
439
440 static void print_summary(void)
441 {
442         printf("\nSUMMARY\n=======\n");
443         printf("Total bytes requested: %lu\n", total_requested);
444         printf("Total bytes allocated: %lu\n", total_allocated);
445         printf("Total bytes wasted on internal fragmentation: %lu\n",
446                total_allocated - total_requested);
447         printf("Internal fragmentation: %f%%\n",
448                fragmentation(total_requested, total_allocated));
449         printf("Cross CPU allocations: %lu/%lu\n", nr_cross_allocs, nr_allocs);
450 }
451
452 static void print_result(void)
453 {
454         if (caller_flag)
455                 __print_result(&root_caller_sorted, caller_lines, 1);
456         if (alloc_flag)
457                 __print_result(&root_alloc_sorted, alloc_lines, 0);
458         print_summary();
459 }
460
461 struct sort_dimension {
462         const char              name[20];
463         sort_fn_t               cmp;
464         struct list_head        list;
465 };
466
467 static LIST_HEAD(caller_sort);
468 static LIST_HEAD(alloc_sort);
469
470 static void sort_insert(struct rb_root *root, struct alloc_stat *data,
471                         struct list_head *sort_list)
472 {
473         struct rb_node **new = &(root->rb_node);
474         struct rb_node *parent = NULL;
475         struct sort_dimension *sort;
476
477         while (*new) {
478                 struct alloc_stat *this;
479                 int cmp = 0;
480
481                 this = rb_entry(*new, struct alloc_stat, node);
482                 parent = *new;
483
484                 list_for_each_entry(sort, sort_list, list) {
485                         cmp = sort->cmp(data, this);
486                         if (cmp)
487                                 break;
488                 }
489
490                 if (cmp > 0)
491                         new = &((*new)->rb_left);
492                 else
493                         new = &((*new)->rb_right);
494         }
495
496         rb_link_node(&data->node, parent, new);
497         rb_insert_color(&data->node, root);
498 }
499
500 static void __sort_result(struct rb_root *root, struct rb_root *root_sorted,
501                           struct list_head *sort_list)
502 {
503         struct rb_node *node;
504         struct alloc_stat *data;
505
506         for (;;) {
507                 node = rb_first(root);
508                 if (!node)
509                         break;
510
511                 rb_erase(node, root);
512                 data = rb_entry(node, struct alloc_stat, node);
513                 sort_insert(root_sorted, data, sort_list);
514         }
515 }
516
517 static void sort_result(void)
518 {
519         __sort_result(&root_alloc_stat, &root_alloc_sorted, &alloc_sort);
520         __sort_result(&root_caller_stat, &root_caller_sorted, &caller_sort);
521 }
522
523 static int __cmd_kmem(void)
524 {
525         setup_pager();
526         read_events();
527         sort_result();
528         print_result();
529
530         return 0;
531 }
532
533 static const char * const kmem_usage[] = {
534         "perf kmem [<options>] {record}",
535         NULL
536 };
537
538 static int ptr_cmp(struct alloc_stat *l, struct alloc_stat *r)
539 {
540         if (l->ptr < r->ptr)
541                 return -1;
542         else if (l->ptr > r->ptr)
543                 return 1;
544         return 0;
545 }
546
547 static struct sort_dimension ptr_sort_dimension = {
548         .name   = "ptr",
549         .cmp    = ptr_cmp,
550 };
551
552 static int callsite_cmp(struct alloc_stat *l, struct alloc_stat *r)
553 {
554         if (l->call_site < r->call_site)
555                 return -1;
556         else if (l->call_site > r->call_site)
557                 return 1;
558         return 0;
559 }
560
561 static struct sort_dimension callsite_sort_dimension = {
562         .name   = "callsite",
563         .cmp    = callsite_cmp,
564 };
565
566 static int hit_cmp(struct alloc_stat *l, struct alloc_stat *r)
567 {
568         if (l->hit < r->hit)
569                 return -1;
570         else if (l->hit > r->hit)
571                 return 1;
572         return 0;
573 }
574
575 static struct sort_dimension hit_sort_dimension = {
576         .name   = "hit",
577         .cmp    = hit_cmp,
578 };
579
580 static int bytes_cmp(struct alloc_stat *l, struct alloc_stat *r)
581 {
582         if (l->bytes_alloc < r->bytes_alloc)
583                 return -1;
584         else if (l->bytes_alloc > r->bytes_alloc)
585                 return 1;
586         return 0;
587 }
588
589 static struct sort_dimension bytes_sort_dimension = {
590         .name   = "bytes",
591         .cmp    = bytes_cmp,
592 };
593
594 static int frag_cmp(struct alloc_stat *l, struct alloc_stat *r)
595 {
596         double x, y;
597
598         x = fragmentation(l->bytes_req, l->bytes_alloc);
599         y = fragmentation(r->bytes_req, r->bytes_alloc);
600
601         if (x < y)
602                 return -1;
603         else if (x > y)
604                 return 1;
605         return 0;
606 }
607
608 static struct sort_dimension frag_sort_dimension = {
609         .name   = "frag",
610         .cmp    = frag_cmp,
611 };
612
613 static int pingpong_cmp(struct alloc_stat *l, struct alloc_stat *r)
614 {
615         if (l->pingpong < r->pingpong)
616                 return -1;
617         else if (l->pingpong > r->pingpong)
618                 return 1;
619         return 0;
620 }
621
622 static struct sort_dimension pingpong_sort_dimension = {
623         .name   = "pingpong",
624         .cmp    = pingpong_cmp,
625 };
626
627 static struct sort_dimension *avail_sorts[] = {
628         &ptr_sort_dimension,
629         &callsite_sort_dimension,
630         &hit_sort_dimension,
631         &bytes_sort_dimension,
632         &frag_sort_dimension,
633         &pingpong_sort_dimension,
634 };
635
636 #define NUM_AVAIL_SORTS \
637         (int)(sizeof(avail_sorts) / sizeof(struct sort_dimension *))
638
639 static int sort_dimension__add(const char *tok, struct list_head *list)
640 {
641         struct sort_dimension *sort;
642         int i;
643
644         for (i = 0; i < NUM_AVAIL_SORTS; i++) {
645                 if (!strcmp(avail_sorts[i]->name, tok)) {
646                         sort = malloc(sizeof(*sort));
647                         if (!sort)
648                                 die("malloc");
649                         memcpy(sort, avail_sorts[i], sizeof(*sort));
650                         list_add_tail(&sort->list, list);
651                         return 0;
652                 }
653         }
654
655         return -1;
656 }
657
658 static int setup_sorting(struct list_head *sort_list, const char *arg)
659 {
660         char *tok;
661         char *str = strdup(arg);
662
663         if (!str)
664                 die("strdup");
665
666         while (true) {
667                 tok = strsep(&str, ",");
668                 if (!tok)
669                         break;
670                 if (sort_dimension__add(tok, sort_list) < 0) {
671                         error("Unknown --sort key: '%s'", tok);
672                         return -1;
673                 }
674         }
675
676         free(str);
677         return 0;
678 }
679
680 static int parse_sort_opt(const struct option *opt __used,
681                           const char *arg, int unset __used)
682 {
683         if (!arg)
684                 return -1;
685
686         if (caller_flag > alloc_flag)
687                 return setup_sorting(&caller_sort, arg);
688         else
689                 return setup_sorting(&alloc_sort, arg);
690
691         return 0;
692 }
693
694 static int parse_stat_opt(const struct option *opt __used,
695                           const char *arg, int unset __used)
696 {
697         if (!arg)
698                 return -1;
699
700         if (strcmp(arg, "alloc") == 0)
701                 alloc_flag = (caller_flag + 1);
702         else if (strcmp(arg, "caller") == 0)
703                 caller_flag = (alloc_flag + 1);
704         else
705                 return -1;
706         return 0;
707 }
708
709 static int parse_line_opt(const struct option *opt __used,
710                           const char *arg, int unset __used)
711 {
712         int lines;
713
714         if (!arg)
715                 return -1;
716
717         lines = strtoul(arg, NULL, 10);
718
719         if (caller_flag > alloc_flag)
720                 caller_lines = lines;
721         else
722                 alloc_lines = lines;
723
724         return 0;
725 }
726
727 static const struct option kmem_options[] = {
728         OPT_STRING('i', "input", &input_name, "file",
729                    "input file name"),
730         OPT_CALLBACK(0, "stat", NULL, "<alloc>|<caller>",
731                      "stat selector, Pass 'alloc' or 'caller'.",
732                      parse_stat_opt),
733         OPT_CALLBACK('s', "sort", NULL, "key[,key2...]",
734                      "sort by keys: ptr, call_site, bytes, hit, pingpong, frag",
735                      parse_sort_opt),
736         OPT_CALLBACK('l', "line", NULL, "num",
737                      "show n lins",
738                      parse_line_opt),
739         OPT_BOOLEAN(0, "raw-ip", &raw_ip, "show raw ip instead of symbol"),
740         OPT_END()
741 };
742
743 static const char *record_args[] = {
744         "record",
745         "-a",
746         "-R",
747         "-M",
748         "-f",
749         "-c", "1",
750         "-e", "kmem:kmalloc",
751         "-e", "kmem:kmalloc_node",
752         "-e", "kmem:kfree",
753         "-e", "kmem:kmem_cache_alloc",
754         "-e", "kmem:kmem_cache_alloc_node",
755         "-e", "kmem:kmem_cache_free",
756 };
757
758 static int __cmd_record(int argc, const char **argv)
759 {
760         unsigned int rec_argc, i, j;
761         const char **rec_argv;
762
763         rec_argc = ARRAY_SIZE(record_args) + argc - 1;
764         rec_argv = calloc(rec_argc + 1, sizeof(char *));
765
766         for (i = 0; i < ARRAY_SIZE(record_args); i++)
767                 rec_argv[i] = strdup(record_args[i]);
768
769         for (j = 1; j < (unsigned int)argc; j++, i++)
770                 rec_argv[i] = argv[j];
771
772         return cmd_record(i, rec_argv, NULL);
773 }
774
775 int cmd_kmem(int argc, const char **argv, const char *prefix __used)
776 {
777         symbol__init(0);
778
779         argc = parse_options(argc, argv, kmem_options, kmem_usage, 0);
780
781         if (argc && !strncmp(argv[0], "rec", 3))
782                 return __cmd_record(argc, argv);
783         else if (argc)
784                 usage_with_options(kmem_usage, kmem_options);
785
786         if (list_empty(&caller_sort))
787                 setup_sorting(&caller_sort, default_sort_order);
788         if (list_empty(&alloc_sort))
789                 setup_sorting(&alloc_sort, default_sort_order);
790
791         setup_cpunode_map();
792
793         return __cmd_kmem();
794 }
795