1.1 - 8.10 - ROC Example: OutputTable, Default Values - Teradata Vantage

Teradata Vantage™ - Machine Learning Engine Analytic Function Reference

Product
Teradata Vantage
Release Number
1.1
8.10
Release Date
October 2019
Content Type
Programming Reference
Publication ID
B700-4003-079K
Language
English (United States)

Input

All ROC examples use this input table, roc_input, which has data from four different models:

model_id id  observation  probability          
 -------- --- ----------- ------------
        1   7 0           0.15
        1  40 0           0.4
        1  55 1           1.0
        1  57 1           0.85
        1  72 1           1.0
        1  80 1           0.9
        1  95 1           1.0
        1 110 0           0.0
        1 112 0           0.0
        1 118 0           0.0
        1 120 1           0.9
        1 127 0           0.0
        1 135 0           0.0
        1 150 0           0.1
        1 158 1           1.0
        1 162 0           0.05
        1 167 0           0.0
        1 173 0           0.0
        1 175 0           0.0
        1 190 1           0.9
        1 200 0           0.0
        1 213 1           0.1
        1 217 0           0.0
        1 223 1           1.0
        1 228 0           0.0
        2 230 0           0.05
        2 240 0           0.0
        2 255 0           0.0
        2 268 1           1.0
        2 270 1           1.0
        2 272 1           1.0
        2 278 1           0.9
        2 295 1           1.0
        2 310 1           0.9
        2 343 0           0.0
        2 345 0           0.05
        2 360 0           0.15
        2 383 1           1.0
        2 398 0           0.3
        2 400 1           0.95
        2 406 0           0.0
        2 415 0           0.0
        2 423 0           0.0
        2 438 0           0.0
        2 446 1           1.0
        2 453 0           0.0
        2 455 0           0.05
        2 461 0           0.1
        2 463 0           0.0
        2 478 1           0.85
        3 488 1           0.75
        3 493 1           1.0
        3 501 1           1.0
        3 503 0           0.4
        3 505 0           0.35
        3 516 0           0.0
        3 518 0           0.0
        3 528 0           0.15
        3 533 1           0.9
        3 543 1           0.7
        3 556 1           0.7
        3 558 1           1.0
        3 560 1           0.95
        3 575 1           0.35
        3 583 0           0.0
        3 598 1           1.0
        3 615 1           0.45
        3 631 1           1.0
        3 648 1           0.9
        3 671 0           0.05
        3 686 0           0.0
        3 688 0           0.1
        3 703 0           0.0
        3 711 0           0.8
        3 718 0           0.15
        4 726 1           1.0
        4 734 0           0.05
        4 741 1           0.4
        4 743 0           0.05
        4 749 0           0.0
        4 751 0           0.0
        4 758 0           0.0
        4 766 1           0.85
        4 781 0           0.7
        4 789 0           0.1
        4 791 1           0.7
        4 793 1           1.0
        4 798 0           0.0
        4 804 1           1.0
        4 806 0           0.0
        4 808 1           0.9
        4 821 1           1.0
        4 831 0           0.0
        4 846 0           0.0
        4 848 0           0.0
        4 861 1           0.8
        4 863 0           0.05
        4 886 0           0.3
        4 901 0           0.0
        4 903 0           0.0

SQL Call

In this call, the ROCValues, AUC, and Gini syntax elements default to the values 'true', 'false', and 'false', respectively.

SELECT * FROM ROC (
  ON roc_input AS InputTable
  OUT TABLE OutputTable (roc_out_1)
  USING
  ModelIdColumn ('model_id')
  ProbabilityColumn ('probability')
  ObservationColumn ('observation')
  PositiveClass ('1')
  NumThresholds (100)
) AS dt;

Output

 info          
 ------------- 
 ROC complete.
SELECT * FROM roc_out_1;
 model_id threshold          tpr               fpr                
 -------- ------------------ ----------------- ------------------ 
        1                0.0               1.0                1.0
        1 0.0101010101010101               1.0  0.266666666666667
        1 0.0202020202020202               1.0  0.266666666666667
        1 0.0303030303030303               1.0  0.266666666666667
        1 0.0404040404040404               1.0  0.266666666666667
        1 0.0505050505050505               1.0                0.2
        1 0.0606060606060606               1.0                0.2
        1 0.0707070707070707               1.0                0.2
        1 0.0808080808080808               1.0                0.2
        1 0.0909090909090909               1.0                0.2
        1  0.101010101010101               0.9  0.133333333333333
        1  0.111111111111111               0.9  0.133333333333333
        1  0.121212121212121               0.9  0.133333333333333
        1  0.131313131313131               0.9  0.133333333333333
        1  0.141414141414141               0.9  0.133333333333333
        1  0.151515151515152               0.9 0.0666666666666667
        1  0.161616161616162               0.9 0.0666666666666667
        1  0.171717171717172               0.9 0.0666666666666667
        1  0.181818181818182               0.9 0.0666666666666667
        1  0.191919191919192               0.9 0.0666666666666667
        1  0.202020202020202               0.9 0.0666666666666667
        1  0.212121212121212               0.9 0.0666666666666667
        1  0.222222222222222               0.9 0.0666666666666667
        1  0.232323232323232               0.9 0.0666666666666667
        1  0.242424242424242               0.9 0.0666666666666667
        1  0.252525252525253               0.9 0.0666666666666667
        1  0.262626262626263               0.9 0.0666666666666667
        1  0.272727272727273               0.9 0.0666666666666667
        1  0.282828282828283               0.9 0.0666666666666667
        1  0.292929292929293               0.9 0.0666666666666667
        1  0.303030303030303               0.9 0.0666666666666667
        1  0.313131313131313               0.9 0.0666666666666667
        1  0.323232323232323               0.9 0.0666666666666667
        1  0.333333333333333               0.9 0.0666666666666667
        1  0.343434343434343               0.9 0.0666666666666667
        1  0.353535353535354               0.9 0.0666666666666667
        1  0.363636363636364               0.9 0.0666666666666667
        1  0.373737373737374               0.9 0.0666666666666667
        1  0.383838383838384               0.9 0.0666666666666667
        1  0.393939393939394               0.9 0.0666666666666667
        1  0.404040404040404               0.9                0.0
        1  0.414141414141414               0.9                0.0
        1  0.424242424242424               0.9                0.0
        1  0.434343434343434               0.9                0.0
        1  0.444444444444444               0.9                0.0
        1  0.454545454545455               0.9                0.0
        1  0.464646464646465               0.9                0.0
        1  0.474747474747475               0.9                0.0
        1  0.484848484848485               0.9                0.0
        1  0.494949494949495               0.9                0.0
        1  0.505050505050505               0.9                0.0
        1  0.515151515151515               0.9                0.0
        1  0.525252525252525               0.9                0.0
        1  0.535353535353535               0.9                0.0
        1  0.545454545454546               0.9                0.0
        1  0.555555555555556               0.9                0.0
        1  0.565656565656566               0.9                0.0
        1  0.575757575757576               0.9                0.0
        1  0.585858585858586               0.9                0.0
        1  0.595959595959596               0.9                0.0
        1  0.606060606060606               0.9                0.0
        1  0.616161616161616               0.9                0.0
        1  0.626262626262626               0.9                0.0
        1  0.636363636363636               0.9                0.0
        1  0.646464646464647               0.9                0.0
        1  0.656565656565657               0.9                0.0
        1  0.666666666666667               0.9                0.0
        1  0.676767676767677               0.9                0.0
        1  0.686868686868687               0.9                0.0
        1  0.696969696969697               0.9                0.0
        1  0.707070707070707               0.9                0.0
        1  0.717171717171717               0.9                0.0
        1  0.727272727272727               0.9                0.0
        1  0.737373737373737               0.9                0.0
        1  0.747474747474748               0.9                0.0
        1  0.757575757575758               0.9                0.0
        1  0.767676767676768               0.9                0.0
        1  0.777777777777778               0.9                0.0
        1  0.787878787878788               0.9                0.0
        1  0.797979797979798               0.9                0.0
        1  0.808080808080808               0.9                0.0
        1  0.818181818181818               0.9                0.0
        1  0.828282828282828               0.9                0.0
        1  0.838383838383838               0.9                0.0
        1  0.848484848484849               0.9                0.0
        1  0.858585858585859               0.8                0.0
        1  0.868686868686869               0.8                0.0
        1  0.878787878787879               0.8                0.0
        1  0.888888888888889               0.8                0.0
        1  0.898989898989899               0.8                0.0
        1  0.909090909090909               0.5                0.0
        1  0.919191919191919               0.5                0.0
        1  0.929292929292929               0.5                0.0
        1  0.939393939393939               0.5                0.0
        1   0.94949494949495               0.5                0.0
        1   0.95959595959596               0.5                0.0
        1   0.96969696969697               0.5                0.0
        1   0.97979797979798               0.5                0.0
        1   0.98989898989899               0.5                0.0
        1                1.0               0.5                0.0
        2                0.0               1.0                1.0
        2 0.0101010101010101               1.0                0.4
        2 0.0202020202020202               1.0                0.4
        2 0.0303030303030303               1.0                0.4
        2 0.0404040404040404               1.0                0.4
        2 0.0505050505050505               1.0                0.2
        2 0.0606060606060606               1.0                0.2
        2 0.0707070707070707               1.0                0.2
        2 0.0808080808080808               1.0                0.2
        2 0.0909090909090909               1.0                0.2
        2  0.101010101010101               1.0  0.133333333333333
        2  0.111111111111111               1.0  0.133333333333333
        2  0.121212121212121               1.0  0.133333333333333
        2  0.131313131313131               1.0  0.133333333333333
        2  0.141414141414141               1.0  0.133333333333333
        2  0.151515151515152               1.0 0.0666666666666667
        2  0.161616161616162               1.0 0.0666666666666667
        2  0.171717171717172               1.0 0.0666666666666667
        2  0.181818181818182               1.0 0.0666666666666667
        2  0.191919191919192               1.0 0.0666666666666667
        2  0.202020202020202               1.0 0.0666666666666667
        2  0.212121212121212               1.0 0.0666666666666667
        2  0.222222222222222               1.0 0.0666666666666667
        2  0.232323232323232               1.0 0.0666666666666667
        2  0.242424242424242               1.0 0.0666666666666667
        2  0.252525252525253               1.0 0.0666666666666667
        2  0.262626262626263               1.0 0.0666666666666667
        2  0.272727272727273               1.0 0.0666666666666667
        2  0.282828282828283               1.0 0.0666666666666667
        2  0.292929292929293               1.0 0.0666666666666667
        2  0.303030303030303               1.0                0.0
        2  0.313131313131313               1.0                0.0
        2  0.323232323232323               1.0                0.0
        2  0.333333333333333               1.0                0.0
        2  0.343434343434343               1.0                0.0
        2  0.353535353535354               1.0                0.0
        2  0.363636363636364               1.0                0.0
        2  0.373737373737374               1.0                0.0
        2  0.383838383838384               1.0                0.0
        2  0.393939393939394               1.0                0.0
        2  0.404040404040404               1.0                0.0
        2  0.414141414141414               1.0                0.0
        2  0.424242424242424               1.0                0.0
        2  0.434343434343434               1.0                0.0
        2  0.444444444444444               1.0                0.0
        2  0.454545454545455               1.0                0.0
        2  0.464646464646465               1.0                0.0
        2  0.474747474747475               1.0                0.0
        2  0.484848484848485               1.0                0.0
        2  0.494949494949495               1.0                0.0
        2  0.505050505050505               1.0                0.0
        2  0.515151515151515               1.0                0.0
        2  0.525252525252525               1.0                0.0
        2  0.535353535353535               1.0                0.0
        2  0.545454545454546               1.0                0.0
        2  0.555555555555556               1.0                0.0
        2  0.565656565656566               1.0                0.0
        2  0.575757575757576               1.0                0.0
        2  0.585858585858586               1.0                0.0
        2  0.595959595959596               1.0                0.0
        2  0.606060606060606               1.0                0.0
        2  0.616161616161616               1.0                0.0
        2  0.626262626262626               1.0                0.0
        2  0.636363636363636               1.0                0.0
        2  0.646464646464647               1.0                0.0
        2  0.656565656565657               1.0                0.0
        2  0.666666666666667               1.0                0.0
        2  0.676767676767677               1.0                0.0
        2  0.686868686868687               1.0                0.0
        2  0.696969696969697               1.0                0.0
        2  0.707070707070707               1.0                0.0
        2  0.717171717171717               1.0                0.0
        2  0.727272727272727               1.0                0.0
        2  0.737373737373737               1.0                0.0
        2  0.747474747474748               1.0                0.0
        2  0.757575757575758               1.0                0.0
        2  0.767676767676768               1.0                0.0
        2  0.777777777777778               1.0                0.0
        2  0.787878787878788               1.0                0.0
        2  0.797979797979798               1.0                0.0
        2  0.808080808080808               1.0                0.0
        2  0.818181818181818               1.0                0.0
        2  0.828282828282828               1.0                0.0
        2  0.838383838383838               1.0                0.0
        2  0.848484848484849               1.0                0.0
        2  0.858585858585859               0.9                0.0
        2  0.868686868686869               0.9                0.0
        2  0.878787878787879               0.9                0.0
        2  0.888888888888889               0.9                0.0
        2  0.898989898989899               0.9                0.0
        2  0.909090909090909               0.7                0.0
        2  0.919191919191919               0.7                0.0
        2  0.929292929292929               0.7                0.0
        2  0.939393939393939               0.7                0.0
        2   0.94949494949495               0.7                0.0
        2   0.95959595959596               0.6                0.0
        2   0.96969696969697               0.6                0.0
        2   0.97979797979798               0.6                0.0
        2   0.98989898989899               0.6                0.0
        2                1.0               0.6                0.0
        3                0.0               1.0                1.0
        3 0.0101010101010101               1.0  0.583333333333333
        3 0.0202020202020202               1.0  0.583333333333333
        3 0.0303030303030303               1.0  0.583333333333333
        3 0.0404040404040404               1.0  0.583333333333333
        3 0.0505050505050505               1.0                0.5
        3 0.0606060606060606               1.0                0.5
        3 0.0707070707070707               1.0                0.5
        3 0.0808080808080808               1.0                0.5
        3 0.0909090909090909               1.0                0.5
        3  0.101010101010101               1.0  0.416666666666667
        3  0.111111111111111               1.0  0.416666666666667
        3  0.121212121212121               1.0  0.416666666666667
        3  0.131313131313131               1.0  0.416666666666667
        3  0.141414141414141               1.0  0.416666666666667
        3  0.151515151515152               1.0               0.25
        3  0.161616161616162               1.0               0.25
        3  0.171717171717172               1.0               0.25
        3  0.181818181818182               1.0               0.25
        3  0.191919191919192               1.0               0.25
        3  0.202020202020202               1.0               0.25
        3  0.212121212121212               1.0               0.25
        3  0.222222222222222               1.0               0.25
        3  0.232323232323232               1.0               0.25
        3  0.242424242424242               1.0               0.25
        3  0.252525252525253               1.0               0.25
        3  0.262626262626263               1.0               0.25
        3  0.272727272727273               1.0               0.25
        3  0.282828282828283               1.0               0.25
        3  0.292929292929293               1.0               0.25
        3  0.303030303030303               1.0               0.25
        3  0.313131313131313               1.0               0.25
        3  0.323232323232323               1.0               0.25
        3  0.333333333333333               1.0               0.25
        3  0.343434343434343               1.0               0.25
        3  0.353535353535354 0.923076923076923  0.166666666666667
        3  0.363636363636364 0.923076923076923  0.166666666666667
        3  0.373737373737374 0.923076923076923  0.166666666666667
        3  0.383838383838384 0.923076923076923  0.166666666666667
        3  0.393939393939394 0.923076923076923  0.166666666666667
        3  0.404040404040404 0.923076923076923 0.0833333333333333
        3  0.414141414141414 0.923076923076923 0.0833333333333333
        3  0.424242424242424 0.923076923076923 0.0833333333333333
        3  0.434343434343434 0.923076923076923 0.0833333333333333
        3  0.444444444444444 0.923076923076923 0.0833333333333333
        3  0.454545454545455 0.846153846153846 0.0833333333333333
        3  0.464646464646465 0.846153846153846 0.0833333333333333
        3  0.474747474747475 0.846153846153846 0.0833333333333333
        3  0.484848484848485 0.846153846153846 0.0833333333333333
        3  0.494949494949495 0.846153846153846 0.0833333333333333
        3  0.505050505050505 0.846153846153846 0.0833333333333333
        3  0.515151515151515 0.846153846153846 0.0833333333333333
        3  0.525252525252525 0.846153846153846 0.0833333333333333
        3  0.535353535353535 0.846153846153846 0.0833333333333333
        3  0.545454545454546 0.846153846153846 0.0833333333333333
        3  0.555555555555556 0.846153846153846 0.0833333333333333
        3  0.565656565656566 0.846153846153846 0.0833333333333333
        3  0.575757575757576 0.846153846153846 0.0833333333333333
        3  0.585858585858586 0.846153846153846 0.0833333333333333
        3  0.595959595959596 0.846153846153846 0.0833333333333333
        3  0.606060606060606 0.846153846153846 0.0833333333333333
        3  0.616161616161616 0.846153846153846 0.0833333333333333
        3  0.626262626262626 0.846153846153846 0.0833333333333333
        3  0.636363636363636 0.846153846153846 0.0833333333333333
        3  0.646464646464647 0.846153846153846 0.0833333333333333
        3  0.656565656565657 0.846153846153846 0.0833333333333333
        3  0.666666666666667 0.846153846153846 0.0833333333333333
        3  0.676767676767677 0.846153846153846 0.0833333333333333
        3  0.686868686868687 0.846153846153846 0.0833333333333333
        3  0.696969696969697 0.846153846153846 0.0833333333333333
        3  0.707070707070707 0.692307692307692 0.0833333333333333
        3  0.717171717171717 0.692307692307692 0.0833333333333333
        3  0.727272727272727 0.692307692307692 0.0833333333333333
        3  0.737373737373737 0.692307692307692 0.0833333333333333
        3  0.747474747474748 0.692307692307692 0.0833333333333333
        3  0.757575757575758 0.615384615384615 0.0833333333333333
        3  0.767676767676768 0.615384615384615 0.0833333333333333
        3  0.777777777777778 0.615384615384615 0.0833333333333333
        3  0.787878787878788 0.615384615384615 0.0833333333333333
        3  0.797979797979798 0.615384615384615 0.0833333333333333
        3  0.808080808080808 0.615384615384615                0.0
        3  0.818181818181818 0.615384615384615                0.0
        3  0.828282828282828 0.615384615384615                0.0
        3  0.838383838383838 0.615384615384615                0.0
        3  0.848484848484849 0.615384615384615                0.0
        3  0.858585858585859 0.615384615384615                0.0
        3  0.868686868686869 0.615384615384615                0.0
        3  0.878787878787879 0.615384615384615                0.0
        3  0.888888888888889 0.615384615384615                0.0
        3  0.898989898989899 0.615384615384615                0.0
        3  0.909090909090909 0.461538461538462                0.0
        3  0.919191919191919 0.461538461538462                0.0
        3  0.929292929292929 0.461538461538462                0.0
        3  0.939393939393939 0.461538461538462                0.0
        3   0.94949494949495 0.461538461538462                0.0
        3   0.95959595959596 0.384615384615385                0.0
        3   0.96969696969697 0.384615384615385                0.0
        3   0.97979797979798 0.384615384615385                0.0
        3   0.98989898989899 0.384615384615385                0.0
        3                1.0 0.384615384615385                0.0
        4                0.0               1.0                1.0
        4 0.0101010101010101               1.0              0.375
        4 0.0202020202020202               1.0              0.375
        4 0.0303030303030303               1.0              0.375
        4 0.0404040404040404               1.0              0.375
        4 0.0505050505050505               1.0             0.1875
        4 0.0606060606060606               1.0             0.1875
        4 0.0707070707070707               1.0             0.1875
        4 0.0808080808080808               1.0             0.1875
        4 0.0909090909090909               1.0             0.1875
        4  0.101010101010101               1.0              0.125
        4  0.111111111111111               1.0              0.125
        4  0.121212121212121               1.0              0.125
        4  0.131313131313131               1.0              0.125
        4  0.141414141414141               1.0              0.125
        4  0.151515151515152               1.0              0.125
        4  0.161616161616162               1.0              0.125
        4  0.171717171717172               1.0              0.125
        4  0.181818181818182               1.0              0.125
        4  0.191919191919192               1.0              0.125
        4  0.202020202020202               1.0              0.125
        4  0.212121212121212               1.0              0.125
        4  0.222222222222222               1.0              0.125
        4  0.232323232323232               1.0              0.125
        4  0.242424242424242               1.0              0.125
        4  0.252525252525253               1.0              0.125
        4  0.262626262626263               1.0              0.125
        4  0.272727272727273               1.0              0.125
        4  0.282828282828283               1.0              0.125
        4  0.292929292929293               1.0              0.125
        4  0.303030303030303               1.0             0.0625
        4  0.313131313131313               1.0             0.0625
        4  0.323232323232323               1.0             0.0625
        4  0.333333333333333               1.0             0.0625
        4  0.343434343434343               1.0             0.0625
        4  0.353535353535354               1.0             0.0625
        4  0.363636363636364               1.0             0.0625
        4  0.373737373737374               1.0             0.0625
        4  0.383838383838384               1.0             0.0625
        4  0.393939393939394               1.0             0.0625
        4  0.404040404040404 0.888888888888889             0.0625
        4  0.414141414141414 0.888888888888889             0.0625
        4  0.424242424242424 0.888888888888889             0.0625
        4  0.434343434343434 0.888888888888889             0.0625
        4  0.444444444444444 0.888888888888889             0.0625
        4  0.454545454545455 0.888888888888889             0.0625
        4  0.464646464646465 0.888888888888889             0.0625
        4  0.474747474747475 0.888888888888889             0.0625
        4  0.484848484848485 0.888888888888889             0.0625
        4  0.494949494949495 0.888888888888889             0.0625
        4  0.505050505050505 0.888888888888889             0.0625
        4  0.515151515151515 0.888888888888889             0.0625
        4  0.525252525252525 0.888888888888889             0.0625
        4  0.535353535353535 0.888888888888889             0.0625
        4  0.545454545454546 0.888888888888889             0.0625
        4  0.555555555555556 0.888888888888889             0.0625
        4  0.565656565656566 0.888888888888889             0.0625
        4  0.575757575757576 0.888888888888889             0.0625
        4  0.585858585858586 0.888888888888889             0.0625
        4  0.595959595959596 0.888888888888889             0.0625
        4  0.606060606060606 0.888888888888889             0.0625
        4  0.616161616161616 0.888888888888889             0.0625
        4  0.626262626262626 0.888888888888889             0.0625
        4  0.636363636363636 0.888888888888889             0.0625
        4  0.646464646464647 0.888888888888889             0.0625
        4  0.656565656565657 0.888888888888889             0.0625
        4  0.666666666666667 0.888888888888889             0.0625
        4  0.676767676767677 0.888888888888889             0.0625
        4  0.686868686868687 0.888888888888889             0.0625
        4  0.696969696969697 0.888888888888889             0.0625
        4  0.707070707070707 0.777777777777778                0.0
        4  0.717171717171717 0.777777777777778                0.0
        4  0.727272727272727 0.777777777777778                0.0
        4  0.737373737373737 0.777777777777778                0.0
        4  0.747474747474748 0.777777777777778                0.0
        4  0.757575757575758 0.777777777777778                0.0
        4  0.767676767676768 0.777777777777778                0.0
        4  0.777777777777778 0.777777777777778                0.0
        4  0.787878787878788 0.777777777777778                0.0
        4  0.797979797979798 0.777777777777778                0.0
        4  0.808080808080808 0.666666666666667                0.0
        4  0.818181818181818 0.666666666666667                0.0
        4  0.828282828282828 0.666666666666667                0.0
        4  0.838383838383838 0.666666666666667                0.0
        4  0.848484848484849 0.666666666666667                0.0
        4  0.858585858585859 0.555555555555556                0.0
        4  0.868686868686869 0.555555555555556                0.0
        4  0.878787878787879 0.555555555555556                0.0
        4  0.888888888888889 0.555555555555556                0.0
        4  0.898989898989899 0.555555555555556                0.0
        4  0.909090909090909 0.444444444444444                0.0
        4  0.919191919191919 0.444444444444444                0.0
        4  0.929292929292929 0.444444444444444                0.0
        4  0.939393939393939 0.444444444444444                0.0
        4   0.94949494949495 0.444444444444444                0.0
        4   0.95959595959596 0.444444444444444                0.0
        4   0.96969696969697 0.444444444444444                0.0
        4   0.97979797979798 0.444444444444444                0.0
        4   0.98989898989899 0.444444444444444                0.0
        4                1.0 0.444444444444444                0.0

Download a zip file of all examples and a SQL script file that creates their input tables from the attachment in the left sidebar.