┏━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━━━┓ ┃ award_number ┃ name ┃ status ┃ award_type ┃ office ┃ program ┃ program_topics ┃ evaluation_topics ┃ principal_investigator ┃ amount ┃ awardee ┃ award_year ┃ award_date_range ┃ project_type ┃ as_of ┃ ┡━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━━━┩ │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ date │ ├──────────────┼──────────────────────────────────────────────────────────────────────────────────┼────────┼────────────┼────────┼───────────────────────────────┼────────────────┼───────────────────┼────────────────────────┼──────────┼───────────────────────────────────────────────────────────┼────────────┼──────────────────┼──────────────┼────────────┤ │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ 2025-03-08 │ │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ 2025-03-08 │ │ ~ │ Scientific Evidence in Education Forum Series │ Closed │ Grant │ NCEE │ Unsolicited │ NULL │ NULL │ Steven Fleischman │ $399,883 │ American Institutes for Research (AIR) │ 2007 │ 2007 │ Other │ 2025-03-08 │ │ ~ │ Investigating State, District, and School Variability in the English Learner Ac… │ Closed │ Grant │ NCES │ NAEP Secondary Analysis Grant │ NULL │ NULL │ Russell Rumburger │ $0 │ University of California, Santa Barbara │ 2006 │ 2006 │ Other │ 2025-03-08 │ │ ~ │ A New Look at School Type, Mathematics Achievement and Equity │ Closed │ Grant │ NCES │ NAEP Secondary Analysis Grant │ NULL │ NULL │ Sarah Lubienski │ $0 │ University of Illinois, Urbana-Champaign │ 2005 │ 2005 │ Other │ 2025-03-08 │ │ ~ │ Evaluating State Equity and Adequacy in School Resources and Math Achievement: … │ Closed │ Grant │ NCES │ NAEP Secondary Analysis Grant │ NULL │ NULL │ Jaekyung Lee │ $0 │ State University of New York (SUNY), Buffalo │ 2005 │ 2005 │ Other │ 2025-03-08 │ │ ~ │ NAEP Proficiency and Skill Profile Comparisons at the State Level │ Closed │ Grant │ NCES │ NAEP Secondary Analysis Grant │ NULL │ NULL │ Jimmy de la Torre │ $0 │ Rutgers University │ 2005 │ 2005 │ Other │ 2025-03-08 │ │ ~ │ Multi-scale Visualization of National and State NAEP Data through Interactive G… │ Closed │ Grant │ NCES │ NAEP Secondary Analysis Grant │ NULL │ NULL │ Edward Ip │ $0 │ Wake Forest University Health Sciences │ 2005 │ 2005 │ Other │ 2025-03-08 │ │ ~ │ A Contextual Examination of the Relationships between Teacher Quality Factors a… │ Closed │ Grant │ NCES │ NAEP Secondary Analysis Grant │ NULL │ NULL │ Kerry Englert │ $0 │ Mid-continent Research for Education and Learning (McREL) │ 2005 │ 2005 │ Other │ 2025-03-08 │ │ ~ │ Analysis for the Fit of NAEP Scales for Specified Sub-populations │ Closed │ Grant │ NCES │ NAEP Secondary Analysis Grant │ NULL │ NULL │ Albert Beaton │ $0 │ Boston College │ 2004 │ 2004 │ Other │ 2025-03-08 │ │ … │ … │ … │ … │ … │ … │ … │ … │ … │ … │ … │ … │ … │ … │ … │ └──────────────┴──────────────────────────────────────────────────────────────────────────────────┴────────┴────────────┴────────┴───────────────────────────────┴────────────────┴───────────────────┴────────────────────────┴──────────┴───────────────────────────────────────────────────────────┴────────────┴──────────────────┴──────────────┴────────────┘
Initial Web Scraping Results
Data exploration
Short
- there are two entries that don’t have any scraped data
- some awards don’t have an award number, so award number can be null
- some awards can have multiple award numbers
- recommend to treat award number as a collection of award numbers
- 98.9% of awards have 1 award number
- 83% of award numbers are comprised of 11 chars
- there are 30 awards with award numbers = “” and 2 awards with NULL award numbers
┏━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ len ┃ n ┃ rel_freq ┃ ┡━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ int32 │ int64 │ float64 │ ├───────┼───────┼──────────┤ │ 11 │ 2515 │ 0.832230 │ │ 13 │ 195 │ 0.064527 │ │ 12 │ 148 │ 0.048974 │ │ 10 │ 57 │ 0.018862 │ │ 16 │ 31 │ 0.010258 │ │ 0 │ 30 │ 0.009927 │ │ 18 │ 24 │ 0.007942 │ │ 27 │ 5 │ 0.001655 │ │ 17 │ 2 │ 0.000662 │ │ 14 │ 2 │ 0.000662 │ │ … │ … │ … │ └───────┴───────┴──────────┘
┏━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ len ┃ n ┃ rel_freq ┃ ┡━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ int32 │ int64 │ float64 │ ├───────┼───────┼──────────┤ │ 0 │ 30 │ 0.009921 │ │ 3 │ 1 │ 0.000331 │ │ 10 │ 57 │ 0.018849 │ │ 11 │ 2515 │ 0.831680 │ │ 12 │ 148 │ 0.048942 │ │ 13 │ 195 │ 0.064484 │ │ 14 │ 2 │ 0.000661 │ │ 15 │ 1 │ 0.000331 │ │ 16 │ 31 │ 0.010251 │ │ 17 │ 2 │ 0.000661 │ │ … │ … │ … │ └───────┴───────┴──────────┘
┏━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ len ┃ n ┃ rel_freq ┃ ┡━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ int32 │ int64 │ float64 │ ├───────┼───────┼──────────┤ │ 70 │ 1 │ 0.000331 │ │ 60 │ 1 │ 0.000331 │ │ 56 │ 1 │ 0.000331 │ │ 55 │ 1 │ 0.000331 │ │ 36 │ 1 │ 0.000331 │ │ 31 │ 1 │ 0.000331 │ │ 30 │ 2 │ 0.000661 │ │ 28 │ 1 │ 0.000331 │ │ 27 │ 5 │ 0.001653 │ │ 24 │ 1 │ 0.000331 │ │ … │ … │ … │ └───────┴───────┴──────────┘
┏━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━━━┓ ┃ award_number ┃ name ┃ status ┃ award_type ┃ office ┃ program ┃ program_topics ┃ evaluation_topics ┃ principal_investigator ┃ amount ┃ awardee ┃ award_year ┃ award_date_range ┃ project_type ┃ as_of ┃ ┡━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━━━┩ │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ date │ ├──────────────┼──────────────────────────────────────────────────────────────────────────────────┼────────┼────────────┼────────┼───────────────────────────────┼────────────────┼───────────────────┼────────────────────────┼──────────┼───────────────────────────────────────────────────────────┼────────────┼──────────────────┼──────────────┼────────────┤ │ ~ │ Scientific Evidence in Education Forum Series │ Closed │ Grant │ NCEE │ Unsolicited │ NULL │ NULL │ Steven Fleischman │ $399,883 │ American Institutes for Research (AIR) │ 2007 │ 2007 │ Other │ 2025-03-08 │ │ ~ │ Investigating State, District, and School Variability in the English Learner Ac… │ Closed │ Grant │ NCES │ NAEP Secondary Analysis Grant │ NULL │ NULL │ Russell Rumburger │ $0 │ University of California, Santa Barbara │ 2006 │ 2006 │ Other │ 2025-03-08 │ │ ~ │ A New Look at School Type, Mathematics Achievement and Equity │ Closed │ Grant │ NCES │ NAEP Secondary Analysis Grant │ NULL │ NULL │ Sarah Lubienski │ $0 │ University of Illinois, Urbana-Champaign │ 2005 │ 2005 │ Other │ 2025-03-08 │ │ ~ │ Evaluating State Equity and Adequacy in School Resources and Math Achievement: … │ Closed │ Grant │ NCES │ NAEP Secondary Analysis Grant │ NULL │ NULL │ Jaekyung Lee │ $0 │ State University of New York (SUNY), Buffalo │ 2005 │ 2005 │ Other │ 2025-03-08 │ │ ~ │ NAEP Proficiency and Skill Profile Comparisons at the State Level │ Closed │ Grant │ NCES │ NAEP Secondary Analysis Grant │ NULL │ NULL │ Jimmy de la Torre │ $0 │ Rutgers University │ 2005 │ 2005 │ Other │ 2025-03-08 │ │ ~ │ Multi-scale Visualization of National and State NAEP Data through Interactive G… │ Closed │ Grant │ NCES │ NAEP Secondary Analysis Grant │ NULL │ NULL │ Edward Ip │ $0 │ Wake Forest University Health Sciences │ 2005 │ 2005 │ Other │ 2025-03-08 │ │ ~ │ A Contextual Examination of the Relationships between Teacher Quality Factors a… │ Closed │ Grant │ NCES │ NAEP Secondary Analysis Grant │ NULL │ NULL │ Kerry Englert │ $0 │ Mid-continent Research for Education and Learning (McREL) │ 2005 │ 2005 │ Other │ 2025-03-08 │ │ ~ │ Analysis for the Fit of NAEP Scales for Specified Sub-populations │ Closed │ Grant │ NCES │ NAEP Secondary Analysis Grant │ NULL │ NULL │ Albert Beaton │ $0 │ Boston College │ 2004 │ 2004 │ Other │ 2025-03-08 │ │ ~ │ State Policy, Multicultural Teacher Education, and Student Learning │ Closed │ Grant │ NCES │ NAEP Secondary Analysis Grant │ NULL │ NULL │ Motoko Akiba │ $0 │ University of Missouri, Columbia │ 2004 │ 2004 │ Other │ 2025-03-08 │ │ ~ │ Understanding the Relationship Between Mathematics and Science Coursework and N… │ Closed │ Grant │ NCES │ NAEP Secondary Analysis Grant │ NULL │ NULL │ Xin Ma │ $0 │ University of Kentucky │ 2004 │ 2004 │ Other │ 2025-03-08 │ │ … │ … │ … │ … │ … │ … │ … │ … │ … │ … │ … │ … │ … │ … │ … │ └──────────────┴──────────────────────────────────────────────────────────────────────────────────┴────────┴────────────┴────────┴───────────────────────────────┴────────────────┴───────────────────┴────────────────────────┴──────────┴───────────────────────────────────────────────────────────┴────────────┴──────────────────┴──────────────┴────────────┘
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━━━┓ ┃ award_number ┃ name ┃ status ┃ award_type ┃ office ┃ program ┃ program_topics ┃ evaluation_topics ┃ principal_investigator ┃ amount ┃ awardee ┃ award_year ┃ award_date_range ┃ project_type ┃ as_of ┃ ┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━━━┩ │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ date │ ├────────────────────────────────────────────────────────────────────────┼───────────────────────────────────────┼────────┼────────────┼────────┼────────────────────────────────────────┼────────────────┼───────────────────┼────────────────────────┼─────────────┼──────────────────────┼────────────┼───────────────────────────┼──────────────┼────────────┤ │ ED-IES-10-C-0064, ED-IES-13-C-0005, ED-IES-14-C-0007, ED-IES-15-C-0002 │ Evaluation of Investing in Innovation │ Closed │ Contract │ NCEE │ Elementary and Secondary Education Act │ NULL │ NULL │ NULL │ $25,359,202 │ Abt Associates, Inc. │ 2010 │ (09/01/2010 - 06/01/2022) │ Impact │ 2025-03-08 │ └────────────────────────────────────────────────────────────────────────┴───────────────────────────────────────┴────────┴────────────┴────────┴────────────────────────────────────────┴────────────────┴───────────────────┴────────────────────────┴─────────────┴──────────────────────┴────────────┴───────────────────────────┴──────────────┴────────────┘
┏━━━━━━━┳━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ len ┃ status ┃ n ┃ rel_freq ┃ ┡━━━━━━━╇━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ int32 │ string │ int64 │ float64 │ ├───────┼──────────┼───────┼──────────┤ │ 70 │ Closed │ 1 │ 0.000331 │ │ 60 │ Open │ 1 │ 0.000331 │ │ 56 │ Canceled │ 1 │ 0.000331 │ │ 55 │ Canceled │ 1 │ 0.000331 │ │ 36 │ Closed │ 1 │ 0.000331 │ │ 31 │ Canceled │ 1 │ 0.000331 │ │ 30 │ Closed │ 1 │ 0.000331 │ │ 30 │ Canceled │ 1 │ 0.000331 │ │ 28 │ Open │ 1 │ 0.000331 │ │ 27 │ Canceled │ 2 │ 0.000661 │ │ … │ … │ … │ … │ └───────┴──────────┴───────┴──────────┘
┏━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ len ┃ n ┃ rel_freq ┃ ┡━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ int64 │ int64 │ float64 │ ├───────┼───────┼──────────┤ │ 1 │ 2988 │ 0.988095 │ │ NULL │ 32 │ 0.010582 │ │ 2 │ 2 │ 0.000661 │ │ 4 │ 1 │ 0.000331 │ │ 3 │ 1 │ 0.000331 │ └───────┴───────┴──────────┘
┏━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ status ┃ n ┃ rel_freq ┃ ┡━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ string │ int64 │ float64 │ ├──────────┼───────┼──────────┤ │ Closed │ 2217 │ 0.733135 │ │ Open │ 781 │ 0.258267 │ │ Canceled │ 24 │ 0.007937 │ │ NULL │ 2 │ 0.000661 │ └──────────┴───────┴──────────┘
┏━━━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ award_type ┃ n ┃ rel_freq ┃ ┡━━━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ string │ int64 │ float64 │ ├────────────┼───────┼──────────┤ │ Grant │ 2552 │ 0.843915 │ │ Contract │ 470 │ 0.155423 │ │ NULL │ 2 │ 0.000661 │ └────────────┴───────┴──────────┘
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ office ┃ n ┃ rel_freq ┃ ┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ string │ int64 │ float64 │ ├───────────────────────────────────────────────────────────────────────────────┼───────┼──────────┤ │ NCER │ 2146 │ 0.709656 │ │ NCSER │ 662 │ 0.218915 │ │ NCES │ 98 │ 0.032407 │ │ NCEE │ 86 │ 0.028439 │ │ NCEE, Evaluation Division, K-12 Studies │ 16 │ 0.005291 │ │ NCEE, Evaluation Division, Postsecondary, Adult Education, and Choice Studies │ 12 │ 0.003968 │ │ NCER, NCSER │ 2 │ 0.000661 │ │ NULL │ 2 │ 0.000661 │ └───────────────────────────────────────────────────────────────────────────────┴───────┴──────────┘
┏━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ len ┃ n ┃ rel_freq ┃ ┡━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ int32 │ int64 │ float64 │ ├───────┼───────┼──────────┤ │ 4 │ 2330 │ 0.770503 │ │ 5 │ 662 │ 0.218915 │ │ 39 │ 16 │ 0.005291 │ │ 77 │ 12 │ 0.003968 │ │ NULL │ 2 │ 0.000661 │ │ 11 │ 2 │ 0.000661 │ └───────┴───────┴──────────┘
| program | n | rel_freq | |
|---|---|---|---|
| 0 | Education Research Grants | 1207 | 0.399140 |
| 1 | Special Education Research Grants | 495 | 0.163690 |
| 2 | Small Business Innovation Research | 420 | 0.138889 |
| 3 | Research Training Programs in the Education Sc... | 138 | 0.045635 |
| 4 | Statistical and Research Methodology in Education | 128 | 0.042328 |
| 5 | Partnerships and Collaborations Focused on Pro... | 95 | 0.031415 |
| 6 | Unsolicited | 65 | 0.021495 |
| 7 | Elementary and Secondary Education Act | 61 | 0.020172 |
| 8 | Research Training Programs in Special Education | 61 | 0.020172 |
| 9 | State Longitudinal Data System | 55 | 0.018188 |
| 10 | Research Networks Focused on Critical Problems... | 42 | 0.013889 |
| 11 | Education Research and Development Centers | 41 | 0.013558 |
| 12 | NAEP Secondary Analysis Grant | 38 | 0.012566 |
| 13 | Using Longitudinal Data to Support State Polic... | 22 | 0.007275 |
| 14 | Research Grants Focused on Systematic Replication | 15 | 0.004960 |
| 15 | Special Education Studies and Evaluations | 14 | 0.004630 |
| 16 | Preschool Curriculum Evaluation Research | 12 | 0.003968 |
| 17 | Higher Education Act | 12 | 0.003968 |
| 18 | Field Initiated Evaluations of Education Innov... | 12 | 0.003968 |
| 19 | Other | 10 | 0.003307 |
| 20 | Research to Accelerate Pandemic Recovery in Sp... | 9 | 0.002976 |
| 21 | Special Education Research and Development Cen... | 8 | 0.002646 |
| 22 | Improving Pandemic Recovery Efforts in Educati... | 8 | 0.002646 |
| 23 | Low-Cost, Short Duration Evaluation of Educati... | 8 | 0.002646 |
| 24 | Social and Character Development | 7 | 0.002315 |
| 25 | Low-Cost, Short-Duration Evaluation of Special... | 7 | 0.002315 |
| 26 | Transformative Research in the Education Sciences | 7 | 0.002315 |
| 27 | Reading for Understanding Research Initiative | 6 | 0.001984 |
| 28 | Research Networks Focused on Critical Problems... | 5 | 0.001653 |
| 29 | Regional Educational Laboratories | 3 | 0.000992 |
| 30 | DC Opportunity Scholarship Program | 3 | 0.000992 |
| 31 | Workforce Innovation and Opportunity Act | 3 | 0.000992 |
| 32 | Perkins Act | 2 | 0.000661 |
| 33 | Research Grants Focused on NAEP Process Data f... | 2 | 0.000661 |
| 34 | None | 2 | 0.000661 |
| 35 | Accelerating the Academic Achievement of Stude... | 1 | 0.000331 |
┏━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ len ┃ n ┃ rel_freq ┃ ┡━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ int32 │ int64 │ float64 │ ├───────┼───────┼──────────┤ │ 25 │ 1207 │ 0.399140 │ │ 33 │ 498 │ 0.164683 │ │ 34 │ 423 │ 0.139881 │ │ 49 │ 150 │ 0.049603 │ │ 52 │ 150 │ 0.049603 │ │ 73 │ 95 │ 0.031415 │ │ 11 │ 67 │ 0.022156 │ │ 38 │ 61 │ 0.020172 │ │ 47 │ 61 │ 0.020172 │ │ 30 │ 55 │ 0.018188 │ │ … │ … │ … │ └───────┴───────┴──────────┘
┏━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━┓ ┃ award_number ┃ name ┃ status ┃ award_type ┃ office ┃ program ┃ program_topics ┃ evaluation_topics ┃ principal_investigator ┃ amount ┃ awardee ┃ award_year ┃ award_date_range ┃ project_type ┃ as_of ┃ ┡━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━┩ │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ date │ └──────────────┴────────┴────────┴────────────┴────────┴─────────┴────────────────┴───────────────────┴────────────────────────┴────────┴─────────┴────────────┴──────────────────┴──────────────┴───────┘
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ program_topics ┃ n ┃ rel_freq ┃ ┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ string │ int64 │ float64 │ ├─────────────────────────────────────────────────────────────────────┼───────┼──────────┤ │ NULL │ 813 │ 0.268849 │ │ Social, Emotional, and Behavioral Context for Teaching and Learning │ 195 │ 0.064484 │ │ Cognition and Student Learning │ 190 │ 0.062831 │ │ Literacy │ 139 │ 0.045966 │ │ Early Learning Programs and Policies │ 117 │ 0.038690 │ │ Teaching, Teachers, and the Education Workforce │ 116 │ 0.038360 │ │ Early Intervention and Early Learning │ 114 │ 0.037698 │ │ Core │ 114 │ 0.037698 │ │ Science, Technology, Engineering, and Mathematics (STEM) Education │ 109 │ 0.036045 │ │ Postsecondary and Adult Education │ 101 │ 0.033399 │ │ … │ … │ … │ └─────────────────────────────────────────────────────────────────────┴───────┴──────────┘
┏━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ len ┃ n ┃ rel_freq ┃ ┡━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ int32 │ int64 │ float64 │ ├───────┼───────┼──────────┤ │ NULL │ 813 │ 0.268849 │ │ 30 │ 278 │ 0.091931 │ │ 67 │ 195 │ 0.064484 │ │ 44 │ 145 │ 0.047950 │ │ 8 │ 139 │ 0.045966 │ │ 36 │ 123 │ 0.040675 │ │ 47 │ 120 │ 0.039683 │ │ 37 │ 114 │ 0.037698 │ │ 4 │ 114 │ 0.037698 │ │ 66 │ 109 │ 0.036045 │ │ … │ … │ … │ └───────┴───────┴──────────┘
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ evaluation_topics ┃ n ┃ rel_freq ┃ ┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ string │ int64 │ float64 │ ├────────────────────────────────────────────────────────────────────────────┼───────┼──────────┤ │ NULL │ 2994 │ 0.990079 │ │ Behavior and Attendance │ 10 │ 0.003307 │ │ Early Learning │ 6 │ 0.001984 │ │ Pathways to Career or College – Career, Technical and Adult Education │ 3 │ 0.000992 │ │ Pathways to Career or College – College Access, Success, and Financial Aid │ 2 │ 0.000661 │ │ School Choice – Charter and Magnet Schools │ 2 │ 0.000661 │ │ English Learners │ 2 │ 0.000661 │ │ Literacy │ 2 │ 0.000661 │ │ Mathematics │ 1 │ 0.000331 │ │ Teachers and Leaders – Teacher Preparation │ 1 │ 0.000331 │ │ … │ … │ … │ └────────────────────────────────────────────────────────────────────────────┴───────┴──────────┘
┏━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ len ┃ n ┃ rel_freq ┃ ┡━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ int32 │ int64 │ float64 │ ├───────┼───────┼──────────┤ │ NULL │ 2994 │ 0.990079 │ │ 23 │ 10 │ 0.003307 │ │ 14 │ 6 │ 0.001984 │ │ 69 │ 3 │ 0.000992 │ │ 42 │ 3 │ 0.000992 │ │ 8 │ 2 │ 0.000661 │ │ 74 │ 2 │ 0.000661 │ │ 16 │ 2 │ 0.000661 │ │ 11 │ 1 │ 0.000331 │ │ 26 │ 1 │ 0.000331 │ └───────┴───────┴──────────┘
┏━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ principal_investigator ┃ n ┃ rel_freq ┃ ┡━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ string │ int64 │ float64 │ ├────────────────────────┼───────┼──────────┤ │ NULL │ 108 │ 0.035714 │ │ Larry Hedges │ 18 │ 0.005952 │ │ Laura Justice │ 13 │ 0.004299 │ │ Steve Schneider │ 12 │ 0.003968 │ │ Susan Sheridan │ 11 │ 0.003638 │ │ Michael Weiss │ 11 │ 0.003638 │ │ Christopher Lonigan │ 11 │ 0.003638 │ │ Danielle McNamara │ 11 │ 0.003638 │ │ Dan Goldhaber │ 11 │ 0.003638 │ │ Benny Johnson │ 10 │ 0.003307 │ │ … │ … │ … │ └────────────────────────┴───────┴──────────┘
┏━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ len ┃ n ┃ rel_freq ┃ ┡━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ int64 │ int64 │ float64 │ ├───────┼───────┼──────────┤ │ 1 │ 2916 │ 0.964286 │ │ NULL │ 108 │ 0.035714 │ └───────┴───────┴──────────┘
┏━━━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ amount ┃ n ┃ rel_freq ┃ ┡━━━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ string │ int64 │ float64 │ ├────────────┼───────┼──────────┤ │ $250,000 │ 42 │ 0.013889 │ │ $1,400,000 │ 42 │ 0.013889 │ │ $900,000 │ 40 │ 0.013228 │ │ $1,000,000 │ 38 │ 0.012566 │ │ $100,000 │ 36 │ 0.011905 │ │ $200,000 │ 34 │ 0.011243 │ │ $0 │ 31 │ 0.010251 │ │ $1,500,000 │ 30 │ 0.009921 │ │ $150,000 │ 29 │ 0.009590 │ │ $2,000,000 │ 24 │ 0.007937 │ │ … │ … │ … │ └────────────┴───────┴──────────┘
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ awardee ┃ n ┃ rel_freq ┃ ┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ string │ int64 │ float64 │ ├───────────────────────────────────────────┼───────┼──────────┤ │ American Institutes for Research (AIR) │ 103 │ 0.034061 │ │ Vanderbilt University │ 78 │ 0.025794 │ │ University of Oregon │ 76 │ 0.025132 │ │ University of Virginia │ 65 │ 0.021495 │ │ Florida State University │ 55 │ 0.018188 │ │ WestEd │ 53 │ 0.017526 │ │ University of Kansas │ 53 │ 0.017526 │ │ University of Wisconsin, Madison │ 48 │ 0.015873 │ │ University of North Carolina, Chapel Hill │ 44 │ 0.014550 │ │ MDRC │ 41 │ 0.013558 │ │ … │ … │ … │ └───────────────────────────────────────────┴───────┴──────────┘
┏━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━━━┓ ┃ award_number ┃ name ┃ status ┃ award_type ┃ office ┃ program ┃ program_topics ┃ evaluation_topics ┃ principal_investigator ┃ amount ┃ awardee ┃ award_year ┃ award_date_range ┃ project_type ┃ as_of ┃ ┡━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━━━┩ │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ string │ date │ ├──────────────┼────────┼────────┼────────────┼────────┼─────────┼────────────────┼───────────────────┼────────────────────────┼────────┼─────────┼────────────┼──────────────────┼──────────────┼────────────┤ │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ 2025-03-08 │ │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ NULL │ 2025-03-08 │ └──────────────┴────────┴────────┴────────────┴────────┴─────────┴────────────────┴───────────────────┴────────────────────────┴────────┴─────────┴────────────┴──────────────────┴──────────────┴────────────┘
┏━━━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ award_year ┃ n ┃ rel_freq ┃ ┡━━━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ string │ int64 │ float64 │ ├────────────┼───────┼──────────┤ │ 2019 │ 182 │ 0.060185 │ │ 2021 │ 182 │ 0.060185 │ │ 2015 │ 180 │ 0.059524 │ │ 2010 │ 172 │ 0.056878 │ │ 2020 │ 166 │ 0.054894 │ │ 2017 │ 166 │ 0.054894 │ │ 2024 │ 152 │ 0.050265 │ │ 2011 │ 152 │ 0.050265 │ │ 2009 │ 146 │ 0.048280 │ │ 2016 │ 143 │ 0.047288 │ │ … │ … │ … │ └────────────┴───────┴──────────┘
┏━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ len ┃ n ┃ rel_freq ┃ ┡━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ int32 │ int64 │ float64 │ ├───────┼───────┼──────────┤ │ 4 │ 2995 │ 0.990410 │ │ NULL │ 13 │ 0.004299 │ │ 40 │ 10 │ 0.003307 │ │ 32 │ 3 │ 0.000992 │ │ 41 │ 2 │ 0.000661 │ │ 39 │ 1 │ 0.000331 │ └───────┴───────┴──────────┘
┏━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━┓ ┃ award_year ┃ award_date_range ┃ ┡━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━┩ │ string │ string │ └────────────┴──────────────────┘
┏━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ x ┃ n ┃ rel_freq ┃ ┡━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ int8 │ int64 │ float64 │ ├──────┼───────┼──────────┤ │ 1 │ 2059 │ 0.680886 │ │ 0 │ 965 │ 0.319114 │ └──────┴───────┴──────────┘
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━┓ ┃ award_date_range ┃ ┡━━━━━━━━━━━━━━━━━━━━━━━━━━━┩ │ string │ ├───────────────────────────┤ │ (07/01/2024 - 06/30/2027) │ │ (09/01/2024 - 08/31/2025) │ │ (10/10/2024 - 08/31/2027) │ │ (05/01/2024 - 01/02/2025) │ │ (05/01/2024 - 04/30/2026) │ │ (08/01/2023 - 07/31/2026) │ │ (07/17/2023 - 03/17/2024) │ │ (01/01/2023 - 12/31/2025) │ │ (07/17/2023 - 07/17/2025) │ │ (06/23/2023 - 06/23/2025) │ │ … │ └───────────────────────────┘
┏━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ is_null ┃ n ┃ rel_freq ┃ ┡━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ int8 │ int64 │ float64 │ ├─────────┼───────┼──────────┤ │ 0 │ 3006 │ 0.994048 │ │ 1 │ 18 │ 0.005952 │ └─────────┴───────┴──────────┘
┌────┐
│ 19 │
└────┘
┏━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ ┃ len ┃ n ┃ rel_freq ┃ ┡━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ │ int64 │ int64 │ float64 │ ├───────┼───────┼──────────┤ │ 1 │ 3006 │ 0.994048 │ │ NULL │ 18 │ 0.005952 │ └───────┴───────┴──────────┘
IES short clean schema
ibis.Schema {
award_number string
award_number_clean string
award_type string
principal_investigator string
award_year string
program_topics array<string>
program array<string>
award_date_range_start date
evaluation_topics array<string>
amount int64
award_date_range_end date
name string
project_type string
as_of date
awardee string
status string
office array<string>
}