How the New York State Testing Program Aligns to the Common

163 Pages·2011·0.95 MB·English

by  College Board

How the New
York State

Testing Program
Aligns to the
Common Core
State Standards in
Mathematics

July 2011
Mission Statement
About the College Board
The College Board is a mission‐driven not‐for‐profit organization that connects students to 
college success and opportunity. Founded in 1900, the College Board was created to expand 
access to higher education. Today, the membership association is made up of more than 5,900 
of the world’s leading educational institutions and is dedicated to promoting excellence and 
equity in education. Each year, the College Board helps more than seven million students 
prepare for a successful transition to college through programs and services in college readiness 
and  college  success  —  including  the  SAT®  and  the  Advanced  Placement  Program®.  The 
organization also serves the education community through research and advocacy on behalf of 
students, educators and schools. 

For further information, visit www.collegeboard.com.
Contents

Executive Summary 2
Alignment Methodology 3
Overall Findings and Recommendations 4
Limitations of this Study 5
Mathematics: Grade 5 Analysis 6
Mathematics: Grade 8 Analysis 10
Mathematics: Integrated Algebra Analysis 14
Appendixes 19
Appendix A: New York State Grade 5 Side-by-Side Alignment Table

Appendix B: New York State Grade 8 Side-by-Side Alignment Table

Appendix C: New York State Integrated Algebra Side-by-Side Alignment Table

Appendix D: New York State Integrated Algebra Side-by-Side Alignment Table–
Common Core Algebra I Pathway
Analysis of the Alignment between the New York State Testing Program and
the Common Core State Standards for Mathematics
July 2011
Executive Summary
The Common Core State Standards (CCSS) articulate the knowledge and skills students need to be ready 
to succeed in college and careers.  The College Board conducted an alignment study to determine the 
relationship between the New York State Testing Program and the Common Core State Standards for 
Mathematics.  This study examines the current assessments for grade 5, grade 8, and the Regents 
Integrated Algebra assessment and identifies items that are aligned to the CCSS as well as key gaps that 
should be addressed to produce a closer alignment.  Following the request of the New York State 
Education Department (NYSED), this study focuses greater attention on gaps as opposed to coverage 
between the CCSS and the New York State Testing Program in order to help guide New York towards 
developing greater alignment between the CCSS and the assessments.    
This alignment study addresses the following questions: 
1. To what degree do the New York test items align with the content and skills outlined in the 
Common Core State Standards? 
2. What are the major content and skills areas within the Common Core State Standards that are 
currently not being measured by the New York test specifications and items? 
3. What enhancements, revisions, and improvements can be made to the New York assessments 
to align more closely to the Common Core State Standards, considering the existing design 
parameters of the New York tests? 
Preceded by an overall analysis that cuts across the grades, the enclosed report provides the following 
analyses for each assessment: 
(cid:131) Overview of the Alignment Coverage: This section provides a general discussion of the degree of 
alignment coverage that currently exists between the assessment and the CCSS. 
(cid:131) Balance of Coverage: This section addresses the extent to which central concepts and skills 
included in the standards framework are given relatively equal attention by the test items.   This 
section also provides an examination where the alignment occurs in terms of both grade level 
and content domain within the CCSS. 
(cid:131) Suggestions for Strengthening the Alignment: This section offers recommendations for 
strengthening the alignment in terms of content (increasing content coverage of the CCSS) and 
test design (adjusting the test specifications or item types currently used). 
2
The full side‐by‐side alignment tables are also enclosed as an appendix.  These side‐by‐side tables should 
be reviewed in conjunction with the analyses included within this report. 

Alignment Methodology

In order to determine the degree to which a sample of assessments from the New York State Testing 
Program aligns to the Common Core State Standards, two test forms of the following assessments were 
aligned to the Common Core State Standards for Mathematics (CCSS):  Mathematics Test for Grade 5 
(January 2009 and April 2010), Mathematics Test for Grade 8 (January 2009 and April 2010), and 
Regents High School Examination: Integrated Algebra (January 2011 and June 2011).  
Given the structure and progression of the CCSS, the mathematics assessments were aligned across 
multiple grade levels within the CCSS in order to determine the most appropriate matches.  The items 
from the Mathematics Grade 5 assessment were aligned to the CCSS across grades 3‐8, the items from 
the Mathematics Grade 8 assessment were aligned to the CCSS across grades 3‐high school, and the 
items from the Regents Integrated Algebra were aligned to the CCSS across grades 3‐high school.  Since 
the high school level CCSS are not organized by course, but rather by conceptual category, the high 
school level alignment is based upon the CCSS conceptual categories.   The CCSS for Mathematical 
Practice were not included in this study, but general considerations regarding the Practices are included 
in the overall findings and recommendations on the following page of this report. 
The alignment study is an item‐based alignment in which each item from each form was coded and 
mapped to the appropriate CCSS. Each test item was analyzed, and specific skills intended to be 
measured by the item were identified.  Consideration was given to all the possible approaches and 
strategies a student might use in order to respond to the item.  In addition, the prerequisite skills (sub‐
skills) necessary to respond to the item correctly were also identified.  
Aligners were not limited in the number of standards that could be mapped to an item.  For each item, if 
the identified skills and sub‐skills had an appropriate equivalent in CCSS, a match between the item and 
the standard was noted. However, a match between a test item and a CCSS should not suggest that all 
skills identified in the standard are fully addressed by the item. The Mathematics CCSS generally include 
broad standards that require (or imply) many sub‐skills in order to meet the standard.  Therefore, test 
item generally can only partially address a Common Core State Standard. 
Two College Board content specialists conducted the alignments for each assessment.  In all cases, one 
specialist served as the primary aligner and the other specialist served as the reviewer to ensure the 
accuracy of the alignment decisions.  The College Board content specialists have deep expertise in the 
areas of content, curriculum, standards, test development and alignment, and they also supported the 
development of the Common Core State Standards.   

3
Overall Findings and Recommendations

Overall Coverage 
Given the structure and progression of the CCSS, this analysis determined which items for each 
assessment are currently aligned on grade level within the CCSS and which items are aligned to CCSS 
content, but the alignments occurs in earlier or later grades within the standards.  It is recommended 
that the NYSED closely review the enclosed summary findings and tables as well as the full side‐by‐side 
alignment tables included in the appendix, as this information can identify items that might be better 
suited for different grades within the New York State Testing Program. 

Balance of coverage 
This criterion measures the extent to which the central concepts and skills included in the CCSS 
framework are given relatively equal attention by the test items. This analysis found coverage to be 
uneven in this area.  There were multiple items in each test form that repeatedly measured the same 
skill. Often in test design, different items do target the same skill, especially when that skill is deemed 
important. However, the information obtained from these items is most useful when the difficulty level 
varies across the items.  For the test forms analyzed in this study, the difficulty level remained relatively 
the same for all test items.  Close consideration should be given to those items that measure the same 
skills at the same difficulty level.  These items should be replaced with new items that measure a 
broader scope of the CCSS.    

Mathematical Practices 
The CCSS for Mathematical Practice are of central importance in the standards frameworks, and the 
design of existing math assessments include items and item‐types that specify a certain mathematical 
approach, tool, or strategy to be used when responding to the item.  Overall, this does not correlate well 
to the principles behind the CCSS for Mathematical Practice, since those standards encourage 
performances and assessment tasks that require students to gain proficiency with multiple tools and 
strategies and to make appropriate decisions about when and how to employ different tools and 
strategies.  Although items were not mapped to the CCSS for Mathematical Practice in this study, it is 
important to consider this issue when designing items and test specifications to align to the CCSS. 
Testing Vocabulary  
A considerable number of items in each exam were focused solely on testing vocabulary, in that 
answering these items correctly would fully depend on knowing definitions of specific terms. Although 
measuring this kind of knowledge can be part of the test specifications, the targeted skills are generally 
of low cognitive demand and not highly important.   Considerations should be given to reduce the 
prevalence of these types of items. 
Constructed Response Items 
Encouraging students to explain their mathematical thinking and to be able to construct viable 
arguments is one of the most emphasized skills in the CCSS. This skill is most effectively measured using 
constructed response (CR) items. More attention is recommended to classifying those skills that would 
4
be better measured through a CR format as opposed to the prevailing multiple choice (MC) format. CR is 
more suitable for items for which there are multiple ways to answer and solve problems, those that are 
more theoretical in nature, or those that are relevant to proving a statement. In the items reviewed, it 
was not possible to see any distinction in the classification of skills measured by these two item types; 
items in one format could have also been given in the alternate format.  
Cognitive Model 
If assessments are to provide meaningful information on students’ knowledge and skills, it is important 
that test developers have a cognitive model in place before writing the items.  Along with identifying the 
content topics and skills that are considered important for students to master, a model is needed that 
analyzes the potential ways students’ responses might be impacted by the way the item is designed, the 
inferences that can be drawn from those responses, and how variations on the ways a question is posed 
affect students’ thinking process is essential for ensuring test quality. From the review of the items and 
specifications, it seems that more attention to defining and clarifying this cognitive model would be 
beneficial. 

Limitations of this Study 
The College Board based this alignment solely on the CCSS and items found within full forms of the New 
York assessments.  Due to confidentiality restrictions, the College Board was not able to access 
additional guiding materials, such as CCSS content and assessment frameworks that are currently under 
development by the Partnership for the Assessment of Readiness of College and Careers (PARCC) as well 
as forthcoming RFPs issued by the NYSED.  For future studies, these additional resources can enable the 
College Board to tailor the analyses and recommendations to more fully support the assessment 
strategy of the NYSED.  

5
Mathematics: Grade 5 Analysis 
Overview of Coverage 
(cid:131) The Grade 5 items align to the CCSS across grades 3 through 8, with the highest concentration of 
aligned standards occurring on the 4th grade level (See Table 1).  
Table 1: Number of CCSS, Grades 3‐8 Aligned to the New York Grade 5 Assessment 
Number of Common Core State Standards Addressed 
  Grade 3  Grade 4  Grade 5  Grade 6  Grade 7  Grade 8 
NY 2009 Form  8  16  11  7  1  2 
NY 2010 Form  3  18  5  10  0  3 
Total number CCSS 
33  34  35  42  37  33 

(cid:131) Concurrent with this is the fact that the greatest number of test items on each test also aligned 
to 4th grade CCSS (See Table 2).   
Table 2: Number of Grade 5 Test Items Aligned to the CCSS, Grades 3‐8 
  Grade 3  Grade 4  Grade 5  Grade 6  Grade 7  Grade 8 
2009  10  27  12  9  1  2 
2010  3  27  5  11  0  7 

(cid:131) A significant number of test items also aligned with CCSS on higher grade levels, particularly in 
2010.   

Balance of Coverage  
From a grade level perspective, there is very limited alignment between the Grade 5 assessment and the 
Grade 5 CCSS in that very few test items aligned to the Grade 5 CCSS (see Table 3).    
(cid:131) Operations and Algebraic Thinking: 8.5% of the Grade 5 CCSS are within this domain, but there 
were no items on either assessment that aligned to these standards.  There were four CCSS at 
the 3rd and 4th grade levels that aligned to items on the Grade 5 assessment.      
6
(cid:131) Number and Operations‐ Fractions:  31.4% of the Grade 5 CCSS occur in this domain, but only 
one question on the 2010 assessment aligned to standards in this domain. This is a significant 
concern because of the proportion of standards within this domain on the fifth grade level.   
(cid:131) Geometry/Measurement and Data:  Four Grade 5 CCSS in these domains align to four questions 
found in the 2009 and 2010 tests. There are no CCSS on the 5th grade level within the domain of 
Probability and Statistics.   In comparison, 50% of the New York State Examination Specifications 
fall within the strands of Geometry, Measurement or Probability and Statistics (See Table 3). A 
shift in test design is warranted in order to be more reflective of the CCSS breakdown of content 
strands. 

Table 3: Grade 5 New York State Examination Specifications by Strand 

STRAND  Number  Algebra  Geometry  Measurement  Probability 
Sense and  and Statistics
Operations 

Percent of  39%  11%  25%  14%  11% 
the test 

(cid:131) Number and Operations in Base Ten: Items in this domain are partially aligned to the CCSS, with 
stronger coverage occurring in the 2009 form (See Table 4).  

Table 4: Grade 5 CCSS by Domain and Aligned New York Items 

Domain  # of CCSS  % of grade  Number of test items on the 
level CCSS  Grade 5 assessment 
2009  2010 
Operations and  3  8.5%  0  0 
Algebraic Thinking 
(5.OA) 
Number and  8  22.9%  9  3 
Operations in Base 
Ten (5.NBT) 
Number and  11  31.40%  0  1 
Operations‐Fractions 
7
Domain  # of CCSS  % of grade  Number of test items on the 
level CCSS  Grade 5 assessment 
2009  2010 
(5.NF) 
Measurement and  9  25.7%  2  0 
Data (5.MD) 
Geometry (5.G)  4  11.4%  1  1 
Total # CCSS  35  100%  12  5 

(cid:131) Geometry: Concepts of congruence, similarity, and angle relationships are found in the CCSS on 
the 7th and 8th grade levels.  While four CCSS align to 10 test items found in the 2009 and 2010 
tests, eight of those ten test items align to only two standards.   

(cid:131) On the 5th grade level, 50% of the CCSS within the domain of Geometry involve graphing points 
on the coordinate plane to solve real‐world and mathematical problems.  The remainder of the 
CCSS in Geometry are concerned with classification of two‐dimensional figures within a 
hierarchy, based upon properties identified by attributes.   The Grade 5 assessment did not 
assess any of these skills.   The geometry concepts measured on the assessment pertain to area 
and perimeter as well as angle measurement, congruence and similarity.  These concepts align 
to the CCSS, but not at grade 5.   
(cid:131) An important skill identified as a fluency skill is aligned on the 5th grade level.   5.NBT.5 identifies 
the skill of fluently multiply(ing) multi‐digit whole numbers using the standard algorithm.  In 
future testing programs inclusion of this skill should continue.   
(cid:131) Ratios and Proportional Relationships: The Grade 5 assessment includes items that align to the 
CCSS at the 6th grade level.     

Suggestions for Strengthening Alignment to the CCSS 
Content 
Based upon the observed gaps and the importance given to certain skills in the CCSS, the College Board 
suggests that the Grade 5 assessment include items that measure the following skills:   
(cid:131) Evaluating numerical expressions using parentheses, brackets or braces, and applying the order 
of operations     
8