한국옥외광고센터>정보마당>해외통신원>해외동향>“상업용 전자 가변 메시지 표지판 (CEVMS)의 존재 하에서의 운전자 시각적 행동

정보마당

해외통신원

해외동향

[미국]“상업용 전자 가변 메시지 표지판 (CEVMS)의 존재 하에서의 운전자 시각적 행동

조회수 : 745 출처 : URL 참조 저자 : 이종섭 해외통신원

개요:

이 비평 논문은 연방 고속도로 관리국(FHWA)의최종 보고서인 '상업용 전자 가변 메시지 표지판(CEVMS)의 존재 하에서의 운전자 시각적 행동'에 대해 동료의 시각에서 고찰, 평가한 논문이다. 이 평가서에서는 연방 고속도로 관리국 보고서에서제시된 결과의 타당성을 평가하기 위해 제공된 핵심 연구 세부 사항의 부족, 중요한 데이터의 내부적인충돌, 실험 장비의 문제 등에 대해 여러 의문과 우려가 제기되고 있다.또한 연방 고속도로 관리국이 보유한 독립적인 심사위원들에 의해 제공된 초안 보고서에 대한 가혹한 비평과, 초안과 최종 보고서 사이에 거의 3년이 지난 점, 그리고 저자들로부터 검토자의 의견에 대응하고 해결하기 위해 어떤 조치가 취해졌는지에 대한 부족한 정보 등이추가로 주요 우려 요인으로 작용한다. 전세계적으로 수행된 최근 연구들을 고려할 때, 특히 운전자가 갑자기 나타나거나 발생하는 교통 위험에 대응해야하는 조건에서 광고판의 주의 산만이 운전자의 성능에 부정적인 영향을 미치는 것에 대한 우려가 점점 더 커지고 있다. 따라서 이 연구의 기여와 이를 통해 얻을 수 있는 결론에 대해 의문을 제기할 필요가 있다고 본 논문은 밝히고있다. 새로운 연구들 (Edquist J. H., 2011),(Herrstedt, 2013), (Divekar G. P., 2012), (Belyusar, 2014)이 계속 발표되는 가운데, 그동안 기다려온 연방 고속도로 관리국 연구의 저자들은 심사위원들로부터 제공된 의견과 이 문제에 대한 우려사항들을고려하여 자신들의 연구 방법과 결과를 명확하게 문서화할 것을 촉구하고 있다. 이 논문을 검토한 한 동료 연구원은 '만약연방고속도로 관리국이 이 보고서에서 제기된 문제들을 적절히 해결하지 못한다면, 양쪽 토론의 입장을 고려하여합리적인 방법과 과학적 자문위원회를 통해 이 연구를 재현하는 노력에 자금을 지원해야 한다.'고주장하였고, 도로와 교통 안전에 깊이 관여한 한 검토자는 '만약과학적 확신의 부족과 안전에 대한 의문이 있다면, 대답은 '아니오'여야 한다. 옥외 광고판 허가와 관련하여 이는 특히 중요한데, 광고판 허가는 최소한 10년의 수명을 갖기” 때문이다 라고 주장하였다.

배경

2009년에 미 연방 고속도로 관리국(FHWA)의 상업용 전자 가변메시지 표지판(CEVMS)에 대한 보고서(Wachtel J.& Netherton, RD, 1980)에서는 이와 같은 광고 표지판이 운전자의 운전 성능에 미치는 잠재적인 영향을 조사하기위해 연구를 진행할 것을 권장했다. 이후 연방 고속도로 관리국의 내부 계약업체인 Science Applications International Corporation (SAIC, 현재 Leidos)가 이 연구를 시작했다(Molino 등, 2009). 2010년 1월에는 연방 고속도로 관리국 직원인 그래머틴스(Gramatins(2010))가 교통연구위원회(TRB) 디지털 광고판소위원회에서 보고서가 3개월 후인 2010년 4월까지 발행될 것으로 언급했다. 하지만 1년 후인 2011년 TRB의연례회의에서는 연구의 최종 결과를 강단 세션에서 발표하기로 예정된 강연 일정 몇 일 전에 발표를 할 수 없다는 통보를 받았으며, 대신 1년 전에 이미 발표된 내용과 본질적으로 동일한 발표를 대신제안 받았다(Monk, 2010, 2011). 2012년 5월에는연방 고속도로 관리국 직원들이 보고서가 아직 제공되지 않았다고 공개적으로 밝혔다. 마침내 2013년 12월 30일에연방 고속도로 관리국는 자사 웹사이트 (http://www.fhwa.dot.gov/real_estate/practitioners/oac/)에 '동료들의 검토가 이루어진' 2012년 9월로 역거래된 최종 보고서와 2011년 3월에 날짜를 기재한 '동료 검토가 이루어지지 않은' 초안 보고서, 그리고 초안 보고서를 검토하기 위해 고용된독립적인 동료 검수원 3명의 의견이 담긴 문서를 게시했다. 이후 연방 고속도로 관리국은 2014년 1월에 열리는 TRB 디지털 광고판 소위원회에서 오랫동안 약속했던발표를 다시 하도록 초대되었지만, 참석을 거절했다. 저자는 30년 이상 동안 디지털 광고판이 운전자의 운전 성능에 미치는 잠재적인 영향에 대한 토론과 논의를 따라오고 참여해온사람으로서, 초안과 최종 보고서, 그리고 초안 보고서의 동료리뷰 의견을 검토했다. 이 보고서는 그 결과물이다.

앞으로의 내용을 통해 분명하게 알 수 있듯이, 저자는연방 고속도로 관리국의 연구에서 여러 가지 우려 요소를 발견했다. 저자는 가능한 한 명확하게 이러한 우려 요소를 아래에 나열하려고 노력했다. 가능한 경우, 연방 고속도로 관리국보고서의 해당 페이지, 그림 또는 표 번호에 대한 참조를 제공하여 독자가 관심 있는 부분으로 빠르게 이동할 수 있도록 했다. 그렇지 않은 한, 이 페이지 참조는 최종 보고서(2012년 9월)와 연결된다. 또한, 이 연구는 두 개의 다른 도시인 펜실베니아주의 리딩(Reading)과 버지니아주의 리치몬드(Richmond) 시에서 각각다른 참가자 집단을 대상으로 수행되었음을 참고해야 한다.

연방 고속도로 관리국이 일반적으로 조사 초안 보고서와 최종 보고서 자체, 그리고 동료 검수자들의 초안에 대한 의견을 모두 대중에게 공개하는 것은 비정상적인 일이다. 그러나 연방 고속도로 관리국은 이러한 조치를 취하고 2013년 12월 30일에 세 가지 문서를 웹사이트에 공개했다. 이 결정은 어떤 성실하거나 관심 있는 사람도 이러한 문서들을 검토하고 최종 보고서와 초안을 비교하여 변경 사항을평가하고, 동료 검수자들의 의견이 최종 문서에서 어떻게 반영되었는지를 판단할 수 있게 했다. 저자의 보고서는 최종 연방 고속도로 관리국 보고서만을 검토하는 것만으로도 타당할 수 있었겠지만, 연방 고속도로 관리국으로부터 이러한 다양한 문서들이 제공되었기 때문에, 보다강력하고 자세하며 비판적인 내용을 담고 있다.

현재 보고서의 심사위원중 한 명은 '초안과최종 보고서 간의 변경 사항에 대한 논의를 포함하는 것은 보통은 아니다. 그러나 긴 기다림과 큰 관심, 그리고 이 작업의 공공적인 성격을 고려할 때, (다음과 같은 설명과같은 문장을 통해) 차이점을 다루는 것이 적절할 것이다: '처음에는 (a)를 수행했지만 검수자들의 피드백을 바탕으로 (b)를 수행하였으며, 최소한 최종 보고서에서 사용된 방법을 명확히 설명해야 한다.''고주장하였다.

이 문헌 검토는 연방 고속도로 관리국의 방법론, 측정방식, 참고 문헌 및 궁극적으로 기관의 결과 및 결론에 대해 여러 가지 의문을 제기한다. 여기서 제기된 몇 가지 우려 사항은 일반 독자에게는 사소한 것처럼 보일 수 있지만, 이 모든 사항이 최종 보고서의 중요한 약점과 그 보고서에서 도출된 결론에 대한 의문에 심각하게 기여했다. 연방 고속도로 관리국의 최종 보고서로 인해 연방, 주 및 지방 정부수준에서의 정책에 대한 영향을 고려할 때, 이 문헌 검토와 비판은 이러한 정책에 관여하거나 이를 실행하는관련 당사자와 관련된 중요한 문제이다.

도로 주변 옥외 광고 분야의 다양한 이해관계자들은 자신들의 목적을 지원하기 위해 연방고속도로 관리국 보고서를 활용하고 있다. 본 보고서에는 이러한 목적이 없으며, 장기간 기다려 온 연방 고속도로 관리국의 연구 보고서를 조명해보고, 독립적인독자들이 연방 고속도로 관리국 문서와 본 보고서를 검토하여, 기관의 결과의 타당성에 대해 자신의 결론을도출할 수 있도록 하는 것에 초점을 맞추고 있다. 궁극적으로, 저자는연방 및 지방 정부가 도로변 디지털 표지판 (온·오프 프레미스)에 관한 의미 있는 규제를 수립할 수 있는 궁극적인 연구 보고서로서 연방 고속도로 관리국 보고서가 거의 명확성을제공하지 않는다고 믿는다. 이러한 분쟁의 여지가 있는 문제를 다룰 때,공공 및 사설 도로 관리 기관은 지난 몇 년 동안 전 세계적으로 발표된 수십 개 이상의 연구 보고서를 참고하고, 신중함과 교통 안전을 우선시해야 한다고 판단한다.

위험 경고.

최초로 연방 고속도로 관리국 보고서에서(Wachtel J. &., Netherton, RD, 1980) 발견된 바와 같이,CEVMS(가변 전자 변동 메시지 표지판)의 일부 특성인 크기, 표지판 위치의 높이, 운전자의 주행차선과의 거리, 그리고 도로의 어느 쪽에 표지판이 위치하는지 등은 운전자의 표지판에 대한 반응에 중요한 영향을 미칠 수 있다. 물론, 표지판 밝기와 표시 변경 빈도 같은 표지판의 많은 다른 특성들이운전자의 주의 산만화에 중요한 역할을 한다고 여겨지고 있다. 그러나 표지판의 크기, 높이, 위치 특성은 충분히 중요하다고 인식되어 이 주제에 대한 거의모든 학술 연구에서 상세히 설명되었다.

과학 연구 커뮤니티에서는 가설을 확인하는 연구 뿐만 아니라 가설을 확인하지 못하는연구로부터도 지식의 진전이 이루어진다는 사실이 잘 받아들여지고 있다. 그러나 연구를 진전시키기 위한핵심 원칙 중 하나는 연구자들이 실험 설계와 방법을 충분한 세부사항과 함께 보고해야만 다른 연구자들이 그들의 연구를 재현하여 결과를 검증할 수있다는 것이다. 그러나 연방 고속도로 관리국 연구자들은 이 연구에서 운행한 도로나 사용한 표지판(CEVMS 및 기타)을 식별하지 않았으므로, 다른 연구자들이 이 연구를 재현해 결과를 검증하는 것이 불가능 해졌다. 그러나이러한 표지판이나 도로를 식별하지 않은 결정은 연방 고속도로 관리국이 중요한 가변 전자 변동 메시지 표지판(CEVMS)특성의 식별에서 발생한 명백한 오류가 얼마나 광범위하고 중대한지를 완전히 이해하거나 해석할 수 없게 해서, 독자가 이러한 오류가 얼마나 심각하고 광범위한지를 파악하지 못하게 남겨두었다.

본 저자는 이 보고서에서 '위험경고(Red Flag)'라고 부르는 것으로 보고서 제출자들에 의해 도출된 결론에 중요한 영향을 미치는 초안및 최종 보고서 사이의 중대한 불일치를 기술적으로 논의하는 것으로 시작하기로 한다. 이러한 위험 경고는독자가 연방 고속도로 관리국과 그들의 연구 및 내부 검토 과정에서 발생한 심각하고 해결되지 않은 오류를 이해하기 위해 해석이 필요하지 않다 .

이러한 위험 경고의 중요성을 완전히 이해하기 위해 독자들이 알아 두면 유용한 사실은, 초안 보고서의 동료 수검자들의 의견을 받은 후 최종 보고서가 발행될 때까지의31개월(2011년 5월 - 2013년 12월) 동안보고서 자체에 대해 주요한 변경과 세부적인 변경이 있었다는 것이다. 그러나 연방 고속도로 관리국은 참가자들의재실험이나 연구된 도로나 CEVMS의 재분석을 수행하지 않았다. 왜냐하면, 최종 보고서는 모든 리딩 데이터가 2009년 9월 18일부터 10월 26일까지 수집되었음을 분명하게 밝혔으며 (21쪽), 모든 리치먼드 시의 데이터가 2009년 11월 20일부터 2010년 4월 23일까지 수집되었음을 밝혔다(43쪽). 따라서 초안과 최종 보고서 사이에서 일부 주요한 표지판 특성 식별에서의 중대한불일치는, 연구자들이 다루지 않은 채로, 그들의 데이터, 특히 이러한 표지판에 대해 가정적으로 이루어진 측정 및 분석된 시선 이탈 데이터의 적용 가능성과 타당성에 대해심각한 의문을 제기한다.

초안과 최종 보고서 모두 두 도시에서 사용된 대상 광고판과 통제 지역의 목록이 포함되어있지만, 이러한 표지판들을 독자가 실제로 현장에서 식별할 수 있을지는 알 수 없다. 리치먼드 시의 목록은 초안 보고서의 44쪽의 표 8과 최종 보고서의40쪽의 표 7에 나타나 있다. 이하에서 논의되는모든 불일치는 엄격히 이러한 표에서 제공된 데이터를 기초로 발견된 것이다. 더 이상의 불일치가 존재할수도 있지만, 표의 세부사항 부족으로 인해 어떤 것이 불일치하는 지를 식별하는 것은 불가능했다.

연구 목적의 옥외광고판 숫자

초안 보고서와 비교해보면, 최종 보고서에는두 도시에서 연구 대상으로 선정된 광고판의 실제 수가 크게 감소했으며, 연구자들은 이 감소에 대해 아무런설명을 제시하지 않았다. 비교 결과, 초안고 비교하여 최종보고서에는 표준 광고판 2개와 디지털 광고판 12개가 더적게 포함되었다:

초안 보고서	CEVMS	표준	최종 보고서	CEVMS	표준
리딩 시	11	5		4	4
리치몬드 시	9	5		4	4
총	20	10		8	8

드래프트 보고서

CEVMS 표준 리딩 11개 5개리치먼드 9개 5개 총합20개 10개

최종 보고서

CEVMS 표준 4개 4개 4개 4개 8개 8개

연구가 단 한 번만 수행되었기 때문에 최종 보고서에서 50% 이상의 CEVMS 데이터가 삭제된 것은 데이터 수집 또는 데이터분석의 실패를 나타내는 것으로 해석될 수밖에 없다. 가변 전자 변동 메시지 표지판(CEVMS)에 대한 운전자의 시선 변화를 연구하는 것이 연구의 주요 목적이었으므로, 이러한 표지판의 데이터베이스에서 절반 이상이 삭제된 것은 심각한 우려를 제기한다. 연방 고속도로 관리국 직원들은 2010년 8월까지도 각 도시에서 10-14개의 CEVMS가 연구되었다고 보고하고 있었다(각 위치당 5-7개의 경로, 2개의 경로).(Monk, 2010) 두 보고서(초안과 최종 보고서)는최종 보고서에서 고려 대상에서 제외된 광고판을 식별하기에 충분한 정보를 제공하지 않다 . 따라서 우리는이 과정에 어떤 패턴이 있는지, 또는 최종 보고서를 위해 연구된 광고판의 수가 어떤 종류의 편향을 일으켰는지를알 수 없다.

초안과최종 보고서 모두에서, 두 도시 모두 연구 대상 광고판까지의 접근 거리에 대해 명시적인 차이가 있다. (4개의 표 중 3개 [최종보고서와 리치먼드 시의 초안 보고서]에서 '접근거리(Approach Length (ft.))'라는 열이 있다. 리딩 시의 초안 보고서만 해당 열이 '데이터 수집 영역거리(Data Collection Zone Length (ft.))'로 지정되어 있다. 이는 단순한 언어적 차이 이상의 의미를 가지며, 이 보고서의 후반부에서이러한 데이터 수집 영역 (DCZs)가 어떻게 설정되었는지와 이러한 결정의 함의에 대한 우려를 표명하고있다. (연방 고속도로 관리국 저자들도 DCZs로 참조하고 있기 때문에 저자는 이를 DCZs로 참조할 것이다).

리딩시의 CEVMS. 초안 보고서와 최종 보고서 사이에는 데이터 수집 영역 (DCZ) 열에 대한 저자들의 제공 데이터에 불일치가 있다. 리딩 시의초안 보고서에서 11개의 CEVMS 표지판 중 10개가 960피트의 DCZ를갖는다고 설명되었으며, 11번째는 거의 그 길이의 두 배인 1860피트의 DCZ를 가지고 있었다. 그러나 리딩 시의 최종 보고서에서는 보고된 4개의 CEVMS 중 375,853, 537, 991피트의 DCZ가 보고되었다. 하나도일치하지 않으며, 네 개의 DCZ 중 세 개는 초안 보고서에서보고된 것보다 훨씬 길이가 짧다. 이는 다른 모든 요소가 동일한 상황에서 이 표지판에 대한 눈동자 시선이더 적어질 것이라는 명확하다.

리딩 시의 표준 광고판.

초안보고서에서 5개의 표준 광고판은 960, 682, 960, 547,960피트의 접근 길이를 가졌다. 최종 보고서에서 남은4개의 표지판은 644, 774, 833, 770피트의 접근 길이를 가졌다. 다시 말하지만, 일치하는 데이터가 없으며, 최종 보고서에서는 초안 보고서보다 짧은 DCZ가 보고되었다.

리치먼드 시의 CEVMS.

리치먼드시에서도 동일한 불일치가 발생한다. 초안 보고서에서 6개의 CEVMS는 모두 960피트의DCZ를 가졌지만, 최종 보고서에서 남은 4개의 CEVMS의 거리는 각각 696, 602, 297, 321피트였다. 이 경우 최종 보고서에서 보고된 DCZ는 초안에서 나열된 것보다짧을 뿐만 아니라 그 중 두 개는 약 세 배 정도 짧다.

리치먼드 시의 표준 광고판.

여기서초안 보고서와 최종 보고서 간의 오차가 보인다. 초안 보고서에서는889, 960, 863, 960, 960피트의 접근 길이를 가진 5개의 표준 광고판이있었는데 비해, 최종 보고서에서는 857, 651, 997, 816피트의접근 길이를 가진 4개의 표준 광고판이 있었다. 다시 말하면, 이러한 불일치의 대부분은 같은 방향으로 나타나며, 최종 보고서에서는광고판에 대한 눈동자 시선이 적어지는 것을 의미하는 보다 짧은 DCZ를 나타낸다.

저자들이그들의 네 개의 차트 중 세 개를 '접근 거리(ApproachLength)'로, 한 개를 '데이터수집 영역(Data Collection Zone)'로 의도적으로 표시한 것인지는 알 수 없다. 우리는 저자들이 접근 거리라는 용어를 이 분야의 표준적인 관행과 일치하도록 사용한다고 가정할 수 있다. 즉, 이 용어는 다가오는 운전자가 특정 광고판을 볼 수 있는 가장초기 거리를 의미한다. '데이터 수집 영역'은물론 매우 다르다. 연방 고속도로 관리국 연구에서 DCZ는 광고판의 앞 (상류)에위치한 도로 구간으로, 특정 거리(연구 저자들이 보고한 바와같이 눈 추적기의 시야의 2° 시야로 인해 인위적으로 제한된 거리)에서시작되며, 광고판이 장면 카메라의 시야에서 사라질 때 종료된다. 따라서 DCZ의 종점은 다시 한정된 인위적인 제약 조건을 만들어내는데, 모든경우에서 운전자/참가자의 광고판에 대한 시야는 장면 카메라에 더 이상 보이지 않는 순간 이후로도 계속된다. 따라서 데이터 수집 영역은 '접근 길이'보다 길 수 없으며, 눈 추적기와 장면 카메라의 제한으로인해 대부분 짧으며, 때로는 상당히 짧을 수 있다. 초안보고서의 검토 후에는 저자들이 도로 상에서 두 번째로 데이터를 수집하지 않았다는 점을 알고 있기 때문에, 드래프트와최종 보고서 사이의 접근/DCZ 길이에 대한 많은 차이는 이해하기 어렵고, 특히, 불일치의 빈도, 크기및 일관성을 감안할 때 우려 스럽기까지 하다. 가능한 설명으로는 연구자들이 초안 보고서의 데이터를 검토한후 실험실에서 누적된 데이터의 도로 거리를 제한한 것일 수 있다. 그러나 이 경우에도 왜 이 결정이내려졌는지, 그리고 최종 보고서에서 이를 설명하기 위해 어떠한 노력도 이루어지지 않았는지를 여전히 질문해야한다. 그럼에도 불구하고, 드래프트와 최종 보고서 사이에서수집된 일부 데이터가 간단히 삭제된 것이라면, 최종 보고서에서 보고된 결과의 적절성과 타당성에 대한함의를 의심해야 한다. 저자들로부터 설명이 없는 한, 이문제는 해결되지 않을 것이다.

광고판의 크기.

초안과최종 보고서 사이에서 보고된 대상 광고판의 크기에는 특이한 오차가 있다. 이러한 차이는 광고판의 크기가보도 거리, 야간 밝기, 가독성 거리를 결정하는 문자 및문자 크기, 읽기 및 이해 시간에 영향을 주기 때문에 중요하다.

몇가지 예를 들면, 모든 경우에 대해 언급하자면 초안보다 최종 보고서에는 각 유형의 광고판이 더 많았다:

· 리딩(Reading) 시를 위한 최종 보고서에는 14x48 ft 크기의 표준 광고판이 세 개 표시되어 있지만, 초안보고서에는 이 크기의 표준 광고판이 두 개만 있었다.

· 리딩 시 최종 보고서에는 10'6' x 22'9' 크기의표준 광고판이 하나 표시되어 있지만, 초안 보고서에는 이 크기의 광고판이 없다.

o 이 경우에는, 연방 고속도로 관리국에서 연구 대상 광고판을 식별하지 않고, 동일한크기의 여러 광고판이 목록에 포함되어 있기 때문에 동일한 형태의 오차가 추가로 발생했을 수도 있으며, 이를식별할 수 없을 수도 있다.

도로에서의광고판 후퇴 거리는 광고판이 운전자의 전방 시야에 유지되는 시간과 운전자 시야에서 광고판이 사라지는 거리를 결정하는 중요한 측정 항목이다. 이 연구에서는 눈 추적기의 해상도가 960 ft 이상의 거리에서제한되었고, 장면 카메라 배열이 운전자의 시야를 ±40°로캡처할 수 없어 더 가까운 거리의 광고판에 대한 눈 돌아보기 측정을 조기에 중단해야 했기 때문에 이것이 더욱 중요한다. (이 후자의 문제는 네 번째 장면 카메라를 추가하거나 사용된 장면 카메라에 더 짧은 초점 거리 렌즈를 사용함으로써해결할 수 있었다). 다음은 이 문제를 보여준다:

· 리딩 시 초안 보고서에서는 두 개의 다른 14 x 48 ft 표준광고판이 표시된다. 표에서 이러한 광고판의 후퇴 거리는 각각 50ft와 97 ft이다. 그러나 최종 보고서에서는이와 같은 크기의 표준 광고판이 세 개 표시된다 (이 중 하나는 초안 보고서에 존재하지 않는 것 같다). 이 세 개의 광고판은 각각 10 ft, 20 ft, 35 ft로도로에서 후퇴되었다. 초안에서 최종까지의 후퇴 차이는 상당히 크며, 이러한광고판에 대한 시선 측정 횟수도 영향을 받을 수 있다.

· 리딩 시에서도 비슷한 경우가 있다. 예를 들어, 초안 보고서에서는 각각 14’0” x 28’0” 크기의 CEVMS 두 개가 표시된다. 주어진 후퇴 거리는 각각 도로에서 56 ft와 119 ft이다. 최종리치먼드 시 보고서에서는 (아마도 동일한) 두 개의 디지털사인이 각각 37 ft로 후퇴되었다고 나와 있다.

· 초안 보고서에서는 11’0” x 23’0” 크기의 CEVMS가 35 ft로 후퇴되었으며, 최종 보고서에서는 이 거리가 71 ft로 두 배가 된다.

도로의 오른쪽이나 왼쪽에 있는 광고판.

이연구의 결과를 이해하려는 독자에게 가장 큰 관심사는 초안과 최종 보고서 사이에서 몇몇 대상 광고판이 도로의 한쪽에서 다른 쪽으로 옮겨간 것으로보이다. 세 가지 예시가 이러한 관심사를 보여준다:

· 리딩 시의 표준 14’0” x 48’0” 광고판 중 하나는 최종보고서의 관련 표에서 도로의 오른쪽에 위치한 것으로 나와 있다. 그러나 초안 보고서에서 이 크기의 표준광고판은 모두 왼쪽에 있다.

· 리치먼드 시에서도 위에서 언급한 11’0” x 23’0” 크기의 CEVMS는 초안 보고서에서 고속도로의 오른쪽에 있으며, 최종 보고서에서는왼쪽에 있다고 나와 있다. 게다가, 10’6” x 45’3” 크기의표준 광고판도 초안과 최종 보고서 사이에서 왼쪽에서 오른쪽으로 위치가 변경되었다.

· 초안과 최종 보고서에서 도로변에서의 이러한 위치 변경이 몇 가지 더 있을 수 있다. 그러나 각 보고서에 동일한 크기의 여러 대상 표지판이 나열되어 있으며, 저자들이 GPS 위도와 경도 데이터와 같은 중요한 표지판 위치 정보를 제공하지 않기 때문에 독자는 직접 비교할 수 없다.

연방 고속도로 관리국 보고서에 관한 구체적인 우려사항.

다음부분에서 논의되는 바와 같이, 본 보고서는 연방 고속도로 관리국 연구에 대해 여러 가지 우려 사항을보여주고 있다. 아래에는 독자가 여기서 제시된 우려 사항에 대한 원본 자료를 빠르게 참고할 수 있도록연방 고속도로 관리국 보고서의 해당 페이지, 그림 또는 표에 대한 참조를 제공하고자 한다. 그렇지 않은 경우를 제외하고, 여기에 나온 페이지 참조는 최종 연방고속도로 관리국 보고서의 페이지를 가리킨다.

광고판에 대한 장시간 눈돌림의 특성화.

보고서개요(Executive Summary)(3쪽)에서 저자들은연구에서 광고판에 대해 관찰된 2,000ms(2초) 이상의장시간 머무름을 갖는 4개의 사례를 설명하고 있다. 저자들은데이터 검토 결과 이러한 광고판들이 '참가자들의 주시가 그들 위에 머무르는 동안 전방 시야에서멀지 않았음'을 나타낸다. 그들은 결론적으로 '따라서, 운전자들은 여전히 주변 시야를 통해 그들 앞에있는 정보에 접근할 수 있었다'라고 결론을 내린다.

현재보고서의 몇몇 동료 평가자들은 이 문장의 주관성에 대해 우려를 표명했다. 한 명은 '이게 무슨 뜻인가? 그것을 어떻게 결정하는 건가? 시각 각도를 계산하고 있는 건가? 그렇다면 각 눈돌림에 대한 시각각도를 명시해야 한다'라고 물었다. 다른 평가자는 '나도 두 개의 인용문을 이해하지 못한다'라고 말했다. 또 다른 평가자는 '저자들이 '전방 시야에서 멀지 않다'는 것을 무엇으로 정의하지 않았으므로, 독자는 이 문장의 타당성을 평가할 수 없다'라고 의견을표명했다.

그럼에도불구하고, 그들의 결론은 검증을 필요로 하는 경험적인 주장이다. 그러나그들은 해당 검증을 수행하지 않았다. 더욱이, 이 문장은피셔(Fisher)와 그의 학생들이 몇 년간 수행한 연구에서 얻은 연구 결과와 직접적으로 상충한다. 이들 연구는 매사추세츠 주립대학교 앰허스트 캠퍼스의 피셔(Fisher) 박사와그의 학생들이 진행한 연구 시리즈에서 도출된 연구 결과이다 (예:Divekar GP, 2012, Chan, 2007). 그들의 시뮬레이터 기반 연구는 주변 시야가 도로 앞에 사용 가능한 상태에서외부의 주의를 돌리는 것이 숨겨진 위험요소와 비상 상황에 시간적으로 적절하게 대응하기 위한 시각적 관심 자원을 운전자에게 제공하지 못한다는 것을보여주었다. 연방 고속도로 관리국 저자들은 이 연구자들의 작업을 인용하지 않았지만, 이는 공개적으로 인용 가능하다.

연방고속도로 관리국 저자들이 언급한 2초 기준은 '100대자동차 연구'라고 알려진 작업(Klauer, 2006)에기반을 두고 있다. 우리의 동료 평가자 중 한 명이 지적한 대로, 이작업은 주의력 부족/분산을 정의하는 유용하고 인정받는 정의를 제공하지만, 광고판의 주의 산만화를 연구하기에는 너무 제한적이다. 이 평가자는계속해서 '눈돌림의 빈도/횟수는 주의 산만화를 특성화하고정의하기 위해 필요한 세 가지 측정치 중 하나이다. 광고판에 대해 2초동안 한 번 눈돌리기만 한다면, 해당 광고판에 대한 위험은 2, 4,또는 6번 눈돌린 것보다 훨씬 낮다. 따라서눈을 도로에서 광고판으로 번갈아 가며 움직인다는 것은 전체적으로 눈이 도로에서 2초 이상 멀어진다는것을 의미한다. 주변 시야가 눈돌림을 대체할 것이라는 기대는 실현 가능하지 않았다.'이라고 말했다.

눈돌림의지속 시간과 빈도를 결합하면 주의가 어디에 집중되는지, 즉 얼마나 산만한 지를 더 완전하게 파악할 수있다. 그러나 운용상 유용하려면 이러한 측정치를 측정하는 시간에는 어느 정도 제한이 있어야 한다. 예를 들어, 2분 동안 각각 1초씩 2번 또는 3번 눈돌린다면, 눈이도로에서 충분한 시간만큼 벗어나서 위험성을 증가시키지 않을 것이다. 그러나 6초 동안 광고판을 보는 등 도로에서 눈이 2초 이상 벗어난다면, 이것이 더 의미 있는 산만화 측정치가 되지 않을까? 6초 동안 2초 이상의 눈돌림이 발생한다면, 지속 시간과 빈도 모두를 고려한것이다. 이런 방법이 덴마크 연구(Herrstedt, 2013)에서사용된 측정 방법이다. 이는 이전에 사용된 측정 방법보다 더 포괄적이면서도 현장 및 실험실에서 모두사용할 수 있는 운용 측정 방법이다.

그러나 '2초' 눈돌림 기준의 사용에는 더 큰 우려가 있다. 연방 고속도로 관리국 보고서(그리고 다른 연구에서도)에서 연구자들은 클라우어(Klauer)와 그 동료들이 전방 도로에서 2초 이상의 눈돌림이 일반적으로 산만화로 간주된다는 결론에 의존한다. 그러나최근 연구는, 우리의 동료 평가자 중 한 명에 따르면, '2초를산만화를 정의하는 지속 시간의 기준으로 사용하는 것은 분명히 부족하다는 것을 입증한다. 빅터(Victor(2014))와덴마크 연구(Herrstedt, 2013)는 산만화를 정의하는 눈돌림 지속 시간이 상황에 따라 크게달라진다는 것을 발견했다. 도로의 밀도가 적은 개방된 도로에서는 2초가실제로는 산만화가 아닐 수 있다. 차량 밀도가 증가하고 특히 차량의 간격이 짧고 도로/차선에서 다른 차량의 간섭 기회가 있는 경우, 2초 미만의 눈돌림지속 시간은 실제로 높은 위험을 수반하는 산만화이다.'

마지막으로, 연방 고속도로 관리국 보고서의 발표 이후에 빅터(Victor)와그의 동료들이 100대 자동차 연구보다 훨씬 큰 운전 연구 대상을 사용하여 광고의 산만화에 따른 대부분의사고 및 거의 충돌 사건이 2초 미만의 산만화 눈돌림 이후에 발생하는 것을 입증하였다(Victor, 2014).

요약하면, 우리의 평가자 중 한 명은 '눈돌림 지속 시간을 시간 기준이아닌, 산만화의 함수로 재정의하면, 광고판이 운전자의 산만한행동에 미치는 영향에 대한 연방 고속도로 관리국의 결론이 크게 바뀔 가능성이 있다'고 언급했다.

광고판밝기의 측정은 디지털 광고판의 주행자에 대한 주의 산만화에 대한 우려가 제기될 때 주목해야 할 핵심적인 요소이다.연방 고속도록 관리국 연구에서는 밝기 측정 방법론과 휴식 시간 분석의 생략에 대한 문제점이 제기되었다.

연방고속도록 관리국 보고서에서 저자들은 표준 및 디지털 광고판의 주간과 야간 밝기를 결정하기 위한 측정 방법론에 대해 간략히 설명한다(19-20쪽). 설명에는'측정은 광도계의 시야 중앙에 광고판을 중심으로 하고 광고판의 가로 너비와 상하로 동일한 범위로 수행되었다'라고 언급하고 있다. 이러한 광도계 측정 방법의 개략적인설명은 초안 보고서에 있는 그림 [그림 5, pg. 17]에서제시되었으나, 이 도면은 폭은 그려져 있지만 저자들이 측정한 높이는 그려지지 않은 오류가 있다. 최종 보고서에는 이와 같은 그림이 제공되지 않았는데, 그림이 없으면정확히 무엇이 측정되었는지 알기 어렵다. 그러나 저자들의 설명을 문자 그대로 받아들이면, 아래 그림 1에 나타낸 스케치는 측정에 포함된 영역을 제시한다. 가장 흔한 14x48 피트의 광고판 크기를 가정한다면, 측정 대상 영역은 가로 144 피트, 세로 42 피트의 영역을 포함할 것이다.

그림 1

external_image

만약위의 스케치가 연방 고속도로 관리국이 사용한 측정 방법을 정확하게 묘사한다면, 그들의 방법은 부적절하고다른 알려진 측정 방법 또는 출간된 광고판 밝기 측정 방법과 다른 것으로 보이다. 조명 전문가들은 광고판의밝기를 측정하는 적절한 방법은 좁은 수용각을 가진 광도계(주로 1° 및 1/3°가 사용됨)를 사용하는 것이라는 데 의견이 모아지고 있다(Illinois Coalition for Responsible Outdoor Lighting, 2010)(Luginbuhl, 2010) (Bullough, 2011). 광도계는 광고판 더 가까이 위치시켜 센서가 하나의 색상만을 가진 작고명확하게 정의된 작은 부분만을 포착하도록 한다. 이 과정은 다른 색상의 조명과 다른 LED 출력 수준을 포착하기 위해 반복될 수 있다. 광고판의 최대밝기 수준을 측정하기 위해서는 일반적으로 광고판을 모두 흰색 이미지로 설정하는 것이 권장된다. 연방고속도로 관리국 연구원들이 이야기하는 방법은, 설명에서 해석한 대로,광고판의 밝기 뿐만 아니라 광고판 위, 아래 및 양 옆의 영역의 밝기를 포착한 것으로 보이다. 이 데이터는 '평균'밝기 값을 보고하기 위해 사용되었다. 이것은 광고판의 밝기가 아니라 광고판과 배경의 밝기이다. 만약 이것이 실제로 수행된 것이라면, 연구에서 보고된 야간 측정을위해 광고판의 밝기는 위에서 설명한 널리 인정받는 방법을 사용하여 측정된 광고판의 밝기보다 훨씬 낮을 것으로 예상된다. 실제로 연방 고속도로 관리국의 데이터는 이를 보여준다. 27쪽의테이블 3에서 저자들은 디지털 광고판에 대한 평균 밝기가 각각2126 cd/m2와 56.0 cd/m2, 전통적인 광고판에 대한 평균 밝기가 각각 2993 cd/m2와 17.8 cd/m2라고 보고하고 있다. 이러한 측정 값은 특히 밤에, 연구자들이 현장에서 얻은 일반적인측정 값(Bullough, 2011; Luginbuhl, 2010), (ICROL, 2010),(Wachtel, 2014) 및 심지어 조명 전문가들이 권장하는 야간 밝기와 거의 일치하지 않다 .

또한, 저자들은 평균 밝기 값과 표준 편차만 보고한다. 교통 안전 및 조명전문가들, 지역 관리자들, 심지어 일반 대중들은 주로 밤에최대 밝기 값을 가장 신경 쓰고 있으므로, 저자들이 이 정보를 제공하지 않은 것은 놀라운 일이다.

또한, 다른 사람들이 제시한 가설과 매체에서 정기적으로 언급되는 미디어에 따르면, 디지털광고판의 최대 밝기 값이 시각적 주의를 가장 효과적으로 끌어내고 주의 산만에 기여하는, 그리고 잠재적으로빛의 음영 또는 눈부심으로 보고되는데, 저자들은 각 연구 참가자가 각 광고판을 접근하고 통과할 때 경험한광고판의 밝기 값을 기록하지 않은 것으로 나타났다. 이것은 연구에 복잡성을 거의 추가하지 않았을 뿐만아니라 결과를 해석하는 독자의 능력을 상당히 향상시켰을 것이다. 하지만 이로 인해 서로 다른 운전자참가자들이 그들의 주행 중에 매우 다른 수준의 광고판 밝기에 노출되었을 것으로 예상된다. 디지털 광고판의 경우에, 이는꽤 다른 시선 패턴에 기여할 수 있는 요인이다.

마지막으로, 연방 고속도록 관리국 보고서의 동료 검수자로 활동한 조명 전문가들은 연방 고속도로 관리국의 밝기 측정 방법의적절성과 연방 고속도로 관리국이 그들의 방법을 명확하게 설명한 정도에 대해 의견이 분분했다. 그러나'그들이 광고판에 대해 측정한 밝기가 예상치와 다른 작업과 비교해서 이례적으로 낮다'라고 한 사람처럼 평균적인 밝기를 측정했다는 것은 모두가 동의하는 바이다.

목표 광고판과 주변 배경의 대비.

연방고속도로 관리국 보고서는 저자들이 광고판과 배경의 대비를 결정하기 위한 노력에 대해 논의하고 있으며, 특히밤에는 이는 실제로 중요한 문제이다. 왜냐하면 더 높은 대비는 더 크게 눈에 띄게 되며, 따라서 더 많고 더 긴 눈 돌림을 유발할 수 있기 때문이다. 그러나연방 고속도로 관리국은 이러한 측정을 수행했다는 설명을 제외하고는 저자들이 이 정보를 활용할 것 같지는 않아 보이다. 따라서 이 논의는 의미가 없다. 현재 보고서의 심사위원중 한 명은 '신호 강도(광고판)와배경 밝기의 비율은 (밝기) 범위와 별개로 주요 변수이므로, (저자들)이 신호의 눈에 띄움과 관련하여 유사한 접근을 고려하지않은 것 같다고 생각한다.'고 주장한다. 다른 검토자는왜 저자들이 쉽게 사용할 수 있는 눈에 띄움 측정을 수행하지 않았는지에 대해 의문을 제기했다. 세 번째검토자는 '절대적인 밝기는 하나의 이야기를 전한다. 그러나대비 비율을 알지 못하면 광고판의 주목 가치를 예측할 수 없다. 연방 고속도로 관리국의 연구와 같이광고판과 배경의 밝기를 결합하면 광고판의 주목 가치를 결정하는 데 가장 중요한 매개 변수를 잃게 된다.'고밝혔다.

여러해 전에 공식 광고판이 아닌 고속도로 표지판을 연구하는 연구 프로그램에서는 표지판의 주목 가치를 정량화하는 모델을 개발했다. 여기서는 대비 비율이 주목 가치에 가장 중요한 요소였다. 이 실험은지방과 시각적으로 한층 복잡한 도시 환경을 모두 고려했다(Pain, 1969).

시각적 복잡성.

저자들은 '시각적 복잡성'에 대해 긴 논의를 제공하며, 리건(Regan) 등의 연구(Regan,2009) 및 호버리(Horberry)와 에드퀴스트(Edquist(Horberry,2009))의 연구 작업을 '시각 장면에서 적립 또는 시각적 복잡성의 수준을 체계적이거나양적으로 분류하는 방법을 제공하지 않는다'고 비판한다. 대신, 저자들은 로즈놀츠(Rozenoltz) 등이 제안한 방법을 사용할것을 권장한다(Rosenholtz, 2007). 저자들은 더 성실히 문헌 검토를 했다면 이들의 연구작업에서 이러한 분류 체계에 대한 충분한 문서를 찾았을 것이다.

이논의는 주로 도로변 광고판이 시각적 혼란의 구성 요소이며 이에 기여한다는 사실과, 시각적 혼란의 존재로인해 운전자들이 중요한 도로 및 교통 정보(예: 규제 또는경고 표지, 트래픽 위험의 발생)를 인식하는 데 어려움을겪고 반응이 지연되는 것을 유발할 수 있다는 사실이 입증되었다. 따라서 최종 보고서에서의 시각적 혼잡에대한 논의와 혼잡을 평가하기 위해 사용된 측정 전략은 초안 보고서에서 설명된 것과 크게 다르며, 저자들은변경의 근거나 결과에 대한 정보를 제공하지 않는다 . 게다가, 초안보고서에서 저자들은 각 DCZ에 대한 시각적 이미지를 캡처하고 시각적 복잡성을 계산하기 위해 분석했다고하지만, 최종 보고서는 저자들이 이 정보를 어떻게 활용했는지 또는 왜 초안 보고서에서 설명한 방법과다른 접근을 취했는지에 대한 정보를 제공하지 않다 . 결과적으로, 도로변시각적 혼잡이 운전자의 주의에 미치는 영향과 광고판이 이러한 혼잡에 기여하는 역할에 대한 논의에 대한 가능한 기여가 결여되었다.

시야 추적(EYE-TRACKER) 성능.

저자들은리딩 시 연구에서 '만약 눈 추적기 성능이 받아들일 수 없을 정도로 나빠지면, 후방의 연구자가 참가자에게 안전한 위치에 주차하도록 요청하여 눈 추적기를 재보정할 수 있었다'고 보고했다. 리치몬드 시에서의 상황은 더 나빴다. 저자들은 리치몬드 시에서의 경로가 리딩 시보다 약간 길기 때문에 눈 추적기 데이터 수집 시스템이 '발생한 큰 파일을 처리하는 데 문제가 있었다'고보고했다. 그들은 또 '이 기술적인 어려움을 완화하기위해, 참가자들에게 각 데이터 수집 주행의 중간에 안전한 위치에 멈추도록 요청하여 새로운 데이터 파일을시작할 수 있도록 했다' (p. 43)고 언급했다. 어느경우에도 저자들은 이러한 사례가 몇 번 발생했는지 언급하지 않았으나, 모든 리치몬드 시 연구 참가자가동일한 경로를 운전했기 때문에 과부하 문제가 모든 참가자에게 발생한 것처럼 보이다. 저자들은 이러한주행 중의 중단이 참가자의 성능에 미치는 잠재적인 영향이나 그 외의 연속적인 데이터 수집 활동에 대해 언급하지 않는다.

더기본적으론, 초안 보고서를 보류하고 최종 보고서를 두 거의 2 년후에 발행한 주된 이유는 초안 보고서에서 제시된 눈 돌림 측정(지속 시간)이 분명히 불합리하다는 사실이었다. 이는 연방 고속도로 관리국의 심사위원들이지적한 바이다. 최종 보고서를 검토한 동료 중 한 명은 '이보고서에 대한 책임을 지고 있는 사람들이 이를 이렇게 잘못 이해할 수 있다는 것은 문제이다.'라고주장한다. 연방 고속도로 관리국의연구 및 여러 심사위원들이 사용한 스마트아이(SmartEye) 시스템은 이동 차량의 도전적인 환경에서특히 정확하기 어렵다고 지적했다. 한 검토자는 '정면위치 주변에서는 잘 작동하지만, 운전자의 시선이 외부 카메라 범위를 벗어나면 정확도가 급격히 떨어진다.'고 지적한다.

제한적인 시야 추적 범위.

연구자들은차량 상단에 장착된 세 개의 장면 카메라가 운전자의 왼쪽 앞유리와 일부 오른쪽 앞유리를 통해 볼 수 있는 전방 시야 영역을 포착한다고 설명한다. 그러나 '운전자가 앞유리의 가장 오른쪽 영역을 통해 볼수 있는 영역은 장면 카메라에 포착되지 않았다'라고 지속적으로 언급하고 있다. 일반적인 운전자의 시야는 연구에서 포착된 영역보다 훨씬 넓다. 이는중요한 문제이다. 연구에서는 시야 카메라 제한을 벗어나서 왼쪽이나 오른쪽으로 눈이 돌아간 운전자의 시선을눈 추적기가 기록하지 못하였으므로, 시선 데이터인 연구의 핵심이 시각 고정의 수와 지속 시간을 과소평가하게만들었다.

연구자들의시선 데이터 축소 방법은 결과의 이해에 중요한 역할을 하며 중요한 우려점을 제기한다. 연구자들은 정적인 '관심 영역' (ROI)을 설명하는데, 이는 장면 카메라의 시야 안에 있는 6개의 특정 데이터 수집 영역과시야 카메라의 범위 밖(위쪽과 아래쪽)에 위치한 두 개의영역을 포함한다. 앞에서 언급한 대로, 장면 카메라 시야영역의 왼쪽과 오른쪽 영역 및 이러한 영역에서의 시선은 무시되었다. 이는 중요한 문제이다. '운전자가 앞유리의 가장 오른쪽 영역을 통해 볼 수 있는 영역은 장면 카메라에 포착되지 않았다'라고 한 것처럼, 보고서에서는 장면 카메라가 운전자의 우측앞유리를 얼마나 가려주는지에 대한 논의가 없다. 또한, 장면카메라는 오른쪽이나 왼쪽 창문을 통한 시야를 포착하지 않았다 - 운전자가 측면 미러를 관찰하기 위해볼 필요가 있는 영역이며, 차량이 접근할 때 운전자가 광고판을 볼 수 있는 곳이다. 연구자들은 장면 카메라의 경계 영역 왼쪽이나 오른쪽으로의 시선을 분석하지 않았으므로, 시스템에 의해 분석된 시선은 실제 참가자들이 수행한 모든 관련 시선 중 일부만을 대표한다. 이 문제는 보고서의 그림 9 (23쪽)를 살펴봄으로써 더 잘 이해될 수 있다. 이미지에서 보이는 광고판은화면의 오른쪽 상단 부분에 나타난다. 이 프레임 캡처 이미지가 조금 더 늦게 촬영되었다면, 차량이 이 광고판에 접근할 때 광고판은 오른쪽으로 이동하여 장면 카메라의 기록 제한을 벗어날 것이며, 연구자들은 이 시간 동안 이 광고판에 대한 어떠한 시선도 분석에서 제외되었을 것이다. (이러한 시선은 장면 카메라와는 별개로 작동하며 참가자가 운전하는 동안 연속적으로 작동되었다고 가정하며 분석되지않았을 것으로 추정한다.) 이러한 중요한 데이터의 삭제는 연구의 주요 목적에 중대한 영향을 미친다. 왜냐하면 이 예시에서의 광고판, 그리고 알려지지 않은 수의 다른광고판은 여전히 운전자가 앞유리를 통해 볼 수 있고, 그리고 우측 창문을 통해 볼 수 있는 영역이다. 그러나 이러한 유용하고 관련성 있는 시선 데이터는 분석되지 않았다. 더욱나쁜 점은, 저자들이 보고서에서 데이터를 도로보다 광고판을 보는 확률로 보고하고 있는데, 이러한 분석되지 않은 시선이 있었다면, 분석되지 않은 부분으로 인해광고판에 대한 시선의 수와 지속 시간의 확률이 인위적으로 감소되었을 것이다.

현보고서의 한 심사위원는 램블(Lamble) 등의 연구(Lamble,1999)를 언급하여 이 문제를 더 자세히 설명했다. 이 연구는 차량 내부와 시선에서 벗어난각도의 디스플레이에 집중하면서 운전자가 앞차량의 감속을 감지하는 능력을 다루는 현장 연구였다. 앞유리의오른쪽 영역을 특별히 수집하지는 않았지만, 후방 미러, 양쪽측면 미러 및 우측 창문을 통해 시선이 이루어졌다. 다음 표는 램블(Lamble)등의 데이터를 적용하여 각 대상에 대한 직선 시야로부터의 평균 이심(eccentricity) 각도와충돌 시간(TTC)을 기준으로 한 '감지에 소요된시간(초)'을 보여준다.

	평균 이심각도(정면으로부터의 각도)	감지에 소요된 시간(충돌 시간, TTC로 표시)
왼쪽 측면 미러	44	1.7
내부 후방 미러	42	2.1
오른쪽 측면 미러	63	2.1
오른쪽 창문	90	2.8

이데이터를 사용하면, 시야 카메라의 ± 40° 이상의 영역으로발생한 시선을 분석하지 않은 것은 연방 고속도로 관리국 연구에 심각한 제한이라는 것이 명백하다. 특히, 모든 온프레미스 및 오프프레미스 신호가 운전자가 접근하는 동안 이러한 각도 영역 내에 위치할 것이기 때문이다.

전방 도로 시야안의 광고판.

저자들은자료 분석을 위해 관심영역(ROI)의 상단과 하단 부분을 결합했다고 설명하며 '추가한 분석 수준은 연구 질문에 대답하기 위해 필요하지 않았다'고언급했다. 이로 인해 저자들이 정의한 세 개의 관심영역 (ROI)가생성되었는데, 'LSR - 도로의 왼쪽','RA - 직진하는 도로', 'RSR - 도로의 오른쪽'이다. LSR 및 RSR 보기가장면 카메라의 제한된 수평 시야로 인해 인위적으로 제한되었다는 것을 다시 기억하길 바란다. 다시 그림9 (23쪽)를 예로 들면 광고판은 RSR 영역에 나타난다. 이 스크린샷이 광고판과 더 멀리 떨어진 상태에서 1~2초 뒤에 캡처되었다면, 이는RA (직진하는 도로) 섹터에 나타났을 것이다. 위에서언급한 바와 같이 저자들은 광고판에 대한 시선을 도로 앞을 바라보는 시선의 확률과 비교하기 위해 확률로 보고하고 있으므로, 중요한 문제인 광고판을 코딩하는 방법에 대한 해결책은 무엇이었을까? 이해답은 아래에서 논의된다.

동적 ROI.

저자들은 24쪽에서 '동적 관심영역(ROI)'를정의하고 있는데, 동적 관심영역은 시야 내에서 이동하는 것처럼 보이는 정적 객체(예: 광고판) 및 도구로사용된 차량의 움직임으로 인해 동작하는 실제 동적 객체(예: 보행자또는 다른 차량)를 포함한다. 저자들은 네 가지 유형의 동적관심영역(ROI)를 정의한다. 그 중 두 가지, 대상 표준 광고판과 대상 디지털 광고판은 의미가 있지만, 다른 두가지관심영역에는 의문을 제기한다. 하나의 동적 관심영역은 '다른표준 광고판'이라고 불리며 '대상 표준광고판이나 대상 디지털 광고판이 아닌 DCZ에 위치한 표준 광고판'으로정의된다. 그러나 보고서에 포함된 몇 가지 도로 영상을 조사해 보면,DCZ 내에는 대상이 아닌 온프레미스 신호가 더 많이 있었을 가능성이 있으며, 이러한 온프레미스신호가 데이터 수집에서 무시되었는지에 대한 의문이 제기된다. 일반 운전자는 온프레미스와 오프프레미스신호의 기술적 및 법적 차이에 대해 알지 못한다. 사실, 많은장소에서 온프레미스로 간주되는 디지털 신호는 오프프레미스 광고를 표시한다.

네번째 동적 관심영역은 '운전과 관련된 안전 위험'으로정의된다. 저자들은 이를 '현재 주행 중인 차량또는 주행으로 들어가는 차량'으로 정의한다. 이로인해 여러 가지 의문이 제기된다. (1) 이 동적 ROI가다른 차량, 보행자 또는 자전거 이외의 차량에 제한되었는지, 다른차량에 대한 관심을 희생한 것인지, 그리고 (2) 연구자들이도로 위에서 앞차량으로부터의 짧은 간격 (추종 거리)을 나타내는주행 관련 안전 위험을 이 카테고리에서 제외한 이유는 무엇인지? 최근의 운전자의 주의 분산에 관한 연구들은차량 내부 또는 외부 원인에 의한 갑작스러운 제동에 대한 운전자의 반응이나 임박한 위험에 대한 인식 및 대응과 같은 종속 변수로, 현실적이고 적절한 잠재적 위험 상황을 포함하는 경향이 있다. (Milloy,2011) 불행히도, 이 연구에는 이러한 현실적이고 흔히 사용되는 잠재적 위험 요소들이포함되어 있지 않았다. 더욱이 연방 고속도로 관리국 연구에서 사용된'운전과 관련된 안전 위험'은 매우 주관적이며 즉각적인 위협이나 위험을대표할 정도로 우려되는 것 같지 않다. (Ayres, 2005).

심사위원중 한 분은 이 문제에 대해 다음과 같이 상세히 논의했다.

도로에서눈을 돌린 동안 (운전자가) 어떤 단서나 사건을 놓치는 가능성은얼마인가? 그것은 운전자가 충돌할 수 있는 객체와의 거리에 따라 결정된다. 예를 들어, 차 간 간격이 1/4마일마다있는 4 차선 도로를 운전하는 것은 시간이 남아있어 2초동안 도로에서 눈을 돌려도 즉각적인 안전 문제에 영향을 주지 않을 수 있음을 시사한다. 반면, 주변에 바로 옆, 앞, 뒤에차량이 있고, 이들과의 거리가 1~4초인 경우, 눈을 돌리는 위험이 크게 증가한다.

눈을돌리는 정도를 의미 있는 수준으로 측정하려면 이를 교통 상황의 맥락에 놓아야 한다. 일반적으로 교통량은단위 시간당 차량의 수만을 나타낸다. 교통 상황을 더 구체적으로 파악하기 위해 '교통 밀도'라는 훨씬 더 정교한 측정 항목이 필요한다. 이는 눈을 돌리는 행동의 위험을 보다 의미 있는 맥락에 놓을 수 있도록 도와준다. 두키(Dukic et al. (2013))와 스마일리(Smiley et al. (2004))의 연구는 광고판에 대한 눈 돌리기 행동의 위험을 적절한 현실적 맥락으로놓기 위해서 교통 밀도를 사용했다.

시각 데이터 축소 및 분석 방법.

연구자들이사용한 데이터 축소 및 분석 방법은 초안과 최종 보고서 사이에서 상당한 변화가 있었으며, 아마도 초안에대한 심사위원들의 의견에 대한 대응으로 이루어진 것으로 추정된다. 그러나 저자들은 최종 보고서에서 사용된방법을 설명할 때, 초안 보고서에 대한 언급이 없으며, 심사위원들의우려사항에 대한 언급도 없으며, 초안과 최종 보고서 사이에서 일어난 급격하고 중요한 변화에 대한 논의도없다. 최종 보고서에서 사용된 방법은 별도의 동료들의 심사를 받았는가?수정된 결과는 독립적인 분석을 거쳤는가? 원래의 심사위원들은 최종 보고서가 공개되기 전에자신들의 우려사항이 적절하게 해결되었는지 확인하기 위해 최종 보고서를 검토하는 기회를 얻었는가? 최종보고서에서는 이러한 질문에 대한 언급이 없기 때문에, 연방 고속도로 관리국이 최종 보고서를 동료들의심사를 받았다고 발표한 것에 대해 의문을 제기해야 할 것이다.

통제 구간.

14쪽에서 저자들은 도로의 '통제(control)' 구간에 대한 초기 설명을 제공한다. 그들은 '오프프레미스 표지판이 없는 지역'으로 정의하지만앞에서 논의한 대로, 이러한 통제 구간 중 일부에는 독자가 몇 개인지 알 수 있는 정보가 없는 중요한온프레미스 표지판이 포함되어 있었다. 연방 고속도로 관리국 보고서에서 나중에 분명해지듯이, 이러한 구간 중 일부는 어떠한 종류의 표지판도 포함하지 않았다. 이는 통제 구간으로 적절하지만, 다른구간에는 온프레미스 표지판이 포함되어 있었으며, 이 중 일부는 디지털 표지판일 수도 있었다. 보고서에서는 통제 구간의 표지판에 대한 설명이 제공되지 않으며, 사진은부분적이고 충분한 세부 정보를 제공하지 않아 독자가 판단할 수 없다. 앞에서 언급한 대로, 일반 운전자는 온프레미스 표지판관 오프프레미스 표지판을 구별하기 어렵기 때문에, 온프레미스 표지판이 포함된 도로 구역은 통제 구간으로서 부적절한 선택이다. 밝은(그리고 아마도 변하는) 표지판이 있는 구역이 아무런 표지판이 없는구역보다 운전자의 시선을 더 많이 끌 것으로 가정한다면(특히 밤에),표지판을 포함한 통제 구간을 선택함으로써 디지털 또는 전통적인 표지판을 포함한 처리 구간과 통제 구간 간의 시선 패턴 차이를 인위적으로줄이는 불합리한 결과가 발생한다. 이 문제는 연구자들이 모든 통제 구간을 함께 분석에 그룹화했기 때문에더욱 악화된다(즉, 표지판이 있는 구간과 표지판이 없는 구간을분리하지 않았다). 심지어 리(Lee 등의 연구(Lee, 2007))도 연방 고속도로 관리국의 저자들과 이 작성자(Wachtel,2007)에 의해 지적된 결함이 있었음에도 불구하고, 이 위험성을 인지했다. 리(Lee)와 그 동료들은 도로 구간을 네 가지 하위 집합으로 분류했다: (a) 디지털 광고판; (b) 전통적인 광고판; (c) 통제 구간(광고 없음, 하지만어떤 공식적인 표지가 포함될 수 있음); (d) 비교 구간.'비교' 구간은 광고(디지털또는 전통적인)가 없는 도로 구간을 의미하며, 온프레미스및 디지털 광고를 포함할 수도 있었다. 다시 말해, 연방고속도로 관리국의 통제 구간은 리(Lee)의 통제 구간보다는 비교 구간에 기능적으로 더 가까웠다. 그리고 리(Lee) 등은 디지털 게시판 및 비교 구간에서 전통적인광고나 통제 구간보다 더 긴 주시를 발견했다(리(Lee)와그 동료들은 이러한 차이의 통계적 유의성을 평가하지는 않았지만, 리(Lee)등의 데이터에 대한 독립적인 사후 분석은 이러한 차이가 유의미하다는 것을 보였다)(허츠, 2011). 연방 고속도로 관리국 최종 보고서의 그림 7과 8(리딩 시 연구를 위한 것) 및 그림 29와 30(리치몬드 시 연구를 위한 것)에서는 고속도로의 일부 통제 구역에는 어떠한 종류의 표지판도 없는 것처럼 보이지만(적절한 경우), 도시 주요도로의 통제 구역에는 많은 온프레미스 표지판이있었다(부적절한 경우). 게다가 리딩 시에서는 적어도 하나의통제 구간에 두 개의 큰 오버헤드 공식 표지판이 포함되어 있어, 통제 구간으로서의 적합성이 더욱 감소한다.

현재보고서의 심사관 중 한 명은 아래와 같은 질문을 제기했는데, 이 질문은 통제 구역과 DCZ에 모두 적용될 수 있다. '주행 환경에서 76%의 도로 환경 시선과 82%의 고속도로 환경 시선이 전방 도로에집중되었다면, 참가자들은 주행 환경에서 어떤 다른 물체들을 바라보았을까? 분석 대상으로 고려되지 않았을 수 있는 다른 광고판(또는 온프레미스표지판)이 있었을까? 그렇다면 이것은 설계의 주요 결함이다.'

광고판 크기의 대표성 결여.

광고판의크기는 여러 가지가 있을 수 있지만(전통적인 표지판과 디지털 표지판 모두), 특히 고속도로에서는 14'x48' (672 평방 피트), 20'x60' (1,200 평방 피트)가 가장 일반적인 크기이다. 그러나 연방 고속도로 관리국 최종 보고서에서는 리딩 시의 4개의 CEVMS 중 2개만이14'x48'이었으며, 나머지 2개는 각각 10'6'x22'9' (239 평방 피트)로 측정되었다. 이에 비교하여, 리딩 시의14x48' 디지털 표지판은 최소 5개가 연구되었다. 리치몬드시에서는 최종 보고서에서 언급된 4개의 CEVMS 중 일반적인크기와는 다른 평균 384 평방 피트의 표지판이 없었으며, CEVMS중 하나는 253 평방 피트로 아주 작았다. 이연구에서 이러한 표준 크기에서의 벗어남이 존재하는 모든 경우에 선택된 표지판은 표준 크기보다 작았다. 더욱이해하기 어려운 것은 초안 보고서에서는 최종 보고서에 보고된 것보다 더 많은 표지판이 포함되었다는 사실이다. 연구자들은왜 가장 일반적인 크기를 대표하지 않는 표지판을 연구 대상으로 선택했을까? 이 연구에서 표준 크기에서이탈한 모든 경우에 선택된 표지판은 해당 표준 크기보다 절반 이하로 작았다. 더욱 이해하기 어려운 것은초안 보고서에는 최종 보고서에서 보고되지 않은 여러 표지판이 포함되었는데, 이러한 연구 대상 표지판이없어진 것은 의문스럽다. 왜 초안 보고서에 포함된 많은 표지판이 최종 보고서에서 제외되었을까?

이연구에서 사용된 조도 측정 방법에 대한 우려는 이 보고서의 다른 부분에서 논의되었다. 그러나 만약 우리가사용된 기술에 대한 이해가 잘못되었다면, 즉, 연구자들이주변 환경 없이 표지판의 조도를 실제로 측정했다면, 이 연구에서 사용된 표지판의 조도 값은 전국적으로일반적인 표지판(전통적인 표지판과 디지털 표지판)과는 거의유사하지 않음을 결론지어야 한다. 그리고 조도는 대중으로부터 가장 비판을 받는 요소이며, 운전자의 시선을 가장 먼저 끌어들이다. 연방 고속도로 관리국 연구에서보고된 평균 조도 값은 다음 표에 나와 있다. (이 데이터는 리딩 시에 대한 최종 보고서의 27쪽의 표 3과 리치몬드 시에 대한 최종 보고서의 44쪽의 표 8에서 가져온 것이다):

지역	시간대	표지판 유형	평균 측정 조도 (cd/m²)
리딩 시	주간	CEVMS	2126
	주간	표준 표지판	2993
	야간	CEVMS	56.00
	야간	표준 표지판	17.80
리치몬드 시	주간	CEVMS	2134
	주간	표준 표지판	3063
	야간	CEVMS	56.44
	야간	표준 표지판	8.00

이러한조도 값들을 다른 곳에서 보고된 값과 비교해보면, 블로그(Bullough)와스키너(Skinner (Bullough, 2011))은 뉴욕 주에서 전통적인 표지판의 평균 낮 조도를 6,871 cd/m2, 밤 조도의 평균을 123 cd/m2로 측정했다. 동일 저자들은 디지털 표지판에 대한 평균 조도 값으로 낮에는 3,990cd/m2, 밤에는 225 cd/m2의 값을 발견했다. 뉴욕주는 CEVMS에 대한 규정을 제정할 때, 주간 사용을 위해최대 5,000 cd/m2, 야간 사용을 위해 280 cd/m2의상한 값을 제안했다. 그리고 호주 퀸즈랜드 정부는 표지판 조도를 측정하기 위한 필수 방법을 발표할 때, 표지판이 위치한 환경 구역에 따라 최대 야간 상한 값을 300-500cd/m2로 설정했다. 다른 연구들 (Luginbuhl,2010, ICROL, 2010, Wachtel, 2014)은 유사한 결과를 발견하거나 유사한 지침이나 규정을 제시했다. 간단히 말하면, 다른 연구들은 이 연구에서 측정된 것보다 최소 2배 이상 높은 주간 조도 값을 가진 디지털 표지판을 보고하였으며, 밤에는 (가장 큰 우려와 대중의 불만으로 여겨지는 측정 값인) 이 연구에서발견된 조도 수준보다 5배 이상 높은 밤 조도 값을 보고했다. 연방고속도로 관리국의 측정 조도 값은 다른 곳에서 보고된 값과 비교했을 때 왜 이렇게 크게 다른 것일까? 왜항상 다른 곳에서 측정된 값보다 낮은 값일까? 다른 지역은 그저 비정상적으로 어두운 표지판을 측정한것인가, 이 측정을 다른 디스플레이의 단계보다 낮은 시점에서 수행한 것인가, 아니면 측정 방법이 다른 대학, 정부 기관 및 조명 전문가들이 사용하는방법과 다른 것인가? CEVMS 조도는 시선을 끌기 위한 질문에 있어서 매우 중요하기 때문에, 이 실질적인 차이는 연방 고속도로 관리국 연구 결과를 이해하는데 매우 중요한다.

연방고속도로 관리국과 다른 연구들 사이의 조도 값의 차이를 본 후, 우리 동료 심사위원 중 하나는 자신의조도 데이터를 다시 검토하여 측정된 값이 올바름을 확인했다. 또 다른 심사위원은 이 중요한 차이에 대한의견을 제시하며, 연방 고속도로 관리국 연구에서 사용된 표지판을 다시 측정하여 그들의 조도 값이 왜그렇게 낮은 지 확인하는 것이 가치가 있다고 제안했다.

불충분한 데이터 수집 지역의 거리.

연방고속도로 관리국 보고서에서 데이터 수집 지역 (DCZ)의 정의와 사용에 심각한 문제가 있는 것으로 보인다. 관련 논의는 최종 보고서의 16쪽과 초안 보고서의 27-28쪽에 나와 있다.

· 초안 보고서에서 저자들은 데이터 수집 지역 (DCZ)의 최대거리로 960피트를 선택한 이유로 다음과 같이 언급했다: (a)MUTCD에서 1인치 글자 높이당 30피트의가독 거리를 권장하고 있으며, (b) CEVMS의 평균 글자 높이가32인치이므로 데이터 수집 지역 (DCZ)의 상한선은960피트가 되는 것이다.

o 이러한 이유는 저자들이 CEVMS의 32인치 글자 높이를 가정하기 위한 근거를 제시하지 않았기때문에 얼렁뚱땅한 이유라고 볼 수 있다. 실제로 저자들이 표지판 글자 높이를 측정하려고 노력했다는 증거도없다. 실외 광고 업계에서 제공하는 지침을 검토하면 36인치에서 48인치 이상의 글자 높이가 자주 권장되고 있음을 알 수 있다(Signazon.com) (Meadow Outdoor Advertising) (Elliott Sign and Design).

· 실제로 960피트 상한선을 선택한 실질적인 이유는 사용된 안구추적 장비의 2° 해상도 한계와 일치한다는 것으로 보이다. 다시말해, 960피트보다 먼 거리에서 안구 추적 장비가 제공하는 눈금 대상은 연구 대상인 광고판보다 큰영역을 포함하기 때문에 연구자들은 운전자들이 실제로 어디를 보고 있는지 확신할 수 없다. 따라서, 안구 추적 장비의 해상도 제한 때문에 광고판의 시각 거리나 가독 거리와 관계없이 최대 데이터 수집 지역 (DCZ)거리를 제한했다. 즉, 위에서논의한 것처럼 보다 표준적인 크기의 광고판이나 해상도가 더 세밀한 안구 추적 장비를 사용한다면 960피트보다큰 합리적인 DCZ를 사용할 수 있었을 것이다. 동료 심시위원중 한 명이 언급한 대로 주의의 가능성은 글자 높이와 가독성만의 문제가 아니다.

· 데이터 수집 지역 (DCZ)의 최소 거리에 대한 유사한 우려가있다.

o 초안 보고서에서 저자들은 DCZ의 끝을 '표지판으로 표시'되었다고 언급했다 (28쪽).충분히 설명되지 않았지만, 이는 DCZ의 끝이실험에 사용된 차량이 표지판을 통과한 지점으로 확인되었음을 의미하는 것으로 보이다. 이는 다른 연구에서이렇게 수행되어 왔으며 적절한 방법이기도 하다.

o 그러나 최종 보고서에서는 매우 다른 내용을제시한다. DCZ의 끝은 '대상 표지판이 장면 카메라의시야에서 벗어났을 때 표시된다'고 정의하고 있다 (16쪽). 물론, 이 지점은 실제로 차량이 표지판을 통과하는 지점보다 훨씬이른 시점에 발생한다.

o DCZ의 종료점을 도로 상의 위치로 표시하는방법의 차이는 상당히 크며, 이는 이 연구에서 참가자들이 수행한 모든 시선을 포함하거나 배제하는 데중요한 영향을 미친다. 최종 보고서에서 사용된 정의가 맞다면, 이거리는 표지판의 크기, 도로 가장자리로부터의 후퇴 거리 및 표지판이 위치한 도로 측면에 따라 달라질것이다. 반면, 초안 보고서에서 제시된 정의를 사용한 경우표지판의 크기, 후퇴 거리 또는 위치는 최소 거리에 영향을 미치지 않을 것이다. 이러한 약점은 초안과 최종 보고서 사이에서 모든 표지판 매개변수(크기, 후퇴 거리 및 위치)가 불명확하게 변경된 사실로 인해 더욱 심화된다.

o 인간의 주변 시야는 정면을 기준으로 대략180°(각각 대략 90°씩)로 확장된다. 물론, 사람이머리를 왼쪽이나 오른쪽으로 돌린다면 주변 시야의 포함 각도도 그에 따라 확장된다. 다시 말해, 내가 머리를 돌려 오른쪽으로 30° 정도 있는 물체(예: 표지판)를 직접 보기위해 눈을 돌린다면, 나의 오른쪽 주변 시야는 대략90°+30°=120°까지 확장된다(다시 정면을 기준으로).초안 보고서에서 DCZ의 정의된 종료점은 운전자의 주변 시야에서 대상 표지판이 벗어나려는시점인, 즉 운전자가 정면을 보고 있을 때 실험용 차량과 표지판이 나란히 이웃한 위치에 있을 때였다. 그러나 최종 보고서에서 제공된 정의를 사용하면, DCZ는 표지판이씬 카메라에 보이지 않을 때 종료되었다. 저자들은 이전에 장면 카메라가 최대 80°의 수평 시야를 제공한다고 밝혔다. 장면 카메라 이미지의 중심이실험용 차량의 진행 방향과 일치한다고 가정한다면(이것이 우리의 가정이어야 한다. 왜냐하면: (a) 장면 카메라는 차량의 지붕에 고정되어 있었으며, (b) 가장 논리적으로 이해되기 때문에, (c) 저자들은 반대를하지 않았다), 장면 카메라 배열은 이 진행 방향에서 왼쪽으로40°, 오른쪽으로 40°의 영역을 커버한다. 저자들은이전에 장면 카메라가 앞유리의 오른쪽 전경을 완전히 보여주지 않았다고 인정했지만, 얼마나 많은 시야가제거되었는지에 대한 중요한 정보는 보고서에 기록되지 않았다(13쪽).그럼에도 불구하고, 초안 보고서에서 왼쪽 또는 오른쪽90°의 시야로 DCZ의 종료를 표시한 것(실험용차량이 표지판과 일직선인 경우 인간의 주변 시야의 범위)와 최종 보고서에서 왼쪽과 오른쪽으로 40°의 시야로 제한된 것(차량 지붕에 장착된 장면 카메라의 시야제한 및 표지판의 크기, 위치, 도로 측면에 따라 가변적)을 비교하면, 초안 보고서에서 분석되지 않은 많은 표지판을 향한 시선들이최종 보고서에서는 분석되지 않았음을 쉽게 알 수 있다(아마도 기록은 되었을 것이다).

o 요약하자면, 저자들은 데이터 분석에서 960 ft.보다 더 먼 거리에서 발생한표지판을 향한 시선을 제외하였다(초안 및 최종 보고서 모두에서), 그리고표지판이 장면 카메라의 시야에서 정면을 기준으로 왼쪽 또는 오른쪽으로 40°를 벗어나는 지점보다 더가까운 거리에서 발생한 표지판을 향한 시선도 분석에서 제외하였다. 참가 운전자가 차량이 접근함에 따라머리를 좌우로 돌려 표지판을 직접 보았더라도, 표지판이 장면 카메라의±40° 제한 범위를 벗어나면 저자들은 이러한 눈의 시선 데이터를 분석하지 않았다. 이는운전자의 눈과 머리가 움직이지만 장면 카메라가 고정되어 있기 때문이다. 장면 카메라는 차량의 지붕에장착되어 있고, 정면만을 향해 조준되어 있으며, ±40°만을촬영한다.

o 현재 보고서의 여러 동료 심사위원들은 저자들이 960 ft.의 최대 눈의 시선 거리를 선택한 점에 대한 우려를 제기했다. 한심사위원은 '운전자가 DCZ 이전에 표지판/CEVMS를 스캔했을 가능성이 매우 높으며, 표지판/CEVMS에 대한 긴 시선/머무름은 완전히 놓칠 수 있다.'고 지적하고, 다른 한 명은 스마일리(Smiley)와 그 동료들의 연구(Smiley, 2004)를 인용하여고속도로 상의 표지판이 하나의 실험 대상 결과를 기반으로 한 최소 가독 거리가 410~1476 ft.라는점을 언급했다. 가독 시간 측면에서 스마일리(Smiley) 등은다음과 같이 기술했다: '고속도로 표지판 이미지는 약 20초전부터 가독 가능해지지만, 속도 제한으로 인해 여러 번 끊어지며, 이로인해 사용 가능한 시간이 18초로 감소하였다.' 65mph(95.3 fps)의 속도 제한을 가정한다면, 스마일리(Smiley) 등의 연구에서 조사한 가독 거리는 1906 ft.(20초) 또는 1715 ft.(18초)로, 연방 고속도로 관리국 연구의 960 ft.의 기준 거리의 거의 두배에 해당한다.

o 정의된DCZ의 선두지점 및 최종지점의 두 가지 제약 사항은 도로 양쪽에 있는 대상 표지판에 대한 기록된 시선의 수와 지속 시간을 감소시킬수 있는 효과가 있었다. 따라서, 이는 연방 고속도로 관리국으로부터설명이나 해명을 요구하며, 특히 초안 보고서에는 이러한 중요한 데이터가 효과적으로 캡처되어 분석에 활용되었을가능성이 많기 때문이다.

관심영역(ROI’s)의 코딩과 할당.

관심영역(ROI’s)의 코딩과 할당에 문제가 존재하는 것으로 보인다. 저자들은이 문제에 대해 암시하지만, 어떻게 처리되었는지에 대한 정보는 주지 않으며, 독자가 그들의 코딩 프로세스를 이해하는 데 도움을 주는 정보도 제공하지 않는다. 이 문제는 다음과 같다. 최종 보고서의 24쪽에서 언급한 대로, 눈 추적 데이터 축소 및 분석 소프트웨어(초안 보고서에서는 사용되지 않았음)는 60Hz마다 시선 '교차점'(즉, 위치)을 결정하고 각 시선을 자동으로 관심영역(ROI)에 할당한다. 그러나 저자들이 언급한 대로 ROI는 겹칠 수 있다. 소프트웨어 자체가 아닌 연구자가 각 ROI에 대한 '우선순위'를지정할 수 있기 때문에, 이러한 겹침이 발생할 때는 연구자가 더 높은 우선순위를 지정한 ROI가 겹치는 시선을 '할당'하게 되며, 겹치는 ROI의비용이 든다. 따라서, 만약 시선이 표지판과 전방 도로 모두에겹치는 것이 아니라 전방 도로에 실제로 이루어진 것임을 보여주기 위해, 전방 도로(RA) 세그먼트에 더 높은 우선순위를 할당하기만 하면 된다. 저자들은이 구체적인 예를 24쪽에서 인용하지만, 이러한 경우에 저자들이어떤 절차를 따르고 있는지, 또는 연구 중에 이와 같은 사례가 몇 번 발생했는지에 대한 정보는 제공하지않는다. 초안 보고서의 30쪽에 있는 그림 13을 살펴보면, 두 개의 ROI의교차점에 표지판이 있는 것을 볼 수 있다(초안 보고서는 시선 코딩을 수동으로 처리했기 때문에 ROI는 최종 보고서 이전에는 패러다임으로 존재하지 않았음을 기억하자). 저자들은 ROI의 우선순위 지정이 이러한 시선을 어떻게 처리했을 지 또는 실제로 얼마나 많은 사례가 발생했는지에 대해논의하지 않았다. 저자들은 '동적 ROI' 역시 식별했지만, 동적 ROI와 겹치는 정적 ROI와의 처리 방법에 대한 설명이 없다.

현재보고서의 한 심사위원은 '연구자들이 실험의 목적에 대해 알지 못한다면' ROI에 우선순위를 할당하는 것에 대해 걱정할 필요가 없다고 하였지만, 연방 고속도로 관리국 보고서에는 이러한 경우였는지에 대한 언급이 없다. 그렇게했을까?

최근 관련 연구조사 무시.

최종보고서의 참고 문헌 목록을 살펴보면, 저자들은 초안과 최종 보고서 사이의 31개월 동안 문헌 연구 내용을 업데이트했다는 것을 보여준다(최종보고서에는 2012년 6월27일까지의 인용문이 포함되어 있다). 그러나 이 기간 동안 혹은 그 이전에도 이 프로젝트와직접적으로 관련된 여러 가지 관련 있는 최근 관련 논문 연구들을 왜 무시했는지 궁금해진다. 이러한 연구에는배커-그론덜(Backer-Grondahl, 2009); 두키(Dukic, 2013); 에드퀴스트(Edquist, 2011); 지텔맨(Gitelman, 2012); 에드퀴스트(Edquist, 2008); 에드퀴스트(Edquist, 2010); 밀로이(Milloy, 2011); 영(Young, 2009) 등이 포함된다. 이는 더욱 걱정스럽다. 왜냐하면 그들은 일부 동료 심사를 받지 못하고, 접근이 제한된 빌보리드(billboreed)가 후원한 연구들은 포함했기 때문이다 (Tantala,2010, 2011).

문헌 고찰에 대한 토론.

문헌고찰에 대한 토론에서 연방 고속도로 관리국 연구원들은 리(Lee) 외(Lee, 2007)의 연구에 대한 요약에서 'CEVMS가 운전자의 시선 행동에유의한 영향을 주지 않았다'고 언급한다. 연방 고속도로관리국 연구원들은 이 보고서를 준비하면서 이전 연구를 검토했으므로, 리(Lee) 및 그녀의 동료들이 주도하는 연구가 옥외 광고 산업에서 지원하고 감독한 연구임을 알고 있었다. 리(Lee) 외 보고서의 이전 검토들 (예: Wachtel, 2007)은 실제로 이 저자들이 수집한 시선지속시간 데이터에 대해 유의성 검정을 수행하지 않았음을 보여줬다 (6개의 다른 측정 항목에 대해서는유의성 검정을 수행했다) (Wachtel, 2009). 만약 그들이 그렇게 했다면, 유의한 차이를 발견했을 것이다 (Hurtz, 2011;Placeholder1). 더욱이, 리(Lee) 및그녀의 동료들이 언급한 대로, 그리고 이전 연방 고속도로 관리국 보고서 (Molino 외, 2009)에 보고된 대로, 그들의 야간 연구 참가자는 통계적 유의성 검정을 지원하기에는 너무 적었지만,샘플 크기가 더 크다면 일부 결과는 '통계적 유의성을 나타낼 것'이라고 언급되었다 (p. 7).

왜연방 고속도로 관리국 저자들은 중요하고 관련성 있는 결과가 무시된 상태에서 리(Lee) 외의 데이터를그대로 받아들였을까?

현저성, 주목 돋보기, 상향식처리.

'주목성,' '인지적 돋보기,' '상향식 처리'에 대한 저자들의 논의는명확한 설명이 필요하다. 최종 보고서의 10쪽에서 저자들은이 저자(Wachtel, 2009)의 디우웨스(Theeuwes)의연구에 대한 검토를 언급한다. 연방 고속도로 관리국 저자들은'웨텔(Wachtel)은 운전자의 주목을 상향식으로 이끌어낼 수 있는 환경의 자극으로CEVMS를 고려하도록 유도한다. 즉, 광고판의 현저함이 주변 환경의 다른 자극과 비교하여 두드러지게 만들고 운전자들이 반사적으로 이 표지판을 쳐다볼것'이라고 언급한다. 그들은 디우웨스(Theeuwes)의 작업이 '실험실 과제에서 단순한 문자자극 배열'을 사용했다고 언급하며 계속해서 '실험실환경에서 간단한 시각 자극을 사용한 연구는 인지에 대한 다양한 이론을 테스트하는 데 매우 유용하지만, 운전과같은 작업에 직접적인 적용은 부족할 수 있다'고 언급한다. 따라서동일 페이지에서 연방 고속도로 관리국 저자들이 콜(Cole)과 휴즈(Hughes)의작업 (Cole, 1984)을 인용한 것은 놀랍다. 연방고속도로 관리국 보고서는 '표준 및 디지털 광고판은 종종 주행 환경에서 현저한 자극이 되며, 이로 인해 두드러질 수 있다. 콜(Cole)과휴즈(Hughes)는 “주목성”을 운전 환경에서 충분히 두드러지게 돋보이는 자극의 정도로 정의한다. 더나아가, 주목성은 크기, 색상, 밝기, 주변 환경과의 대비, 움직임과변화와 같은 동적 요소와 관련이 있다. 일부 상황에서 이미지의 돋보임이나 주목성은 인간이 주의를 집중하는방식을 잘 설명할 수 있다는 것이 분명한다' (10쪽)라고언급한다.

현재보고서의 여러 심사위원들은 이 문제에 대해 의견을 제시하고, 옥외 광고, 특히 CEVMS는 운전자에게 제시되는 시각 자극을 관리함으로써 상향식과정을 통해 운전자의 주의를 끌려고 한다는 견해를 추가했다.

독립 변수로서의 도로 유형.

도로유형이 독립 변수로 추가된 이유와 데이터 또는 결과 분석에 이 변경이 어떤 영향을 미쳤는지에 대한 질문이다.

· 왜 연구가 완료되고 모든 데이터가 수집된 후에 독립 변수가 추가되었는가?

· 이 변경이 데이터 또는 결과 분석에 어떤 영향을 미쳤는가?

초안과 최종 보고서 사이의 시선 고정의 차이점.

최종보고서의 25쪽에서 저자들은 시각적 고정을 측정하는 접근 방식에 대해 논의한다. 그들은 초안 보고서의 결과에 대해선 언급하지 않는다. 독립적인 심사위원들은초안 보고서에서 표시된 시선 고정 지속 시간 (광고판 및 도로 장면 모두에 대한 것)이 합리적이지 않을 정도로 짧다고 비판했다.

• 초안 보고서 완료 후에 최종 보고서에서 보고된 시선 고정 결과가 유효한지 확인하기 위해 무엇이 이루어졌는가?

• 초안과 최종 보고서 사이에 주요 변경 사항이 있었으므로, 저자들은심사위원들의 코멘트를 받은 후 수정된 보고서 버전을 독립적인 심사위원단에 제출했는가?

• 그렇다면 결과는 어떻게 나왔는가?

광고 콘텐츠의 역할.

옥외광고에 표시된 콘텐츠가 운전자의 주의를 강하게 끄는 데 큰 영향을 미칠 수 있다는 것은 잘 알려져 있다. 연방고속도로 관리국 보고서에서 광고 내용에 대한 논의가 없다는 사실은 여러 심사위원들이 지적한 바이다. 한명의 심사위원은 'CEVMS와 표준 광고판에 광고하는 제품 사이에 특성적인 차이가 있을 수있으며, 이는 특정 인구층에 더 많은 매력을 행사할 수 있는 제품이다'라고언급했다. 다른 연구에서는 참가자들이 노출되는 광고판에 대해 가능한 한 주의를 집중시키기 위해 노력하면서이런 잠재적으로 혼란스러운 변수를 제거하기 위해 노력했다.

이고속도로 관리국의 연구와 같이 공공도로에서 수행된 연구는 이러한 통제를 적용하기 어렵지만, 일부 심사위원들은실험용 차량을 운전하는 참가자들이 직면한 광고판 이미지의 일러스트를 보고 싶어했다. 운전자의 도로 전망을연속적으로 기록한 장면 카메라가 있으므로 이 데이터를 포함하는 것은 간단했을 것이다.

다른심사위원 중 한 명은 연구에서 사용된 광고판 사진 중 이미지와 텍스트가 함께 제공된 것을 지적했다. 이미지는텍스트를 해결하는 데 필요한 거리를 초과하여 주의를 끌 수 있지만, 보고서는 이 문제에 대해 언급하지않았다. 광고판의 이미지에 대한 이전의 시선은 DCZ의 선두지점이광고판으로부터 960피트 이상으로 확장되어야 하는 필요성에 대한 추가적인 증거를 제공한다.

답변이 필요한 질문들.

위에서제기된 우려와 질문들 외에도, 최종 보고서와 초안 보고서 사이의 뚜렷한 차이에서 발생하는 여러 문제점들에대해 저자들은 묵묵부답이다. 최종 보고서에서 도출된 결론과 방법론적인 변화의 타당성에 대한 독자의 신뢰를위해 연방 고속도로 관리국이 다음 질문들에 대해 답변을 요청한다.

시선 데이터 분석.

초안보고서는 시선 데이터가 수작업으로 프레임별로 축소되었음을 분명히 언급하고 있다(28-29쪽). 최종 보고서는 완전히 다른 자동 시선 데이터 축소 시스템(MAPPS, 23쪽)에 대해 설명하고 있다. 아마도 이러한 시선 분석 방법의 변경은 초안보고서에 대한 심사위원들의 코멘트를 바탕으로 이루어진 것으로 추측되지만, 저자들은 이 문제에 대해 언급하지않았다. 이러한 방법론적인 변경으로 인해 다음과 같은 질문들이 제기된다:

• 언제, 왜 그리고 어떻게 초안 보고서에 사용된 시스템을 폐기하고새로운 시스템으로 대체할 결정이 내려졌는가?

• 새로운(자동) 시스템의정확성/타당성은 어떻게 검증되었는가?

• 이전 노력의 실패를 고려할 때 결과가 유효하다고 판단되었는가?

• 수정된 접근법은 피어 리뷰를 받았는가? 만약 그렇다면, 어떤 코멘트가 있었고, 연구자들은 어떻게 대응했는가?

관심 영역(ROIs)에 대한 데이터 분석과 인접한 영역 사이의경계.

최종보고서에서 분석을 위해 분할된 장면 카메라의 시점은 초안 보고서에서 사용된 시점과 상당한 차이를 보인다.

• 이러한 변경은 어떻게 이루어졌으며, 왜 변경되었는가?

• 수정된 시스템의 정확성과 충실도는 어떻게 검증되었는가?

• 수정된 시스템은 독립적인 심사를 받았는가? 그렇다면, 결과는 어떠한가?

• 최종 보고서에서 설명된 시스템에서는 차량 지붕에 장착된 세 대의 카메라로부터의 장면 시점을 6개의 '정적 관심영역(ROI)'로분할하였으며, 또한 카메라의 시야를 벗어나지만, 시선 추적이여전히 가능한 '차량 내부'와 '상단'이라는 두 가지 추가 영역이 있음을 언급하고있다. 저자들은 정적 관심영역(ROI)과 그 경계를 선택/식별한 것으로 암시되지만 명시적으로 언급되지는 않는다. 이것이 옳은것인가? 그렇지 않다면, 정적 관심영역(ROI)은 어떻게 결정되었으며, 누가 결정했는가?

운전과 관련된 정보를 바라볼 확률.

저자들은 '참가자가 운전과 관련된 정보를 바라볼 확률을 분석하기 위한 방법론'에대해 논의한다. 이 방법론은 '전방 도로, 상단 전방 도로 및 운전과 관련된 작업'으로 식별된 관심영역을바라보는 시선을 '운전과 관련된 위험'이라고혼동하면서도 '전방도로(RoadAhead)'라는두 가지 가능한 결과 측정값만 사용하여 참가자의 시선 행동을 분류하는 것을 요구한다. 저자들은 '참가자가 도로 앞, 상단 전방 도로 또는 운전과 관련된위험을 바라봤다면 '전방도로(RoadAhead)' 값이 1로 설정되었다''('성공'으로 간주). 그러나'참가자가 파노라마 장면의 다른 물체를 바라보았다면 '전방도로(RoadAhead)' 값이 0으로 설정되었다'('실패'로 간주) (p. 28). 그러나 저자들은 몇몇 경우에는 시선 추적이 '가능했다'고 하면서도 시야 카메라 범위를 벗어나는 시선에 대해 언급하지 않는다.논의에서(28쪽 두 번째 단락) 저자들은 '운전과 관련된 정보'라는 용어와 분석이 포착한 '도로 앞 정보'라는 용어를 혼동하는 것으로 보인다. 물론, 도로 앞 전망이 이 연구에서 인위적으로 제한되었는데도 불구하고, 도로 앞을 넘어선 시선으로 얻어진 상당한 운전과 관련된 정보가 있다. 측면거울, 후방 거울, 계기판 뿐만 아니라 지나가거나 병합하는교통과 같은 잠재적인 위험뿐만 아니라 보행자, 회전 차량 또는 자전거 타는 사람과 같은 발생 위협에대한 시선도 모두 운전과 관련된 정보로 알려져 있으며, 이 모든 것은 이 연구에서 장면 카메라가 제공하는시야를 벗어나는 시선을 필요로 할 수 있다. 보고된 도로 앞 및 지정된 관심영역(ROI)을 바라보는 시선의 확률(표4 및 5, 28-29쪽 참조)이 100%로 나타나는 것은 참가자가 안구 추적에 의해 기록되고 연구자에 의해 분석된 시선의 100%만을 나타내는 것이라는 점을 이해해야 한다. 이외의 시선은단순히 장면 카메라의 제한된 시야 범위를 벗어나기 때문에 기록되지 않은 것이다.

따라서독자가 얼마나 자주 또는 얼마 동안 이러한 잠재적으로 관련성 있는 시선이 기록되거나 분석되지 않았는지를 이해할 수 있도록 연방 고속도로 관리국이이러한 기록되지 않거나 분석되지 않은 시선 이벤트에 대한 정보를 제공하는 것을 권장한다.

옥외 광고판 (오프프레미스) 와온프레미스 표지판.

연방고속도로 관리국 프로그램과 정책은 '옥외 광고판'과 '온프레미스' 표지를 구분한다. 옥외 광고판은 온프레미스 표지와는 다른 목적으로 디자인, 배치 및운영되며 연방 고속도로 관리국은 이러한 표지를 규제하지 않는다. 그러나 최종 보고서의 일부 사진에서는일부 광고판이 사실상 온프레미스 표지인 것으로 보인다. 앞서 논의한 대로 일반 운전자는 '온프레미스'와'오프프레미스' 또는 '광고판'이라는 용어를 잘 알지 못하며, 각 유형의 표지 예시를 보여준다면해당 표지를 구분하기 어려울 수 있다. 다시 말해, 크기, 밝기 등이 동일한 경우 운전자는 광고판인지 온프레미스 표지인지 구분할 수 없을 수 있다. 이러한 광고판과 온프레미스 표지의 혼동 가능성은 세 가지 질문을 제기한다.

• 연방 고속도로 관리국은 보고서에서 '대상' 광고판으로 언급된 모든 표지가 사실상 오프프레미스 표지인지 확인할 수 있는가?

• 각 도시의 대상 광고판에 대해 논의할 때, 저자들은 (표 2, 17쪽 및 표 7, 40쪽) 대상 광고판과 동일한 시간에 운전자에게 보이고, 일부 동일한 위치에있는 '기타 표준 광고판'을 식별한다. 그러나 저자들은 몇몇 보고서 사진에서 분명히 보이는 온프레미스 표지의 존재를 식별하지 않았다. 저자들은 대상 광고판과 동일한 위치에 온프레미스 표지가 없었다고 주장하는 것인가, 아니면 이러한 표지가 표에 포함되지 않았는가?

• '통제 영역'을 식별할 때 (광고판을 포함하지 않는 영역과 구분되는 영역), 저자들은 온프레미스 표지를 포함하여(디지털 표지판일 수도 있음) 일반 운전자에게는 해당 '통제' 영역(온프레미스 표지를 포함하는 경우)이 '대상' 광고판이있는 '처리' 영역과 구분되지 않을 것으로보인다.

공사 작업 요구사항과 시각적 현저성.

연방고속도로 관리국 보고서는 '작업 요구 사항이 시각적 형태를 우선하여 주목을 결정하는 경향이있다고'하는 동적 환경(주행과 같은)에서의 시선 행동에 대한 저자들의 토론을 다룬다. 저자들은 '운전 중에 시각적인 관심은 공사 작업과 관련된 지역이나 물체들(도로, 다른 차량, 속도 제한 표지 등)로향하게 되고, 옥외광고와 같은 다른 물체들은 반드시 운전자의 주목을 받을 필요가 없다.'라고 주장한다. 하지만, 저자들은 고속도로및 교통 공학자들이 운전자의 주의를 사로잡기 위해 때로는 공사 작업 위주의 시각적 주의를 깨뜨려 적시성이나 중요성 있는 메시지를 전달하기 위해운전자의 주의를 사로잡아야 할 때가 있다는 사실을 무시하는 것처럼 보인다. 이로 인해 MUTCD에는 고유한 색상(예: 형광녹색)이 특정 표지판에 적용되고, 고에너지 플래싱 표지, 조명 및 비콘을 사용하며, 특정 포장 표시가 설치되는 등 시각적형태의 주목을 운전자에게 명령하기 위한 목적으로 사용되고 있다. 공식적인 변경 가능한 메시지 표지(CMS)는 같은 이유로 특정 긴급성의 메시지를 깜빡이게 설정한다. 또한저자들은 운전자의 주의를 사로잡기 위해 고밝기, 색대비 및 빈번한 메시지 변경과 같은 시각적 포착 기법에의존하는 광고주들의 노력을 무시하는 것처럼 보인다.

• 연방 고속도로 관리국 보고서는 작업 요구 사항과는 독립적으로 주목을 사로잡기 위해 시각적 형태를 빈번하게사용하는 교통 당국 및 광고주들이 자주 사용하는 이러한 사례들을 왜 무시했는지?

• 연방 고속도로 관리국 저자들은 광고판을 포함한 도로변 광고 표지판, 디지털및 비디오 광고판이 고려 작업 요구 수준을 희생하면서도 운전자의 주의를 사로잡을 수 있다는 최근 연구를 왜 무시했는지? (Milloy, 2011), (Herrstedt, 2013)

기타 실험상 문제

외생 변수의 통제.

외생변수는 연구 목적과 관련이 없지만, 종속 변수(이 경우 시선동작)에 영향을 미칠 수 있는 변수로서 제거하거나 통제해야 한다. 이러한외생 변수가 연구에 남아 있고 통제되지 않으면 가설 검정에서 유의성을 찾을 가능성이 줄어들 수 있다. 우리가 CEVMS(변경 가능한 전자식 표지판)에 대한 운전자의 시선 동작을연구하고, 그것을 전통적인 광고판과 광고판이 전혀 없는 도로 영역에 대한 시선과 비교하고자 한다고 가정해보자. 결과적으로, “깨끗한” 실험적 설계를 사용하여 각각의 세 가지 독립 변수 (CEVMS, 전통적인광고판, 광고판 없는 도로 영역)에 노출될 때 운전자의 시선동작(종속 변수)을 조사한다. 연방 고속도로 관리국 저자들은 이것이 그들이 한 일이라고 주장한다. 그러나그들의 선택한 단어와 초안 및 최종 보고서와 함께 제시된 사진들로 보아, 그들은 연구 위치의 세 가지유형의 사이트 중 어느 곳에서도 다른 광고판이 시야에 없도록 보장했지만 일반적으로 온프레미스 표지가 존재하는 경우가 많았다. 위에서 언급한 대로 일반 운전자는 광고판과 온프레미스 표지 사이의 목적과 기능의 차이를 이해하거나 인식하지못하며, 온프레미스 표지나 광고판(CEVMS 또는 전통적인광고판)를 바라볼 가능성이 동일할 수 있다. 이제 다시 우리의예시로 돌아가서, 이 연구에서 일어난 것처럼, 목표 광고판이표지판 근처 또는 즉시 인접한 위치에 있는 속성에 위치해 있다고 가정해 보자. 연구 참가자 운전자가이러한 지역에 접근할 때 참가자 운전자가 시선을 어떻게 기록하고 코드화했을까? 분명 목표 광고판에 중점을둔 시선은 올바르게 그 광고판에 대한 시선으로 코드화되었을 것이다

참가자 운전자의 연령 범위.

운전자의주의 산만성에 관한 연구에서는, 연령 25세 이하의 어린운전자와 연령 65세 이상의 노인 운전자가 이러한 연령 그룹 사이의 운전자들보다 주의 산만성에 대처하고극복하는 데 어려움을 겪는다는 것이 밝혀졌다. 그러나 연방 고속도로 관리국 연구진은 이 두 가지 주요연령대의 대표자를 모집하기 위한 노력을 하지 않은 것으로 보인다. 어느 도시에서도 64세 이상의 운전자는 포함되지 않았으며, 18세 이상의 참가자는있었지만, 저자들은 그 수를 알려주지 않았다. 운전자 성능과관련된 연구 논문의 저자들은 일반적으로 참가자들의 평균 연령, 표준 편차 및 연령 범위를 제공한다. 그러나 여기서는 평균값만 제공되었다. 우리는 참가자의 연령에 대한완전한 데이터를 제공하는 것이 좋다고 본다.

잠재적 참가자의 탈락률.

참가자의탈락률이 상당히 높았다. 저자들은 일부 참가자의 데이터를 사용할 수 없었던 이유로, 안구 추적 장비를 교정할 수 없거나 장비 고장 때문이라고 설명하고 있다. 리딩시 연구에서는 12명의 잠재적 참가자가 제외되었고, 리치먼드시 연구에서는 17명이 제외되었다. 이는 모집된 참가자 전체의 24% (리딩)와 41% (리치먼드)의 손실이다. 연구진이 일부 참가자의 탈락을 예상하여 일부러 참가자수를 과도하게 모집한 것일 수도 있지만, 이에 대한 어떠한 표시도 없다. 더구나 탈락한 참가자를 대체하기 위해 추가적인 참가자 모집을 시도하지 않았으며, 탈락한 참가자들 사이에 공통된 특성이 있는지에 대한 논의도 제공되지 않아 남은 참가자들의 대표성이 저하되었을수도 있다는 점을 독자가 더 잘 이해할 수 있도록 도움을 주지도 못한다. (Farbry, 2001)(Molino, 2009).

안구 추적 시스템의 침범성.

'실험 접근 방법'이라는 제목의 섹션에서 저자들은 안구추적 시스템을 '침해하지 않는'이라고 설명한다. 이 언어는 초안 보고서 이후에 추가되었다. 이 '침해하지 않는'이라는 표현이 이전 세대의 안구추적 시스템과 달리 물리적으로 운전자의 머리에 부착되지 않았다는 의미로 사용되었다면, 우리는 동의한다. 그러나 안구 추적 시스템이 운전자 앞의 차량 대시보드에 장착된 네 개의 주요 카메라를 포함하고 있으며, 각 참가자의 평균 운전 시간이 약 20-30분이었기 때문에 (운전자가 장비의 존재를 무시할 정도로 완전히 적응할 수 없는 시간), 이를 '침해하지 않는'으로 설명하는 것은 부적절해 보인다. 이는 사소한 문제로 여겨질 수 있지만, 아래에서 논의할 것처럼 이연구의 결과가 일반적인 운전에 얼마나 적용 가능한지 분석해야 할 때 중요한 문제가 될 수 있다.

실험 조건이 참가자의 행동과 성과에 영향을 미친다.

위에서언급한 바와 같이, 저자들이 안구 추적 장비를 '침해하지않는'이라고 설명하는데, 우리는 이에 동의하지 않는다. 그러나 이와 함께 중요한 문제는 참가자들의 경험의 전체성, 참가자들이 '보통처럼' 수행할 것으로 기대할 수 있는지 여부와이것이 연구의 일반화 가능성에 대한 의미이다. 도로 안전에 대한 인간 요소 및 인간 성능 연구는 점점 '자연적' 연구나 고급 운전 시뮬레이터에서 수행된다. 이 두 가지 접근 방식에 대한 논의는 이번 검토의 범위를 벗어나지만, 각각의강점과 한계를 갖고 있으며, 대부분의 다른 운전 연구에 비해 실제 운전에 더 '일반화'될 수 있는 것으로 입증되었다. 이 연방 고속도로 관리국의 연구는 실험용 차량에서 수행되어 참가자들을 실제 도로와 실제 광고판 및 기타 표지가있는 환경에서 운전하도록 했기 때문에 일부 주요한 이점을 제공한다. 그러나 반대로, 차량이 참가자들이 관찰되고 기록되는 사실을 알 수 있으며, 이는참가자의 행동이 보다 자연스러운 환경에서 예상되는 것과는 다른 변화를 가져온다는 사실로 나타났습니다. 또한, 실험용 차량 연구에서는 종종 피실험자와 함께 실험자(연구원)가 차량에 함께 있으며, 일반적으로 뒤쪽 좌석에 앉아 컴퓨터나 클립보드에서데이터를 기록하거나 장비를 모니터링하거나 참가자와 상호작용한다. 그러나 이 연구에서는 항상 두 명의실험자가 차량에 있었다. 이러한 연구 조건 각각(카메라 또는기타 모니터링 장비; 실험자의 존재)은 참가자의 성과의 '현실성'에 불리한 영향을 줄 수 있다. 그러나 이 연구에서는 카메라 장비, 두 명의 실험자의 존재 및 각참가자가 차량에 20-35분 동안만 머무르는 등의 조건으로 인해 조건은 더욱 현실적이지 않았다. 또한, 저자들은 안구 추적기가 재보정되어야 했거나, 과부하된 데이터 파일로 인해 연구자가 새로운 파일을 시작해야 하는 상황들에 대해 논의한다. 이러한 각 사례에서는 참가자 운전자에게 일정 시간 동안 도로에서 멈추도록 요청하여 운전의 연속성을 중단시키고연구자와 참가자 간의 상호작용을 증가시키게 된다. 참가자가 관찰되고 있다는 사실 자체가 참가자의 행동을수정하는 충분한 이유로 작용하는 호손 효과(Hawthorne Effect) (Landsberger, 1958)와함께, 연구 상황의 인위성으로 인해 참가자가 원래 기대되었던 것보다 훨씬 더 나은 성과를 발휘하려는 '우수한 참가자'(Demand Characteristics 원리하에서 설명된 세 가지 참가자 역할 중 하나)라는 잘 알려진 연구 현상이 이 연구에서 나타날 것으로예상된다. 이는 참가자가 '나는 어떻게 했는가? 다른 참가자들과 비교해서 운전은 어땠나요?'라고 자주 묻는것으로 보여주는데, 이는 실제로 사람들이 일반적으로 예상했던 것보다 광고판을 더 자주 무시한 것일 수있다.

다른심사자는 실험 조건 문제를 다른 관점에서 검토했다. 그는 '우리는상당히 신선한 운전자에 대해 이야기하고 있다 - 그들은 수 시간 동안 운전하지 않았으며, 테스트는 좋은 운전 조건에서 수행되었으며(즉, 날씨가 좋은 조건에서 테스트가 수행되었다고 보여짐), 운전자는 경로지도 및 차례로 안내하는 GPS 장치로 준비되었으며 전면 좌석에 연구자가 있어 경로 안내를 제공했다... 근접 사고나 운전자의 실수가 관찰되지 않은 것이 어쩌면 놀라운 것인가?'

테스트참가자에게 제공된 실제 지시사항은 무엇이었으며, 왜 초안과 최종 보고서 사이에 이 설명이 변경되었는지에대한 이유는 무엇인가?

최종보고서의 14쪽에서 저자들은 운전자에게 제공된 지침을 '보통처럼경로를 운전하라'고 설명한다. 그러나 초안 보고서에서는운전자에게 제공된 지침이 더 구체적이고 포괄적이었다. 다른 교통 상황,속도 제한 등에 주의해야 한다는 내용이 포함되었다.

현재연구의 한 명의 동료 심사자는 왜 연구자들이 운전자 참가자들에게 이렇게 분명한 지침을 제공했는지에 대해 의문을 제기했다. 특히, 그들의 눈동자 동작이 연구되고 있다고 명시된 것이다. 이 심사자는 이것이 심각한 결함이라고 여겨지며, 참가자들이 일반적인행동을 수정하여 앞을 주시하는 데 더 많은 시각적 주의를 기울이게 했을 수 있다고 생각했다. 이는 '우수한 참가자' 현상에 기여할 수 있다.

연구 후 설명.

최종보고서의 연구 후 설명에서 (22쪽), 저자들은 초안과 최종보고서 사이에 차이가 있는 것으로 보이는 프로세스를 설명한다. 초안 보고서에서 참가자들은 '운전자 피드백 설문지'를 작성했다고 설명된다. 그러나 최종 보고서에는 이에 대한 언급이 없다. 초안 보고서에서는저자들이 참가자들에게 '연구의 실제 목적을 알려줬다'고설명한다. 다시 말해, 최종 보고서는 이 문제에 대해 언급하지않는다. 최종 보고서에 기술된 후속 연구 설명의 차이가 연구 결과에 중요한 영향을 미치지 않았을 수있지만, 두 보고서 버전의 변경 사항의 존재는 보고서의

변경 사항에 대한 문제를 제기하고 보고되지않은 다른 변경 사항에 대한 의문을 제기한다.

현재보고서의 한 명의 동료 심사자가 말한 대로, 연구 후 설명은 정보의 보물이 될 수 있다. 예를 들어, 이 심사자는 광고의 주관적 구성 요소가 운전자의 개인적흥미에 따라 광고의 '가치'를 결정한다고 제안했다. 이 심리적 효과는 가치, 흥분 및 동기부여 강도로 나눌 수 있으며, '성공'이라는 측면은 '더 오래 멈춰 있는 시간과 도로에서 눈을 떼는 에피소드'를가장 유발할 가능성이 높다.

우리는연방 고속도로 관리국이 다음과 같은 질문에 대해 답변하도록 권장한다. 참가자들은 실제로 연구의 실제목적을 고지받았는지? 그들은 의견을 제시할 기회를 가졌는지? 그렇다면, 그들의 의견은 무엇이었는지? 또한 연방 고속도로 관리국이 사용된 '운전자 피드백 설문지'의 사본을 공개할 것을 제안한다.

평가자 (그리고 차량 내부 평가자)의 신뢰성.

저자들은데이터 수집 중 (즉, 실제 참가자 운전 중) 앞 좌석에 동승한 연구원이 '주관적 측정 기준'을 사용하여 운전자 행동을 관찰하고 기록했다고 보고한다. 인간요인과 실험 심리학은 우리에게 주관적 척도를 사용하여 판단할 때 인간 평가자가 전문적인 교육과 연습 없이는 신뢰성과 타당성이 낮을 수 있다고 말한다. 그러나 보고서는 다음과 같은 핵심 문제에 대해 언급하지 않는다: 이프로세스에 사용된 연구원의 수, 그들이 어떻게 교육되었는지, 그들의등급이 다른 평가자들과 비교되어 상호 평가자 신뢰성을 측정하기 위해 어떻게 검토되었는지 등. 이 연구에서한 명의 평가자만 사용된 경우 평가자 편향의 문제가 발생한다. 마지막으로, 앞 좌석 동승 연구원이 수행해야 할 다른 작업이 있었다는 점을 고려하면, 이연구원이 실제로 운전자 행동을 지속적으로 관찰하고 주석을 달 수 있었는 지라는 중요한 질문이 남아 있다. 이보고서의 한 명의 동료 심사자는 평가자와 상호 평가자 신뢰성에 대한 우려를 표명하면서 '연구자가 '약간의 불편함을 느끼지만 심각한 정도는 아님'을 어떻게 정의하는가?'라고 말했다. 주관적 척도 자체가 매우 주관적인 경우 등급신뢰성을 어떻게 보장하는가? 연방 고속도로 관리국에게 평가자 문제 전체와 신뢰성이 어떻게 확보되었는지에대해 명확히 설명할 것을 권장한다.

운전과 관련된 정보를 바라볼 확률.

옥외 광고판 (오프프레미스) 와온프레미스 표지판.

• 연방 고속도로 관리국은 보고서에서 '대상' 광고판으로 언급된 모든 표지가 사실상 오프프레미스 표지인지 확인할 수 있는가?

공사 작업 요구사항과 시각적 현저성.

기타 실험상 문제

외생 변수의 통제.

참가자 운전자의 연령 범위.

잠재적 참가자의 탈락률.

안구 추적 시스템의 침범성.

실험 조건이 참가자의 행동과 성과에 영향을 미친다.

테스트참가자에게 제공된 실제 지시사항은 무엇이었으며, 왜 초안과 최종 보고서 사이에 이 설명이 변경되었는지에대한 이유는 무엇인가?

연구 후 설명.

변경 사항에 대한 문제를 제기하고 보고되지않은 다른 변경 사항에 대한 의문을 제기한다.

평가자 (그리고 차량 내부 평가자)의 신뢰성.

결론

이검토를 통해 제기된 여러 질문과 중요한 우려사항들은 연방 고속도로 관리국의 최종 보고서인 '상업적가변 메시지 표지판 (Commercial Electronic Variable Message Signs(CEVMS))이 존재하는 상황에서의 운전자 시각적 행동(Driver VisualBehavior)'에 중요한 결함이 있음을 시사한다. 연구의 저자들이 자신들의연구에 대한 중요한 세부 사항들에 대해 제공한 정보의 부족, 중대한 데이터 내부 충돌 및 실험 장비의문제로 인해, 독자는 제시된 결과의 타당성을 평가할 수 없다. 연방고속도로 관리국이 보유한 독립적인 심사위원들로부터 제공된 초안 보고서에 대한 가혹한 비평과 초안과 최종 보고서 사이에 거의 3년이 지난 점, 그리고 저자들로부터 검토자의 의견에 대응하고 해결하기위해 어떤 조치가 취해졌는지에 대한 중요한 세부 사항의 부재로 인해, 최종 보고서의 독자들의 우려는더욱 증가한다. 급격히 증가하는 세계적인 최근 연구들과 비교했을 때,특히 운전자가 갑자기 나타나거나 발생하는 교통 위험에 대응해야 하는 조건에서 광고판의 주의 산만이 운전자의 성능에 부정적인 영향을미친다는 우려가 점점 더 나타나는 상황에서, 이 연구의 기여와 그로부터 도출된 결론들에 대해 의문을제기할 수밖에 없다. 관련 최신 연구들 (Edquist J. H.,2011), (Herrstedt, 2013), (Divekar G. P., 2012), (Belyusar, 2014)이 출판되면서, 기다려지던 연방 고속도로 관리국의 연구 저자들에게 이들의 방법과 결과를 동료 심사위원들의 의견과 이곳에서 제기된우려사항들을 고려하여 명확하게 문서화할 것을 권장한다.

한 심사위원은 '만약 연방 고속도로 관리국이 이 보고서에서 제기된 문제들을 적절하게 해결할 수 없다면, 과학적 자문위원회와 합리적인 방법으로 이 연구를 다시 할 필요가 있다”라고주장한다. 또 다른 평가자들은 예방의 원칙을 언급했다. 도로와교통 안전에 깊이 관여한 한 명의 평가자는 '만약 과학적 확신의 부족과 안전에 대한 의문이있다면, 대답은 '아니오'여야한다. 야외 광고판 허가와 관련하여 이는 특히 중요한데, 광고판허가는 최소한 10년의 수명을 갖기 때문이다.'라고주장하였다.

참고자료

A Peer-Reviewed Critique of the Federal Highway Administration (FHWA) Report Titled: “Driver Visual Behavior in the Presence of Commercial Electronic Variable Message Signs

이전 다음 목록

담당부서 : 연구조사부 연락처 : 02 · 3274 · 2826 이메일 : yjra@lofa.or.kr

한국지방재정공제회 한국옥외광고센터

정보마당

해외동향

바로가기