“인공지능(AI)과 반도체 경쟁력이 국가전략상 점차 중요해지기 때문에 산업계와 학계 등에 이 분야의 통찰력 있는 리더들이 많이 나와야 한다.”

최근 한국 반도체 산업 위기론이 연일 제기되는 가운데 김정호 KAIST 전기및전자공학부 교수는 23일 기자와의 인터뷰에서 “AI 반도체 전쟁은 각계의 자원이 총동원돼야 하는 길고도 힘든 국가 총력전”이라며 이같이 말했다.

김 교수는 AI용 메모리 반도체인 고대역폭메모리(HBM)에 연산기능을 넣어 첨단 반도체 시장에 내놓으면 가까운 미래에 기회가 마련될 수 있을 것이라고 진단했다. 또 AI 반도체 산업에 필수적인 전력 확보를 위해 당장 지금 장기적인 대책을 세울 것을 촉구했다. 아울러 “과거의 영광을 잊고 1980년대 반도체를 처음 시작할 때의 자세로 돌아가 새롭게 시작하자”고 반도체 산업계에는 제안했다.

김 교수는 KAIST 내에서 글로벌 탑 클래스의 AI 반도체 연구실인 테라랩을 운영 중이다. 테라랩은 대덕넷의 ‘세계 AI 반도체 전쟁’ 해외 기획 취재에 동행했다. 다음은 김 교수와의 일문일답.

― 요즘은  그냥 반도체 보다는 ‘AI 반도체’라는 말을 더 많이 쓰는 것 같다. 왜 그런가.

“AI가 판별형 AI에서 생성형 AI로 변화를 거듭했고 앞으로 10년 이내에 일반AI(AGI·Artificial General Intelligence)가 나올 가능성이 높다고 본다. 생성형 AI는 트랜스포머(문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망) 모델에 기초하고 있다. 이 모델은 쉽게 바뀌지 않을 것 같은데, 엄청난 행렬 계산과 기억 용량을 필요로 한다. 그런데다가 사람들이 그림을 그려달라고 주문하면 1초 만에 그려줘야 한다. 시간과의 전쟁이다. 그런 요구를 몇 백만 명이 동시에 요구 한다 해도 생성해내야 한다. 결국 AI에 대한 경쟁은 서비스 시간과 성능에서 결정이 난다. 누가더 빨리 학습시키고 생성시키는가가 생사를 좌우한다. 그래서 이제 AI 슈퍼컴퓨터가 필요하다. AI가 트랜스포머 모델을 통해 수백만 명에 대한 실시간 서비스를 한다고 할 때, 어마어마한 빠른 속도의 처리 능력을 가져야 한다. 결국은 AI 전쟁인 것인데 그 성패를 좌우하는 것은 반도체이니 AI 반도체 전쟁이라고 일컫는다.”

―‘쩐’(錢)의 전쟁, 돈이 좌우하는 싸움이라고 한다.  

"성능이 좋은 반도체를 구하는 데에는 돈이 많이 든다. 지금까지 공개된 반도체 완전체는 엔비디아의 차세대 AI 수퍼칩 ‘그레이스 호퍼(GH) 200′이다. 엔비디아는 지난해 미국 로스앤젤레스에서 열린 컴퓨터그래픽스 콘퍼런스 ‘시그래프 2023′에서 ‘GH200′을 올해 2분기부터 양산한다고 밝혔다. 가격은 소프트웨어까지 합쳐 1억원을 넘을 것으로 예상한다. 그 다음 세대인 블랙웰은 구하기도 어렵다. 그래도 이 비싼 칩을 구매해 사용하려면 몇년을 기다려야 할 수도 있다. 앞으로 대형 AI 플랫폼 기업들은 기업마다 GPU 100만개 정도는 필요할 것이라고 과감한 예측을 해본다. 이런 기업이 10개라면 엔비디아 매출은 1000조원, 100개라면 1경원이 된다.“

― ’전력(電力) 전쟁‘이라고도 한다. 

“AI가 학습하거나 정보를 생성하는 과정에서 수많은 ‘행렬 계산’을 반복하고 이 과정에서 디지털 2진수 숫자의 덧셈과 곱셈을 끝없이 계속한다. 그 계산 값은 ‘1′과 ‘0′을 반복한다. ‘1′이라는 상태는 전자회로에 전자가 채워진 상태이고 ‘0′은 전자가 비워진 상태이다. 이렇게 전자의 채움과 비움이 반복된다. 이때마다 전자의 흐름인 전류를 공급해야 하고, 그 결과 전력 소모가 발생한다. 디지털 반도체는 본질적으로 전기를 많이 쓸 수밖에 없다. AI의 운명이다. 인간의 뇌는 AI와 비교하면 전력 소모가 훨씬 적다. AI가 유일하게 인간에게 뒤지는 것이 바로 전력 효율이다. 인간의 뇌는 약 20W의 전력을 사용하는 반면 엔비디아 GPU 하나가 700W 이상의 전력을 쓴다. AI 데이터센터의 경우 가히 천문학적인 전력을 필요로 한다.”

― 그럼 무엇으로 그 막대한 전력 수요를 충당해야 하나.

“최근 오픈AI는 2028년경 GPU 280만대가 들어가는 '스타게이트’라는 이름의 첨단 AI 데이터센터를 구축할 예정이다. 여기서 필요로 하는 전력 규모는 5기가와트(GW·1GW는 10억W) 규모이다. 그 막대한 전기는 여러 개의 원자력발전소나 돼야 충당이 가능하다. 그래서 원전 전쟁이 될 수도 있다. 평균적 규모의 원자력 발전소 6기를 새로 지어야 그 전력을 충당할 수 있다. 그래서 우리도 AI 경쟁력을 위해서는 원자력 발전소를 더 지어야 한다. 송전탑도 세워야 한다. AI 반도체 전쟁이 원전 전쟁으로 전환되고 있다.“

― 우리는 계속 원전을 지어 와서 사정이 나은 편인가. 

“아니다. 모자란다. 정부가 경기 평택·화성·용인·이천 등에 622조원을 투입해 세계 최대 규모 반도체 클러스터를 조성하고 있는데 자칫 전기가 없어 돌리지 못할지 모른다는 경고도 있다. 따져보니 AI 데이터센터 하나 당 원전 1개가 필요하다. 2030년까지 5기 정도의 원전을 추가로 지어야 충당이 가능하다. 지금부터 해도 1년에 하나씩 지어야 하는데 그러려면 지금 원전을 지을 땅이나 우라늄이 있는지 살펴야 한다. 원전 건설에서 무엇보다 중요한 건 국민 정서다. 정서적으로 거부감이 심한 원전을 짓기 위해 국민들의 동의를 받아야 한다.”

― 왜 미국과 중국이 반도체로 충돌하나. 

“앞서 말한 대로 AI가 국가 경쟁력을 좌우하는데 AI는 반도체가 좌우한다. 미국과 중국이 그걸 명확히 깨달은 거다. AI와 로봇이 인간의 육체와 정신 노동을 대체할 수 있기 때문이다. 군사와 우주 전쟁에서의 활용도도 높다. 그러니 반도체를 둘러싼 전쟁을 벌이는 거다. 미국이 무역 전쟁에 이어 반도체 전쟁을 시작한 이유다. 코로나19가 한창이던 2021년 미국 바이든 대통령이 백악관에서 ‘반도체 화상 회의’를 열었는데 그 때 그가 손에 들고 나타난 것이 실리콘 웨이퍼였다. 전 세계에 반도체가 우리의 가장 중요한 정책 목표라는 메시지를 전한 것이다.”

― 그 틈바구니에서 우리는 생존해야 하는데 그 전쟁이 얼마나 갈 것 같은가.

“미국과 중국 사이의 반도체 전쟁은 앞으로 30년은 더 갈 것 같다. 100년까지 갈 수 있다. 앞서 말한 전기 전쟁은 20년이 지나면 도래하기 시작할 것 같다. 그 다음으로 30년 뒤에는 바이오 전쟁이 올 것 같다. 우리는 이들 3차 세계대전에 준비해야 한다. 국가의 생존이 달려있다.”

― AI 반도체 전쟁에서 이기려면 한 두 분야만 잘해서는 안되지 않나. 

“한 분야만 잘해서는 안된다. 그걸 기술 스택(Stack)이라고 하는데, 기초과학이 되어야 하고. 반도체 공정이 따라줘야 되고 그 위에 장비 소재, 설계 기술이 있어야 한다. 설계를 잘하기 위해서 AI 슈퍼컴퓨터가 필요하다. 슈퍼컴퓨터는 소프트웨어가 뒷받침 한다. 여기에 컴파일러와 운영시스템(OS), AI 모델, 플랫폼 기업이 올라간다. 결국 스택은 10개 가량 된다. 기초과학부터 서비스 AI 모델까지 다 잘 해야 한다."

― 이를 담당할 인력도, 또 지원할 앞서의 전력과 재원도 필요한 것 아닌가.

 "미국 중국도 그렇게 하고 있다. 우리가 단순한 메모리 반도체 나라가 아니라 AI 반도체 나라가 되려면 소프트웨어, 슈퍼 컴퓨터, AI 서비스 이런 것들까지 다 우리 자체가 생태계를 가져야 한다. 기술 스택을 관통하는 인력이 필요하다. 삼성전자와 SK하이닉스에 절실히 필요한 인력이다. 이들 기업의 최고경영책임자(CEO), 최고기술책임자(CTO)들도 이러한 기술 스택을 관통해야 한다. 그러려면 우리 교육도 변해야 한다. 그렇지 않으면 엔비디아와 TSMC를 이길 수 없다. 결국 국가 총력전이다."

― 한국은 메모리 반도체 강국이다. AI 시대에도 메모리 반도체는 여전히 중요한가.

”과거에는 메모리 반도체가 표준화된 제품이었다. PC라든가 스마트폰 등 모바일 기기에 메모리 반도체가 들어갔는데 그 시장은 점점 내려가고 있는 것으로 보인다. 최소한 더 이상 성장하지 않는다. 이제 하락기에 접어든 범용 메모리 반도체 만을 그대로 제조해서는 안된다. AI 시대에는 고성능 AI 데이터 서버에 들어가는 AI용 메모리를 만들어야 한다. 그래야 지속 성장이 가능하다. SK하이닉스와 삼성전자가 개발해 선보인 ‘고대역폭메모리(HBM)’가 바로 그것이다. 우리는 HBM 시장의 파도를 타고 성장을 해나가야 한다고 생각한다. AI의 성능에서는 앞으로 GPU 보다 HBM이 더 중요해 진다. 폰 노이만 구조의 한계 때문이다. 우리에게 마지막 기회이다.”

― HBM은 어떤 기능을 한다고 이해하면 좋은가.  

“AI는 빠르게 시행착오를 거치며 학습한다. 그러려면 연산 속도만큼 빠르게 데이터를 저장하고 뽑아 쓸 수 있어야 한다. 그런데 아무리 많은 용량의 데이터를 저장하더라도, GPU의 연산 속도를 따라갈 만큼 데이터를 GPU에 전달하지 못하면 데이터 ‘병목 현상’이 발생한다. 그 병목 현상을 해결하기 위해 데이터 이동 고속도로의 도로폭을 넓히고 다층으로 구성한 것이 HBM이다. 일반 D램이 16~64차선이라면 HBM은 1024차선 이상이고 D램도 여러 층으로 쌓아 올린다. 이것이 HBM이다. HBM4에서는 2048 차선이 사용된다. 미래에는 몇 만개의 차선이 사용될 것이다. HBM은 이 문제를 해결해 준다. 한 번에 모든 것을 이해할 수 있는 뇌가 있어도 내용을 빨리 읽는 눈이나 책장을 빨리 넘길 손이 없다면 소용이 없다. HBM은 민첩한 눈과 손처럼 방대한 자료를 빠르게 GPU에 넘겨준다. 그래서 HBM이 들어간 GPU 반도체 세트를 ‘AI 가속기’라고 부른다.”

― HBM은 현재 누가 잘 하고 있나.

“HBM은 2013년 SK하이닉스가 세계 최초로 개발했다. 현재 SK하이닉스, 삼성전자, 마이크론 순으로 잘 하고 있다. 그런데 그것도 잠시 방심하면 끝이다. 치열한 경주에서 발목이 삐끗하면 언제든지 순서가 바뀔 수 있다. HBM 4. 5를 넘어가면서 우리가 그런 위기를 겪을 가능성이 있다고 생각한다. HBM4 부터는 GPU와 HBM 의 경계가 무너진다. 이제 주문형 반도체가 된다. 파운드리와 페키징 기술이 더욱 중요하다. GPU와 HBM 사이에 총성없는 전쟁이 벌어진다. GPU  기업과 메모리 기업간의 AI 반도체 주도권 싸움이 일어날 것으로 예측한다.”

― HBM의 시장 전망은 어떤가.
“HBM 시장은 점차 커지고 있다. 2020년 ‘챗GPT’ 같은 생성형 AI가 등장하면서 더욱 빠른 성장세를 보이고 있다. SK하이닉스는 HBM의 성능과 용량을 지속적으로 향상시키고 있다. 메모리와 비메모리 반도체의 거리를 좁혀 데이터 운반 효율성을 높이겠다는 전략을 구사하고 있다. SK하이닉스는 올해 3분기에 최고 12단(지금은 최고 8단) ‘HBM3E’를 양산할 계획이다. HBM4에서 SK 간단한 연산(비메모리) 기능의 반도체를 놓는 HBM4 양산도 멀지 않았다. HBM4의 주도권을 둘러싼 SK하이닉스와 삼성전자 간의 두번째 경쟁이 예상된다.”

― 교수님을 ‘HBM의 아버지’라고도 한다. 앞으로 어떤 식으로 발전시키면 부가가치를 높일 수 있나. 

“저는 HBM 반도체의 맨 하단에 베이스 다이(Base Die)라는 로직 반도체가 있는데 그걸 GPU로 사용하자는 제안을 하고 있다. 그 베이스 다이에서 AI 계산 기능과 반도체 사이의 통신 기능을 집어 넣자는 것이다. 그렇게 하면 HBM 중심으로 AI 연산이 가능할 수 있을 것으로 본다. 이를 HCC(HBM Centric Computing) 이라고 부른다. 이렇게 되면 HBM이 AI 계산의 중심이 된다, GPU와 HBM을 합쳐보자는 주장이다. 욕심을 부린다면 HBM과 같은 메모리 반도체에 연산 기능까지 넣는 방안을 생각해볼 수 있다. 즉 GPU의 기능을 거기에 넣자는 거다. 그러면 그게 시스템 반도체가 되는 거다. 그러면 우리는 시스템 반도체로 갈 수 있다."

― 엔비디아는 6월에 세계 시총 1위에 오르기도 했는데, 무얼 잘해 지금 'AI 반도체의 황제'로 등극한 건가.

“엔비디아의 첫 번째 경쟁력은 독보적인 GPU에 있다. 초창기 PC는 굼뜬 2차원 영상 세계만 구현했다. 그 무렵인 1993년 태동한 신생 회사 엔비디아는 컴퓨터 게임 용도로 적합한 GPU로 틈새시장을 노렸다. 엔비디아의 GPU는 복잡한 3차원 이미지를 자연스럽게 구현해 내고자 엄청나게 많은 고속 병렬 계산을 해내야 했다. 이게 진화를 거듭해 생성형 AI 반도체 시대의 주인공이 됐다. 기초 수학이 같기 때문이다. 여기에 쿠다(CUDA)라는 소프트웨어를 개발해서 제공하고 있다. 요즘은 슈퍼컴퓨터도 만들고 있다. AI 토탈 솔루션 기업이다."

― 엔비디아는 앞으로도 거침없이 잘 나갈 거라고 보나.

“엔비디아가 어려움을 겪는다면 독주를 막기 위한 경쟁자들의 도전 보다는 자본이 너무 많이 들어가는 AI 산업의 특성 때문일 수 있다.  AI 산업은 100조, 1000조의 천문학적 비용이 소요된다. 하지만 수익률은 현재 그 만큼 나오지 않는다. 이렇게 수익이 시원치 않은 상황이 계속된다면 투자가 끊겨 AI 산업의 냉각기가 2~3년 후 찾아올 수 있다. 경쟁자보다는 그게 더 엔비디아에게 위협 요소가 될 수 있다.”

― 엔비디아가 독주하는 AI 반도체 시장에서 우리가 기회를 찾아야 할 텐데.

”현재는 슈퍼컴퓨터 시장의 80% 이상을 엔비디아가 독점하고 있다. 하지만 앞서 말한 데이터 병목현상이 점차 심해지는 만큼 마이크로소프트나 메타, 구글 같은 기업들은 다른 제품을 쓰는 방안을 고민하는 것으로 안다. 이 때 우리가 틈새를 파고들어야 한다. 생성 전용 반도체를 개발하고 있는 국내 스타트업 기업들도 기회가 올수 있다. 또 하나의 기회는 엔비디아의 최신 제품인 블랙웰이다. 그 블랙웰에 HBM4가 현재 들어가는데 HBM 5, 6이 공급될 때 연산 기능을 넣은 제품을 만들어 우리의 영향력을 확대해야 한다. 그 제품을 마이크로소프트나 구글이나 메타가 쓰지 않으면 안 되도록 만들면 엔비디아의 영향력이 줄어들고 우리 입지가 커질 것이다.“

― KAIST가 인텔과 협약해 공동 연구를 하고 있는데 엔비디아의 독주를 막기 위한 건가.

“엔비디아를 벗어나 새로운 AI 반도체 생태계를 만들려고 한다. 새로운 시도를 해보는 셈이다. 지난 5월 1일 대전 KAIST 본원에서 'NAVER-intel-KAIST AI 공동연구센터(NIK AI Research Center) 개소식이 열렸다. 인텔이 엔비디아 독주를 저지하고, 그리고 엔비디아-TSMC-SK하이닉스 동맹에 대항하기 위해서다. 인텔의 AI 가속기 가우디(Gaudi)를 이용한 새로운 생태계를 만들려고 한다. AI 반도체 연구 역량을 지닌 한국 최고의 대학 연구진과 손잡았다. 7월 4일에는 NIK AI 공동연구센터 킥오프 워크숍을 열어 공동 연구를 본격화 했다. KAIST, 서울대, 포스텍 등 3개 대학에서 22개 과제를 수주했다. 가우디를 이용해 AI 모델도 효과적으로 개발하고 이에 필요한 최적화 소프트웨어도 개발하고 있다.”

― 공동 연구에서 어떤 가능성을 보고 있나.

”엔비디아의 독점에 균열을 내는 방법 가운데 다른 하나는 인텔 가우디나 AMD의 MI300X를 활용하는 것이라고 생각한다. 인텔이 KAIST와 협약을 맺어 우리 연구실에서도 가우디를 써보고 있는데 연구자로서는 만족한다. 하드웨어 성능이 엔비디아에 못지않다. 일반인 누구나 쉽게 쓰게 하려고 네이버하고 특정한 환경에서 시험을 해보고 있다. 누구나 쉽게 쓰게 하려면 쿠다 같은 소프트웨어가 있어야 한다. 그리고 최적화 과정이 필요하다. 인텔이 KAIST 등 참여 대학과의 공동 연구를 통해 그 소프트웨어를 개발하려 한다.“

― 최근 반도체 위기론이 팽배하다. 우리가 이런 어려움을 겪는 근본적인 원인이 뭐라고 생각하나.  

“우리는 일본이나 미국이 해왔던 것을 받아들여 값싸게 빨리 생산해 여기까지 왔다. 그렇다 보니 제품을 먼저 설정하고, 먼저 설계해 본 적이 없다.  PC를 우리가 먼저 설계한 건 아니지 않나. 반도체의 하드웨어와 소프트웨어 모두 인텔과 마이크로소프트가 정한 대로 따라간 거다. 스마트폰도 애플과 구글이 먼저 한 거 였다. AI는 전혀 새로운 개념이고 새로운 소프트웨어와 알고리즘, 시스템, 아키텍처를 필요로 한다. 그렇다 보니 우리는 지금 헤매고 있는 거다. 남들이 해놓은 것을 빨리 받아들이는 패스트 팔로어(fast follower) 전략의 용도는 끝났다. AI 시대에는 그런 전략으로 경쟁에서 이길 수 없다. 그건 이제 중국이나 대만, 또는 인도가 더 잘한다. 기업 문화도 교육  문화도 다 바뀌어야 경쟁력을 가질 수 있다.”

― 외국의 반도체 기업들은 어떤가.  

“AI 시대에 시대적으로 새롭게 필요한 분야를 잘 알고 있는 사람이 엔비디아의 젠슨 황 CEO였다. 그의 스피치를 들어보면 결코 누가 써준 원고를 읽는 것이 아니라는 것을 알 수 있다. 반도체 시대의 리더는 반도체만 알아서는 안된다. 사회 전체와 기술 전체에 대한 통찰력을 가진 사람이 리더가 돼야 한다. 반도체와 소프트웨어, 알고리즘, 아키텍처, 서비스까지 다 이해해야 한다. 남이 만들어놓은 걸 이해하는 것이 아니라 미래를 예측하고 설계할 수 있는 사람이어야 한다. 그런 리더들이 산업체, 대학 등에 있을 때 비로소 세계적인 반도체 경쟁력을 가질 수 있다. 우리와 같은 암기식 교육 시스템에는 그런 사람을 키울 토양이 없었다.”

―엔비디아의 급속한 성장은 생성형 AI의 부상에 있었다. 어떤 사람들은 그게 행운 아니었냐고 말한다. 젠슨 황 엔비디아 최고경영자(CEO)는 이 물음에 “That was luck by the vision(비전에 기반한 행운)"이라고 답한 적이 있다.  

“저는 행운 반, 실력 반이라고 생각한다. 엔비디아가 GPT와 같은 생성형 AI의 출연은 예측하지는 못한 것 같다. 하지만 누구 뭐래도 AI 시대에 가장 적합한 반도체라는 GPU를 계속 만들어왔던 것, 2010년부터 SK하이닉스하고 지금은 AI용 반도체라 불리는 HBM을 준비해온 것이 시장에서 적중했다. 쿠다(CUDA)라는 소프트웨어를 자체 개발해 누구도 넘보지 못할 생태계를 만들어 고객들이 빠져나가지 못하게 하는 전략은 주효했다. 그런 오랜 준비가 있었기에 성공했다. 앞서 GPU를 게임기 용도로 만들면서 수학적 방식을 풀이에 적용하기도 했다. 생성형 AI가 부상하기 전에 가상화폐가 유행했는데 행렬 계산으로 접근하는 채굴로 돈을 벌었다. 수학은 기본적으로 선형대수 수학이다. 공통적이다. 이런 수학 때문에 컴퓨터의 패러다임이 직렬형에서 병렬로 바뀌고 프로그램에서 수학 계산이 더 중요한 시대로 바뀐다는 점을 예측한 것이 맞았다. 준비됐기 때문에 행운을 맞이할 준비가 돼 있었다.”

― 인텔의 회생 가능성은 어떻게 보나.

“앞서 가우디가 만족스런 수준이라고 얘기했는데 우리는 연구기관이지만 마이크로소프트나 메타, 구글 같이 초 단위로 경쟁하면서 좋은 제품이나 서비스를 내놓아야 하는 회사들은 입장이 다를 수 있다. 그래서 당장 성능이 우수한 블랙벨(엔비디아가 내년 초 출시를 예고한 신제품) 구매할 수밖에 없는 거다. 인텔의 가우디를 아직 안 쓰는 또 다른 이유는 인텔의 파운드리가 TSMC보다 성능이 안 나오기 때문이다. 저는 인텔한테 나름 호감을 갖고 있긴 한데 그 조직문화가 정체됐다는 얘기를 듣는다. 다만, KAIST와 협약을 맺어 공동연구를 추진하는 팀은 소통과 협력이 매우 만족스럽다. 인텔도 이러한 위기를 극복해서 엔비디아와 제대로 경쟁하면 좋겠다.”

― 미국이 다른 나라의 반도체 제조 시설도 국내로 불러들이고 있다. 그래서 인텔이나 마이크론은 절대 포기하지 않을 거라고 한다.  

“미국 정부가 메모리 반도체 세계3위인 마이크론을 포기하지 않을 거다.  인텔에 대한 대규모 투자도 예고하고 있다. 둘 다 포기하지 않을 것 같다.”

― 빅테크들이 이제 자체 AI 반도체를 개발에 나서고 있다. 제품의 최종 생산자이기 때문에 최적화된 반도체를 만들어내는 데 유리할 것 같다.

“현재의 판도 변화까지는 가져오지 못할 것 같다. 엔비디아가 가진 기술력은 대단하다. 더 큰 장점은 그런 기술들을 다 내재화 하고 있다는 점이다.엔비디아는 GPUDHK HBM 사이를 연결하는 광통신 기술까지 보유하고 있다. 빅테크나 클라우드 사업자들이 자사의 반도체 비율을 높이려는 노력은 한번씩 해보는 것 같다. 테슬라도 그렇고 메타도 그렇다. 하지만 엔비디아를 위협할 수준은 아니라고 본다. 엔비디아 중심으로 반도체 시장이 돌아가는 상황은 최소한 2~3년은 더 유지될 것 같다. 현재 트랜스포머 모델이 중심이라고 했는데 새로운 모델이 나온다든가 또는 더 이상 마이크로소프트나 구글이 투자를 하지 않거나 전쟁이 발생해 AI 산업에 불황이 찾아온다면 엔비디아도 휘청거릴 수 있다.”

― 최근에는 구글의 TPU를 애플이 사주기도 했다.

“구글이 자체적으로 반도체 TPU(Tensor Processing Unit)를 만드는데 그걸 대량 생산하려고 하면 자본과 인력을 많이 투입해야 할 거다. 구글 같은 빅테크들은 자기들이 잘하는 거에 더 집중하지 않을까 하는 생각이 든다. 엔비디아의 반도체는 모델이 바뀌고 새로운 서비스가 나와도 그걸 순식간에 적용시켜줄 수 있는 쿠다(CUDA)라는 소프트웨어가 있다. AI 데이터센터를 만들려면 GPU와 GPU를 광통신으로 연결을 해야 한다. 280만대의 GPU를 서로 연결하려면 통신도 있어야 하고 소프트웨어가 있어야 한다. 내가  구글 사장이라면 엔비디아의 제품을 70~80% 쓰고 의존도를 줄이기 위해 자체 반도체는 20~30% 정도 쓸 것 같다. 엔비디아의 반도체를 100% 대체를 하려면 총력을 쏟아 엔비디아하고 경쟁을 해야 하는데 그런 힘겨운 게임을 할까 싶다. 그 자본과 시간을 유튜브나 AI 서비스, 클라우드 서비스에 투자해 돈을 더 많이 버는 게 낫다고 판단하지 않을까 싶다.”

― 칩4(CHIP4) 같이 미국이 추진하는 동맹을 우리가 참여해야 하나. 경제의존도가 높은 중국과는 적대적인 관계에 놓일 수도 있다.

“당연히 참여해야 한다. 반도체 전쟁은 태평양 세력과 대륙 세력 간에 벌어지고 있다. 나는 이를 ‘신 애치슨 라인’이라고 표현하는데 과거의 애치슨라인에 없던 한국과 대만이 거기에 포함돼 있다. 반도체 전쟁은 또 한편으로 해양세력인 자본주의-민주주의 진영과 대륙세력인 공산주의-사회주의 진영의 대결 구도다. 우리는 이념적으로 자본주의-민주주의 진영이므로 미국하고 같이 가야 한다. 경제 동맹도 맺어야 한다. 경제적인 입장에서 가장 중요한 것이 반도체니까 CHIP4 동맹에 참여해야 한다. 미국 입장에서는 한국의 메모리 반도체 없이도 무얼 해낼 수 없는 정도는 아니다. 하지만 우리는 군사적, 경제적, 정치적으로  상당히 불안해진다. 우리는 애치슨 라인이 무너지면 경제적, 정치적으로 상당히 불안해 진다.”

― 마이크론은 메모리 분야에서 삼성전자나 SK하이닉스에 이어 3위다. 미국에서는 정책적으로 지원한다. 마이크론이 한국의 반도체 기업들을 뛰어넘을 가능성이 있다고 보나.

“400m 계주하고 비슷하다. 바통을 터치하는 변화의 시기에 자칫 잘못하면 순위가 바뀐다. 사소한 일로 바통을 떨어뜨리거나 넘어지거나 하는 실수를 범할 수 있다. 1등을 유지하는 것은 늘 쉽지 않다. 메모리 산업은 한반도에 사수해야 한다.”

― 미국의 반도체 회사들은 이렇게 마이크론을 선호한다고 한다. 뭔가 아이디어가 생각나서 구현해 보려 할 때 협업하기 좋다고 한다. 언어적으로나 문화적으로도 편안하게 느끼기 때문이다.

“엔비디아 하고 TSMC의 사이가 좋은 것도 CEO가 같은 대만계라는 점에도 이유가 있지 않겠나 싶다. 엔비디아를 추격하고 있다는 AMD(Advanced Micro Devices)의 리다 수 CEO도 대만계다. 그런 걸 보면 우리는 좀 외로운 전쟁을 하고 있다.”

― 미국이 반도체 법으로 규제를 하려는 핵심 타깃은 중국일 텐데, 이런 규제가 중국에 실제적인 피해를 주고 있다고 보나.

“AI 산업에서 보면 중국은 미국의 흉내를 내는 정도다. 이제 길고도 먼 AI 전쟁이 시작됐다고 보는데 일단은 미국이 우선권을 갖고 있다.”

― 이런 상황에서 중국이 AI와 반도체에서 독자적인 길을 가겠다 이렇게 선택할 것인가. 

“미국이 규제를 강화하기 때문에 독자적인 길로 갈 수밖에 없는 것 같다. 이미 독자적인 길을 걸으면서 미국에 도전하기로 마음먹은 것 같다. AI 패권, 무기 패권 모두 많은 부분이 반도체에 달려있다. 그런데 쉽지 않아 보인다. 반도체와 AI  수퍼컴퓨터 분야에서 원천 기술이 부족하기 때문이다.”

― 그동안에 여러 산업 분야에서 미국이 중국 규제 정책을 폈지만 결국 성공하지는 못했다는 평가도 있다. 

“제조업은 그럴지 모르겠는데 AI 반도체는 상황이 다를 수 있다. 기초과학이 중요하고 창의성이 요구되며 속도전 인 데다 자본도 많이 필요해 중국이 극복하기 어려울 듯 하다. 중국도 1~2년 내내 따라잡겠다고 생각지는 않을 거다. 30년, 이렇게 길게 보고 자신의 길을 갈 것 같다.”

― 양자 컴퓨팅이 의외의 판도 변화를 가져올 수 있다고 보는 사람들도 있다. 원자 레벨로 갔을 때는 또 다른 학문이 중요해 지나.

 “현재 컴퓨터는 2진수 계산을 할 때 반도체 논리회로를 이용해 시계(clock)에 맞추어 순차적으로 수행한다. 논리회로 여러 단계를 거쳐야 계산 결과가 나온다. 여기서 또 시간이 지연되고 전력이 소모된다. 그래서 미래 AI 컴퓨터는 단 한 번 논리 단계로 AI 계산을 수행하는 컴퓨터 구조가 필요해진다. 이를 위해 '양자 컴퓨터'가 개발되고 있다. 양자 컴퓨터는 0이나 1인 비트(bit)와 달리 큐비트(quantum bit)를 사용한다. 데이터가 '0'이면서 동시에 '1'이 될 수 있는 중첩(superposition)의 상태다. 기본적으로 한 번에 한 단계씩 계산이 이루어지는 기존 컴퓨터와 달리 양자 컴퓨터는 모든 가능한 상태가 중첩돼 얽힌 상태를 이용해 단 한 번의 조작으로 모든 계산을 한다. 포켓볼로 치면 기존 컴퓨터가 한 번에 공 하나만 구멍에 넣을 수 있다면 양자 컴퓨터는 한 번에 공 6개를 다 구멍에 집어넣는다.”

― 반도체 산업에는 어떤 영향을 미치나,

" 양자 컴퓨팅도 명령을 내리고 기록하는 장치는 반도체다. 결국 반도체 성능이 좋아야 한다. AI 시대에 그 계산 행렬 계산을 GPU하고 HBM이 한다. 계산만 빨리 하지 그것도 반도체의 한계를 갖는다. 양자 컴퓨터가 현재 AI 구도를 완전히 판도를 뒤덮을 수 있는 그런 건 아니라고 생각한다. 암호 해독에 뛰어난데 그건 1시간 만에 풀어도 되지만 AI는 실시간으로 서비스를 해줘야 한다. 양자역학은 기본적으로 사이언스 축이다. 전자공학하고 다르다. 그러니까 공학적인 측면보다는 아직 과학의 측면이 많다. 공학적 측면이라는 거는 값싸게 언제나 동작하고 누구나 쓸 수 있어야 되는데 양자역학은 아직은 조금 과학에 가깝다. 조금 더 많은 연구와 시간이 필요하다. 소프트웨어도 필요하다. 냉각도 해야 한다. 하지만 인류의 또 다른 미래의 혁신은 양자컴퓨팅에서 올 수 있다. 기초 연구를 계속해야 한다”

― 미세 공정은 이제 한계에 이르렀다고 보나.
 
“1나노미터(nm) 미만으로는 내려가기 어려울 거다. 양자역학의 불확실성 이론 때문에 디지털과 맞지 않는다. 그렇다면 미세공정 경쟁은 거의 끝에 가까워진 것으로 보인다. 무어의 법칙이 끝나가고 있는 것이다. 이제는 속도를 높이고 용량을 높이기 위해서 위로 쌓아야 된다는 게 저의 주장이다. 이를 3차원 반도체라고 부른다. 이제 패키징이 기술 경쟁력을 가른다. 옆으로 줄이는 데 한계 있으니 위로 쌓자는 것이다. 그게 HBM이다. 패키지에서는 신뢰성이 또 다른 도전이다. 이를 전문 용어로 신호 무결성(Signal Integrity), 전력 무결성(Power Integrity), 열적 무결성(Thermal Integrity)이라고 부른다. 다시 기초 기술이 중요해 진다.” 

― 반도체 경쟁에서 사실 우리는 일본을 다소 대수롭지 않게 생각하는 경향이 있다.  

“일본이 강한 건 반도체 소재·장비 쪽이다. 그 쪽으로 이미 특화됐다고 봐야 한다. 일본의 소재·장비없이 반도체를 생산할 수 없다. 일본의 소재 및 장비기업들과 윈윈 전략으로 접근해야 한다. 일본은 메모리나 시스템 반도체, AI 반도체를 하려고 TSMC 공장을 유치했다.”

― TSMC는 지금 거의 비교를 허용하지 않는 파운드리의 황제다. 우리가 배울 점은 뭔가. 

“명·청시대와 비교할 때 인텔이 명나라라면 엔비디아는 청나라다. 명나라만 보고 유교와 주자학 받아서 조선시대를 살았는데 갑자기 세상이 바뀐 거다. 임진왜란이 일어나고 청나라 오랑캐가 지배하는 세상이 된 거다. 우리는 아직도 주자학을 공부하는 분위기다. 반면 대만은 세상이 변화하면 확  거기에 맞춰 바꿔버리는 분위기인 것 같다. 매우 실리적이고 변화에 적극적이다. 인터넷에서 AI로 변해 엔비디아 세상이 됐다. TSMC는 좀 변화에 훨씬 유연하게 대응했다. 우리 파운드리 사업도 고객중심으로 기술 개발, 마케팅, 조직관리가 바뀌어야 한다. 고객 중심 기업으로의 전환이 필요하다. 기술자들도 고객사들과 친구가 되고 고객사를 자기 집처럼 드나들어야 한다. 세계의 변화를 통찰하고 주도할 수 있어야 한다.”

― 당분간 TSMC를 따라가기는 어려운 건가.

“대만이 국가적으로 밀고 우수 인력을 많이 투입한다. 유연하고 고객 중심적인 문화를 조성하도록 독려한다. TSMC는 애플하고 일할 때도 잘한다. TSMC는 고객이 뭘 원하느냐에 초점을 맞춘다. 우리도 바뀌면 추격할 수 있다.”

― 미국 실리콘밸리에 가보니 정보기술(IT) 업계의 핵심 리더는 인도와 중국사람들이다. 엔비디아의 젠슨 황 CEO와 AMD의 리자 수 CEO 역시 대만 출신이다. 한국인 리더는 보이지 않았다. 

“영어의 문제가 하나 문화의 문제인데 우리는 엔지니어링은 잘하는데 보다 사회적이 되고 좋은 의미의 정치를 하는 데는 약하다. 제자들이 미국 회사에 많이 진출해 있는데 시간이 나면 고객사들과 만나고 식사하고, 신용을 쌓으라고 한다. 그게 생각대로 되지는 않는 모양이다.”  

― 삼성전자 위기론으로 한국 반도체를 되돌아 봐야 한다는 목소리가 많다. 어떻게 극복할 수 있나. 

“저는 이렇게 변화를 제안한다. 제일 먼저 기초를 튼튼히 하고, 기술 스택 전체와 소프트웨어 부분의 기술력과 인력을 보완하자고 주장한다. 그리고 이러한 초특급 인재를 길러내야 한다. 그리고 일하는 방식에서 소통과 협력의 문화를 구축해야 한다. 특히 부서간 또는 팀간 칸막이를 없애고 서로 존중하고 협력하는 문화를 만들어야 한다. 그리고 고객 중심 문화가 필수적이다. 고객이 왕이라는 생각을 가져야 한다. 더 나아가 기술개발과 인력 육성에 장기적인 계획을 세우자고 주장한다. 단기간에 경쟁력을 쌓을 수 없다. 경우에 따라 3년 혹은 10년이 걸린다. 최소 10년 이상 장기 계획하에 기술개발과 인재 육성이 진행되어야 한다. 그리고 단기적인 성과를 바라거나 평가하지 말자고 제안한다. 이제 우리는 빠른 추격자를 넘어서 선도자가 되기 위해서는 미래에 대한 불확실한 위험을 무릅쓰고도 도전하는 정신을 구축하자. 이런 자세의 기술자들을 우대해야 한다. 마지막으로 인공지능을 기회라고 생각하고 과감히 투자해야 한다. 1980년대 반도체 산업을 처음 시작했듯이 이제 처음부터 다시 시작하는 자세로 하면 반드시
성공할 수 있다. 과거의 성공 신화를 버리고 기업, 학교, 국가 모두 새출발하면 좋겠다.”

AI CHIP WAR 10회 가운데 <1부 미국·유럽 편> 을 마치고, <2부 동북아 편> 연재할 계획입니다. 대만(tsmc), 중국, 일본, 한국으로 이어집니다.

※대덕넷(HelloDD)의 'AI 반도체 전쟁' 기획 시리즈는 한국언론진흥재단의 기획취재 지원사업을 받아 추진됐습니다.