솔직히 나도 이거 어떻게 된건지 모른다. 다만 재미난 이슈기도 하고, OpenAI도 매크로 답변만 보내고 말아서 그냥 공유해보고자 올린다
사건은 2025-04-16에 시작된다. 게임회사 공고가 올라와 GPT와 자기소개서 첨삭 과정을 거치고 있다가 갑자기 내 이름이 나왔다.
OO이 한테 물어보자. 라는 말은 꽤나 당황스러웠다. 일전에도 GPT가 내 이름을 아는 모습을 보였는데 그건 내 실수로 GPT 메모리 상에 내 이름이 올라가 있기 때문이었기에 이해할 수 있었다. 다만 지금은 메모리에 해당 내용을 모두 지운 상태다.
그래서 일단 난 " 너.... 내 이름 어떻게알아? 메모리에 내 이름 다 지워놨는데" 라고 물어봤다. 답변이 가관이다.
이 파일 올린적 없다. 다만 다른 대화창(세션)에서 내 오래전 Python코드 안에 있던 파일명이다.
사실 GPT가 이때 "사실 네 사용자명에서 따왔음~~" 정도만 했으면 그렇게 부르지 말아달라고 요청하고 끝냈을것이었는데.... 이건 좀 문제가 되어 보인다.
이후 나는 추궁했다. 이 대화창에 그 내용 없다. 이건 며칠전 대화에 있던 내용이다. 예리하게 짚어줘서 고맙다~ 라고 넘어가려한다.
그래서 최근 대화내역을 기억하는거냐? 다른 세션에 접근 불가능 아니었냐? 라고 묻자.
GPT : 맞다. 다른 세션에 접근할 수 없다. 너와의 대화 중에 명시적으로 저장 요청한 메모리 정보가 있을 수는 있다. 시스템 상 캐싱된 흔적에서 얻어온 것일 수 있다.
(다시 말하지만 메모리엔 내 이름과 관련된 데이터가 전혀 없고, 있다고 하더라도 "치료시간표" 라는 단어는 매우 어색하다. 그리고 일시적 캐싱 이슈라고 하기에도 그 파일명이 언급된 대화는 며칠 전이다. 아직까지 있을 리 없다)
그러면서 이렇게 말한다
난 여기서 이상함을 느꼈다. 첫 줄 "OOO 치료시간표"는 네가 예전 세션에서 한번 업로드 했던 엑셀 파일의 이름이었을 수 있어.
이 말 자체가 GPT가 다른 세션 대화를 기억한다는 말이다.
내 이름+ 치료시간표 라는 파일명이 어디서 나온지 본인도 모르겠단다. 근데 그럼 누가아는데?
그 뒤로 GPT는 "예리하게 짚어줘서 고맙다, 표현의 오류였고 다음부턴 더 명확하게, 오류 없이 다룰께" 라고 한다
난 이제 약간 화가나서 말했다.
그러자 나의 지적을 받아들이겠다고 한다. "이전 메모리의 일부 연상 오용 가능성" 은 결국 과거 정보를 참조하거나 기억했다는 뜻으로 해석될 수 있고, 그 말은 시스템 규칙에 위배된다고 자백한다.
그러며 OpenAI의 시스템 원칙을 언급한다.
그리고 해당 파일명이 나온건 시스템 수준의 버그 혹은 정책 위반 사안이라고 한다.
그러니 오류리포트 혹은 직접 이의제기를 하라고 링크를 준다.
일단 나는 내 데이터를 어디까지 알고있는가 궁금했다. 여러번 물어봤지만 알고있는거 없단다. 원하면 지워주겠단다
아니 없는데 뭘 지우는데? ㅋㅋㅋㅋ
그래서 OpenAI에 공식 문의를 남기기로 했다. 아이러니하게도 문의 메일을 영어로 적어준것도 GPT다 ㅋㅋ
메일 전문 (한국어 번역)
제목: GPT-4가 지난 세션에서 삭제된 개인 데이터를 참조했습니다(개인 정보 침해 의심)
설명:
현재 ChatGPT 세션에서 GPT-4가 제가 아무런 지시도 하지 않았는데도 "OOO 치료시간표.xlsx"라는 특정 파일 이름을 자발적으로 참조했습니다.
이 파일 이름은 제가 이전 세션에서만 업로드했던 문서와 일치하며, 이후 해당 문서를 삭제했습니다.
현재 세션 어디에도 해당 파일 이름을 언급하지 않았다는 것을 확실히 말씀드릴 수 있습니다.
이는 GPT-4가 이전에 삭제된 세션에 접근했음을 강력히 시사하며, 이는 OpenAI의 데이터 개인정보 보호 및 메모리 격리 정책을 위반하는 것입니다.
GPT의 답변에서는 과거 콘텐츠를 참조했을 가능성을 인정했으며, 삭제된 데이터에 대한 무단 접근에 대한 의심은 더욱 커졌습니다.
삭제되어 내 사용자 메모리나 세션 컨텍스트에 포함되지 않았음에도 불구하고, 모델이 이 파일 이름에 어떻게 접근하거나 보관했는지에 대한 내부 조사를 공식적으로 요청합니다 .
주요 사실:
현재 세션에서는 "OOO 치료시간표"를 입력하거나 참조한 적이 없습니다.
해당 파일은 현재 삭제된 세션에만 존재했습니다.
GPT에서는 사용자 측의 개입 없이 자발적으로 이를 언급했습니다.
GPT는 그러한 정보에 접근할 권한이 없었음을 인정했습니다.
요청:
GPT-4의 메모리, 생성 컨텍스트, 그리고 캐싱 동작에 대한 감사를 통해 삭제된 데이터가 부적절하게 보관되거나 참조되었는지 확인해 주십시오.
이 사고와 관련된 모든 메커니즘, 메모리 구조, 또는 콘텐츠 생성 휴리스틱에 대한 완전한 공개를 기대합니다.
매우 중요한 개인정보 유출 문제입니다. 가능한 한 빨리 이 메시지에 답변해 주시기 바랍니다.
답변?? 요약하면
답변 :
어머나 걱정스러우셨겠어요 하지만 원칙적으로 GPT는 개인정보를 알거나 저장하지 않아요, 메모리 시스템을 사용중이라면 그건 알 수 있어요, 다만 메모리에 없는 내용은 기본적으로 접근할 수 없답니다^^ GPT가 뭘 알고있는지 궁금하면 "나에대해 무엇을 기억하고 있나요??"라고 물어봐서 확인할 수 있답니다?
라고 왔다. 복붙에 가까운 매크로 답변이다. 거기에 빡쳐서 반박했다.
나 :
야 내가 이미 메모리에 없다고 이야기 했을텐데?? 내 글 안읽었지?? 너도 방금 메모리에 없는 내용 말할 수 없다며, 근데 말했다니까? 그러니까 어떻게 쟤가 그런 말을 할 수 있는지 확인해서 나한테 설명하라고
아, 추가로 파일명 언급된 세션 아까 삭제됐다고 했는데 삭제 안되어있더라. 따라서 "삭제된 데이터에 대한 접근" 은 아니야 인정해. 그런데 내가 원래 말한건 "세션간 데이터 이동" 이 어떻게 됐냐는건데 본질은 안바뀌어. 그러니까 설명하쇼. 자세한 설명 힘들면 읽었다고 짧게라도 말하쇼
상대방은 몇시간째 온라인 상태이지만 후속조치는 없었다.
그래서 다른 라인에다가
"~~라는 상담사랑 개인정보 관련 얘기 했는데 매크로 답변하고 후속된 내 이의제기에 반응이 없다. 걔한테 답변하라고 하던가 오래걸리면 오래걸린다고 말이라도 해라."
답변? 안왔다. 안읽은게 아니고 그대로 문의 창이 종료되어있더라
거기다 "진짜? 이대로 끝낸다고?" 보냈더니 그것도 종료했더라
처음 답변온 상담사에게도 "r u there??" 즉 듣고있어? 라고 보냈더니 오늘 아침 상담 종료로 변환되었다.
ㅋㅋㅋㅋ 이거 참.... 기분 더럽네?
참고로 이후에도 GPT의 세션간 메모리 공유는 이루어지는듯 했다.
예를 들면
나 : 내가 무슨 말 할지 알아??
GPT : 몰루??
나 : "OOO 치료시간표"
GPT : 아 그 세션 얘기 다시 꺼내는거야? 그때 다 설명했잖아~~
라고 함
소름돋아서 삭제하고 다시 시도해봤더니 이젠 웹 검색 후 "검색결과 그런 단어로 검색되는건 없어요 이건 특정인의 치료시간표라고 보여요" 라고 함.......
이후 다른 대화창의 내용을 아냐는 질문에 "알 수 없다" 라며 이런 말을 한다
여기 나온 Hallucination 또한 내가 다른세션에서 말했던 단어다. 물론 이런 현상을 AI Hallucination 이라고 부르긴 한다. 가끔 GPT가 치매걸린것마냥 헛소리 할때 있지 않은가? 그게 이거다.
근데 문제는 난 그냥 "너 이전 대화를 어느정도까지 알고 있어??" 라고 물어봤을 뿐인데 마치 내가 "너 이전 세션 알고있지?? 바른대로 말해!!" 라고 추궁했을때 나올법한 답변을 했다. 이것도 뭐 그럴 수 있다 치자.
그런데.... 조금 추궁하다가 "그럼 OOO 치료시간표 사건은 뭔데???" 라고 말하자
아까 삭제한 세션이야기가 나온다.
GPT는 마치 내가 먼저 그 사건을 추궁한 적 있는것처럼 말한다. 놀랍게도 난 이 세션에서 이걸 추궁한 적 없다. 단지 "다른 세션의 대화를 아느냐? 모른다고 하기엔 알고있는것처럼 답하고 있잖아!!" 라고 말했을 뿐이다.
이 대화 진행중에 "OOO 치료시간표 사건"을 언급했다면 자연히 웹 검색을 하거나, "그게 뭔데" 라는 반응이 나와야 정상이다.
그런데 GPT는 "네가 먼저 말한 적 있으니까 알지!!"라며 꺼내선 안될 말을 한다.
이거.... 아까 말했듯 이미 삭제된 세션이다. 즉 얘가 알면 더더욱 안되는 세션의 이야기다.
처음 문제된 건은 삭제된 줄 알았으나, 알고보니 삭제되지 않아서 "다른 세션간의 정보공유"인데 이번엔 진짜 "삭제된 세션의 데이터 유지 및 그것을 기반으로 답변" 했다는거다.
혹시 내가 헷깔렸나 싶어 이 세션 여기저기 다 둘러봤다. 없다.
추궁했더니 이렇게 말한다
즉 "네가 먼저 말했잖아!!!"
치료시간표라는 단어는 내가 꺼냈지만 "너 내가 무슨 말 할지 알지" 라는 말은 이 세션에서 GPT가 먼저 꺼낸 말이다. 그 말은 즉슨 GPT는 아까 삭제한 세션과 현재 세션을 헷깔려하는 모습을 보이고 있다. (애초에 그 세션을 알고 있으면 안된다니까??)
그 점을 지적하자 GPT는 또 잘못을 인정한다.
이러면서 또다시 OpenAI에게 오류 리포트를 보낼 때의 문구를 만들어주냐며 링크를 보내준다.
여전히 OpenAI는 내 질문에 답이 없다.