최근 프로토콜 랩스(Protocol Labs)는 파일코인 및 IPFS 네트워크 등 스토리지 제공업체에서 사용할 수 있는 최초의 콘텐츠 주소 지정 데이터 검색 프로덕션 ‘네트워크 인덱서(Network Indexer)’를 출시했다. 이제 스토리지 공급자는 데이터의 콘텐츠 IDs(CIDs)를 네트워크 인덱서에 게시할 수 있으며, 클라이언트는 네트워크 인덱서를 질문하여 해당 CID로 식별된 콘텐츠를 검색할 위치를 확인할 수 있다.
네트워크 인덱서란?
네트워크 인덱서(줄여서 인덱서)는 CID를 누가 데이터를 가졌는지(제공자 데이터 레코드) 레코드에 매핑하는 시스템이다. 파일코인 네트워크의 데이터 규모를 처리하기 위해 제작되었으며 IPFS 네트워크에서 데이터를 찾기 위해 사용할 수 있다.
스토리지 제공자는 클라이언트가 찾을 수 있도록 인덱서에 데이터를 게시한다. 정보의 저장 위치를 알고자 하는 클라이언트는 콘텐츠의 CID 또는 다중 해시(mutihash)를 사용하여 인덱서를 질문할 수 있다. 인덱서는 클라이언트에 공급자에 대한 정보로 응답한다. 클라이언트가 콘텐츠를 검색할 수 있는 위치 및 검색 방법을 알려준다. 아래는 네트워크 인덱싱 시스템을 설명하는 아키텍처 다이어그램이다:
현재 인덱서 상태
네트워크 인덱서는 초당 11,000개 이상의 질문을 처리하며 규모에 맞게 작동하고 있으며 이미 30억 개의 CID를 인덱싱했다. 더 많은 스토리지 제공업체가 더 많은 콘텐츠를 인덱싱함에 따라 이러한 수치는 계속 증가할 것으로 예상된다.
네트워크 인덱서를 사용하는 방법
네트워크 인덱서는 cid.contact에서 호스팅되며 HTTP 또는 libp2p를 통해 API로 요청을 전송하여 액세스할 수 있다. cid.contact 인덱서에는 CID를 수동으로 입력하고 인덱서를 질문하는 데 사용할 수 있는 경량 웹 인터페이스가 있다. cid.contact/cid/에 요청을 하고 결과를 표시한다.
실제 사례
다음은 cid.contact 인덱서를 사용하여 콘텐츠를 찾는 데 대한 시연이다.
- 스토리지 제공업체 f08403에서 저장한 국립암연구소 데이터를 보려면 Slingshot 복구 페이지를 방문하면 된다.
- 그런 다음 거래 ID 중 하나(예: 349999166)로 이동하면 된다.
- 그후 CIDuAXASID5qXOLVLSg17P3C9tchE5BzxD4 페이로드를 클릭한다.H2iAzwG6cJL6bcA를 cid.contact 검색 상자에 넣으면 된다.
인덱서는 이 CID ID주소가 12D3KooWBwUERBhJPtZ7hg5N3q1DesvJ67xx9RLdSaStBz9Y6Ny8 인 스토리지 공급자에서 발견되었음을 나타내는 응답을 반환한다 /dns4/yablufc.ddns.net/tcp/4567. 이제 데이터를 검색할 수 있다. 검색 클라이언트의 예는 w3rc github repo 에서 찾을 수 있다 .
이 URL을 사용하여 CID로 질문하는 동일한 질문을 직접 수행할 수 있다: https://cid.contact/cid/uAXASID5qXOLVLSg17P3C9tchE5BzxD4H2iAzwG6cJZL6bcAs
그러면 공급자 정보가 JSON으로 반환된다:
이 결과 또한 CID의 ID가 12D3KooWBwUERBhJPtZ7hg5N3q1DesvJ67xx9RLdSaStBz9Y6Ny8 이고 주소 /dns4/yablufc.ddns.net/tcp/4567에서 연결할 수 있음을 보여준다. 메타데이터 필드에는 공급자가 콘텐츠를 찾아 클라이언트에 전달하는 데 사용하는 데이터가 포함된다
CID로 식별된 콘텐츠를 여러 공급자가 사용할 수 있는 경우 인덱서 질문 결과에 CID에 대한 여러 공급자 레코드가 포함될 수 있다. 일괄 질문은 단일 요청에서 여러 개의 CID를 조회하는 데도 사용할 수 있다. 이러한 이유로 응답에 여러 CID에 대한 질문을 지원하기 위한 MultihashResults 배열이 포함되어 있다.
CID 대신 다중 해시별로 공급자 정보를 조회하려면 cid.contact/multihash/endpoint를 사용한다. 인덱서에 데이터가 있는 공급자 목록을 보려면 cid.contact/providers 끝점을 참조하면 된다.
네트워크 인덱서를 직접 실행할 수 있는가?
네트워크 인덱서를 실행하여 콘텐츠를 인덱싱할 수 있다. 인덱서는 https://github.com/filecoin-project/storetheindex 코드를 사용하여 대부분의 플랫폼에서 빌드할 수 있다.
자체 인덱서를 실행하고 구성하는 방법은 향후 논의의 주제가 될 것이다. 인덱서에 데이터 제공에 대한 기술 리소스는 다음과 같다.
향후 계획
최신 로터스(Lotus) 릴리즈를 통해 스토리지 공급업체는 곧 대부분의 파일코인 콘텐츠를 인덱싱할 예정이며, 행성 간 네트워크 인덱스를 통해 컨텐츠를 검색할 수 있는 활용 사례를 볼 것이다.
네트워크의 인덱서 노드 집합을 늘림으로써 네트워크 인덱스의 복원력을 높일 계획이다. 관심 있는 당사자들이 소프트웨어를 실행하고 파일코인 슬랙(Filecoin Slack)에 있는 #store index에 있는 팀에 연락하여 참여하도록 권장한다.
더욱 다양한 정보 및 방송 관련 소식은
공식 SNS 채널을 통해 확인 가능합니다.
