Algorithmic complexity and communication problems

277 Pages·2003·40.364 MB·English

by  Barthelemy, Jean-Pierre, Cohen, Gérard, Lobstein, Antoine

Algorithmic

Complexity

and communication problems

Algorithmic

Complexity

and communication problems
J.-P. BARTHELEMY
Professor

Head ofDepartment of

Artificial Intelligence and Cognitive Sciences

Telecom Bretagne

G. COHEN
Professor

ENST(Paris)

A. LOBSTEIN
Research worker
CNRS (Paris)
Translated by
Catherine FRITSCH-MIGNOTTE
and
Maurice MIGNOTTE
Profusor
Head of Department ofMtJthematics
Universitl de Strasbourg (France}
~~ ~~~;~!n~~;up

LONDON AND NEW YORK
C Masson, Paris 1996
Original French language edition-Complexite a/gorithmique.
a
Application des prob/emes de communication.
Copyright C Masson et CNET-ENST, Paris 1992
All rights reserved.
No part ofthis publication may be reproduced, stored in a retrieval system,
or transmitted in any form or by any means, electronic, mechanical, photocopying,
recording or otherwise, without the written pennission ofthe publisher.
First published in the United Kingdom in 1996 by UCL Press
Reprinted 2003 by Taylor & Francis

11 New Fetter Lane

London, EC4P 4EE

British Library Cataloguing in Publication Data

A CIP record for this book is available from the British Library.

ISBN: 1-85728-451-8 HB
Contents
Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix

Graphs: notation and definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xv

Chapter I. Problems and languages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1. A few problems ..................... : . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.1 Satisliability . . • . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . • . . . . . . . . . . . . 1

1.2 Colouring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . • . . . . . . . . . . . . . . . . . . . . . . . . 3

1.3 The matching problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.4 Knapsack . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . • . . • . . . . . . . . . .. 4

1.5 Prime numbers and factorization . .. . . . . . . . . . . . • . . . . . . . . . . . . . . . . 5

1.6 Noisy channel: coding and decoding • • . . . . . . . . . . . . • . . . . . . . . . . . . . 5

2. Problems, languages and encoding schemes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.1 Decision problems . . . . . . . . . . . . . . . . . . . . . . . • . . . . . . . . . . . . . . . . . . . . . . 6

2.2 Universes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.3 Languages, relations and encoding schemes . . . . . . . . . . . . . . . . . . . . . 8

2.4 Reasonable encoding schemes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.5 Intuitive lengths .. .. .. .. .. . .. ..... .. .. .. .. . . . . . . .. . .. .. .. .. . . .. .. 11

3. R.educibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

3.1 Language transformations and reductions . . . . . . .. . . . . . . . . . . . . . . . 12

3.2 Completeness . . . . . . . .• . . . . . . . . . . . . . . . . . . . . . . . . . • . •• . . . . . . . . . . . . 14

3.3 An example of transformation: from SAT to 3-SAT . . . . . . . . . . . . . 15

4. An algorithmic classification of problems .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. 17

4.1 Efficiency of algorithms and programs . . . . . . . . . . . . . . . . . . . . . . . . . . 17

4.2 The 0 symbol . • . . . . . . . . . . . . . . . . . . . . . . . . . . . • . . . . . . . . . . . . • . . . . . . . 19

4.3 Hardness of problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . • . . . . . 19

4.4 How to classify a problem? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

Chapter II. Machines. languages and problems.

Classes 'P and .N'P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

1. Thring machines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

1.1 Formal approach .. .. . . . . . . . . . . . .. . . . . . . . . . . . . . .. . .. . .. .. . . .. . . . 24

1.2 Intuitive approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

1.3 Computations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

1.4 Machine composition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

2. Deterministic computations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

2.1 Computing machines and recursive functions . . . . . . . • . . . . . . . . • . . . 30

2.2 Computation time and complexity . . . . . . . . . . . . . . . . . . . • . . . . . . . • . . 30
vi Contents
3. Deterministic decision, recursive and polynomial languages . . . . . . . . . . . . 32

3.1 Decision machines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

3.2 Recursive and polynomial reductions . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

4. Polynomial problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

5. Class N'P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

5.1 Short certificate, recursive and polynomial relations . . . . . . . . . . . . . 37

5.2 Class N'P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

5.3 Nondeterministic decision and NP languages . . . . . . . . . . . . . . . . . . . . 39

5.4 Completeness ofNP, the d&SSeS NP and c~N'P . . . . . . . . . . . . . . . 42

5.5 Nondeterministic Polynomial problems . . . . . . . . . . . . . . . . . . . . . . . . . 44

6. NP-complete problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

6.1 Some NP-complete problems . . ... . .. . . . . . . .. . .. .. .. . . .... .. .. .. 46

6.2 The problems SAT and 3-SAT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

6.3 Three-dimensional matching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

6.4 The k-colouring problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

6.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

7. Survival principles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

8. Pseud~polynomial problems . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . .. . . . . . . . 63

8.1 Partition and knapsack .....................·. . . . . . . . . . . . . . . . . . . . 63

8.2 The partition problem (continued) . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . 66

8.3 The partition problem (end) . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 67

8.4 Pseud~polynomial algorithms and problems . . . . . . . . . . . . . . . . . . . . 68

8.5 Strongly NP-complete problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

9. Exercises and problems ...........................................· . . . . 70

Chapter III. NP-hard problems and languages

and complements to algorithmic complexity . ~ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

1. Oracle Turing machines and NP-hard search problems . . . . . . . . . . . . . . . . . 80

1.1 Search and optimization problems: an intuitive approach :. . . . . . . 80

1.2 Search problems: formal approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

1.3 Oracle computing machines: intuitive approach . . . . . . . . . . . . . . . . . 82

1.4 Oracle machines: formal approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

1.5 'Turing reductions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

1.6 NP-hard problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

2. Polynomial hierarchy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

2.1 Result: the structure ofNP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... . . . 88

2.2 Nondeterministic oracle decision and polynomial hierarchy . . . . . . 90

2.3 Polynomial quantifications and characterizations . . . . . . . . . . . . . . . . 93

2.4 Complete problems ..................................... .-. . . . . . . 95

2.5 Collapse? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

3. Complements on algorithmic complexity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

3.1 Space complexity and space reductions . . . . . . . . . . . . . . . . . . . . . . . . . 99

3.2 Landscape of complexity classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

3.3 Enumeration problems . . . . . .. .. . .. . . . . . . .. . . . . .. .. . . . . . . ... . . . . . 102

3.4 Probabilistic methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . • . . . . . . . . 103
Contents vii
3.5 Relativization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104

Chapter IV. Complexity and coding . . . . . . . .. . . . .. . . .. . . . . . . . . . . . . .. 107 ·
1. Linear codes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

2. Dual code, syndrome, error detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

3. Decoding . .. .. .. . . . . . . . . . .. .. . . . . .. . .. . . .. . . . . .. .. .. .. . . . . .. . . . . . . . . . . 112

3.1 Complexity of decoding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

3.2 Standard array . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

3.3 Syndrome decoding . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 118

4. A few examples: perfect codes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

5. The complexity of computing the minimal distance . . . . . . . . . . . . . . . . . . . . 126

5.1 Variations on minimal weight (MINW) . . . . . . . . . . . . . . . . . . . . . . . . . 126

5.2 Complexity of two related problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128

5.3 Some specific instances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132

6. The covering radius . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134

7. An application to writing on memories .. . .. .. .. .. .. .. .. .. .. .. .. .. .. . .. 136

Appendix to Chapter IV . . . . .. .. . . .. .. .. .. . . .. ... . . .. . . .. .. . . .. .. .. .. 141

A.1 The problem of linear decoding with preprocessing . . . . . . . . . . . . . . . . . . . 141

A.2 II2-eompleteness of UB-CR .. . . .. . . . .. . . .. .. .. .. .. .. . . . . . .. .. . . .. . . . 143

A.3 Cyclic codes . . .. .. . . .. . .. .. .. .. .. . . .. .. .. . . . .. . . .. .. . . .. . . . . . . .. .. . .. 147

1. Introduction . . . . . . . . . .. . . . . .. . .. .. . . .. .. .. .. . . .. .. .. . . . . . . . . . . . . 147

2. Generator polynomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148

3. Systematic coding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149

4. Comments on the decoding of cyclic codes . . . . . . . . . . . . . . . . . . . . . . . 150

5. Primitive n-th roots of unity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

6. Binary primitive BCH codes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155

7. Algebraic decoding of binary BCH codes . . . . . . . . . . . . . . . . . . . . . . . . . 158

A.4 NP-completeness of some problems related to MINW . . . . . . . . . . . . . . . . 159

Chapter V. Complexity and cryptology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169

1. General introduction to cryptology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169

2. Introduction to public-key cryptography .. .. .. .. .. .. .. . .. .. . .. .. .. .. .. . 173

2.1 One-way functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

2.2 Public-key enciphering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176

2.3 Public-key signature . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176

2.4 Combined enciphering and signature . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177

3. The first public-key cryptosystem: the RSA . . . . . . . . . . . . . . . . . . . . . . . . . . . 179

3.1 Prime numbers, factorization . .. .. .. . .. .. .. . .. . .. .. .. .. . . .. .. .. . 179

3.2 The RSA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .182

3.3 Choosing parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186

4. The knapsack . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188

4.1 An NP-complete problem: the knapsack . . . . . . . . . . . . . . . . . . . . . . . . 188

4.2 Order relations and knapsacks. Two examples . . . . . . . . . . . . . . . . . . . 190
viii Contents
4.3 Cryptographic use of the knapsack . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195

4.4 Remarks on the preprocessing ofknapsacks . . . . . . . . . . . . . . . . . . . . . 198

4.5 Cryptanalysis of the knapsack . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202

5. McEliece's system . . . . • . . . . . . . . . . . . . . . . . . . . . . . . . . . . • . . . . . • . . . . . . . . . . . . . 208

5.1 An NP-complete problem: linear decoding . . . . . . . . . . . . . . . . . . . . . . 208

5.2 A brief introduction to Goppa codes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209

5.3 Enciphering with McEliece's system . . . • . . . . . . . . . . . . . . . . . . . . . . . . 210

5.4 Choosing parameters and analysis of the security . . . . . . . . . . . . • . . 212

6. Authentication protocols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216

6.1 Zero-knowledge interactive proofs . . . . . . . . . . . . . • . . . . . . . . . . . . . . . . . 219

6.2 Zero-knowledge authentication: Fiat-Shamir's scheme . . . . . . . . . . . 222

6.3 Authentication and error-correcting codes . . . . . . . . . . . . . . . . . . . . . . . 224

Appendix to Chapter V

Permutation decoding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225

Chapter VI. Vector quantization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227

1. Introduction to information theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227

2. Vector quantization and decoding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230

3. Rate-distortion theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230

4. Approach by error-correcting codes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232

4.1 Average quadratic criterion . . . . . . . . . .. . . .. .. . .. . .. .. . . . . . • . .. . .. 232

4.2 Average criterion . . . . . . . . . . . . . . . . . . . . . . . . . . . . • . . . . . . . . . . . . . . . . . . 232

4.3 Criterion of the maximum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235

5. On complexity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235

Chain of polynomial reductions which are used . . . . . . . . . . . . . . . . . . . . . . . . . . 239

Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241

Index ..... .. .. ...... .... ............. ............. ............ .... ..... 251
Notation
j:=B j is equal, by definition, to B
IAI cardinality of the nonempty set A
P(A) set of the subsets of the nonempty set A
sup( A) the greatest element of a nonempty set A of integers
inf(A) the smallest element of a nonempty set A of integers
AxB Cartesian product of the sets A and B
A\B the set of the elements of A which do not belong to B
(when B ~ A, we also write A ­ B)
Sn set of the permutations on {1, 2, ... , n}
alb the nonzero integer a divides the integer b
(xJ or LxJ integer part of x (floor function), the largest integer 5 x
fxl ceiling function of x, the smallest integer ~ x
lxl absolute value of x
a= b (mod c) a is congruent to b modulo the nonzero integer c, i.e., c I(a- b)
a= b (mod c) a is congruent to b modulo the nonzero integer c
a ¢. b (mod c) a is not congruent to b modulo c
gcd(, ) greatest common divisor of two integers or of two polynomials
+(n) set of the positive integers coprime with n and smaller than n,
that is +(n} := {i : 0 5 i < n, and gcd(i,n} = 1}
cp(n) Euler's function, cp(n} := l+(n)l
8 nondeterministic Thring machine
=
M (6.,8) Thring machine (deterministic case)
E(x) input position associated to the word x
Zn additive group of the integers modulo n
=
lFq finite field with q elements (q pm, where p is a prime number,
the characteristic of the field)
F field with two elements, IF:= {0, 1} (= IF2)
r
vector space of dimension n over F
JF; vector space of dimension n over IF
9
Fq[xJ ring of the polynomials with coefficients in F
9